LAION-AI 發布OpenFlamingo，GPT-4 開源替代品- 科技資訊

非營利組織 LAION-AI 發布了OpenFlamingo，這是一個用於訓練和評估大型多模態模型(LMM)的框架，屬於DeepMind 的Flamingo 模型（一種能夠處理和推理圖像、視頻和文本的等多模態內容的框架）的開源複製品。

其數據集OpenFlamingo-9B 的Demo 頁面展示了訓練結果，用戶可以上傳圖片讓該模型進行識別。

小編淺試了一下，一張簡單的圖片耗時11 秒，可以相當精準地描述圖片的主體：

對於另一張內容較多的圖片，識別的時間則上到16 秒左右，但識別出來的內容仍是圖片中心的主體，並沒有其他細節內容。

可以看出精度並不是很理想，還需要繼續迭代。

LAION-AI 稱OpenFlamingo 的目標是開發一個可以處理各種視覺語言任務的多模態系統，最終目標是在處理視覺和文本輸入方面與GPT-4 的功能相匹配。

OpenFlamingo 的首個版本主要包含如下內容：

• 一個用於訓練Flamingo 風格LMM 的Python 框架（基於Lucidrains 的flamingo 實現和David Hansmair 的flamingo-mini 存儲庫）。
• 具有交叉圖像和文本序列的大規模多模態數據集。
• 視覺語言任務的上下文學習評估基準。
• ​​ OpenFlamingo-9B 模型（基於LLaMA ）的第一個版本

OpenFlamingo-9B 模型在LAION-AI 自研的多模態C4 數據集上訓練，LAION-AI 稱即將發布該數據集的細節。

OpenFlamingo 的整體架構圖如下，可以看出技術細節上很大程度上是跟著DeepMind 的Flamingo 模型走，Flamingo 模型在包含交叉文本和圖像的大規模網絡語料庫上進行訓練，OpenFlamingo 同樣是使用交叉注意力層來融合預訓練的視覺編碼器和語言模型。