蘋果的研究人員找到了一種新的多模態方法，可以快速訓練大型語言模型（LLMs），這可以使機器學習和「AI」類型系統更靈活且功能更強大。

蘋果新 AI 訓練方法

蘋果的研究人員構建了一個名為 MM1 的多模態模型，包含多達 300 億參數，由稠密模型和混合專家模型（MoE）變體組成。

這種模型不僅可以應用於視覺任務，還可以與 OpenAI GPT-4V、Google Gemini 等競爭。

混合數據訓練

蘋果在本週早些時候在研究網站 arxiv.org 上發布的一篇研究論文顯示，該公司使用了所謂的「細心混合」圖像標題、交錯的圖像文本和僅文本數據來訓練 LLMs。

視覺和語言數據的混合使模型，能夠處理智能圖像標題或推斷自然語言含義等任務。

在研究的過程中，發現圖像編碼器的選擇和處理的圖像分辨率對性能有著很大的影響，比視覺語言連接器的設計更重要。

使用 300 億參數的 MM1 模型，發現其具有強大的上下文學習能力，可以在少量「思維鏈」提示下對多張圖像進行多步推理。

蘋果持續將「AI」技術融入現有技術中，CEO Tim Cook 最近承認公司每年花費 10 億美元進行相關研究。該公司預計在今年 6 月的 WWDC 上公佈一些關於其進展的公告。

蘋果的興趣在於訓練神經網絡的多模型方法，以實現最先進的性能，並允許多步推理。