蘋果新 AI 訓練法 MM1 保持隱私,未來 Siri 更靈活

蘋果新 AI 訓練法 MM1 保持隱私,未來 Siri 更靈活 apple ai training methods

蘋果的研究人員找到了一種新的多模態方法,可以快速訓練大型語言模型(LLMs),這可以使機器學習和「AI」類型系統更靈活且功能更強大。

 

蘋果新 AI 訓練方法

蘋果的研究人員構建了一個名為 MM1 的多模態模型,包含多達 300 億參數,由稠密模型和混合專家模型(MoE)變體組成。

這種模型不僅可以應用於視覺任務,還可以與 OpenAI GPT-4V、Google Gemini 等競爭。

混合數據訓練

蘋果在本週早些時候在研究網站 arxiv.org 上發布的一篇研究論文顯示,該公司使用了所謂的「細心混合」圖像標題、交錯的圖像文本和僅文本數據來訓練 LLMs。

視覺和語言數據的混合使模型,能夠處理智能圖像標題或推斷自然語言含義等任務。

 

圖像編碼器的重要性

在研究的過程中,發現圖像編碼器的選擇和處理的圖像分辨率對性能有著很大的影響,比視覺語言連接器的設計更重要。

apple ai training methods 2

 

多步推理能力

使用 300 億參數的 MM1 模型,發現其具有強大的上下文學習能力,可以在少量「思維鏈」提示下對多張圖像進行多步推理。

 

蘋果的 AI 發展

蘋果持續將「AI」技術融入現有技術中,CEO Tim Cook 最近承認公司每年花費 10 億美元進行相關研究。該公司預計在今年 6 月的 WWDC 上公佈一些關於其進展的公告。

 

隱私與安全

蘋果的興趣在於訓練神經網絡的多模型方法,以實現最先進的性能,並允許多步推理。

©iPhone News 愛瘋了表示,這表明蘋果公司已找到了一條快速提升機器學習能力,並賦予其先進「智慧」功能的道路。

MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training

發表留言