蘋果最新 AI 技術 MGIE 模型:用自然語言PS編輯圖片

蘋果最新 AI 技術 MGIE 模型:用自然語言PS編輯圖片 apple mgie ai image editing

蘋果在推出全新開源設定語言 Pkl:支援 JSON、XML 和 YAML 後。蘋果的研究人員又推出了一個新的開源 AI 模型,能夠根據使用者的自然語言指令來編輯圖片。被稱為「MGIE」,全名為 MLLM-Guided Image Editing,它使用多模態大型語言模型(MLLMs)來解釋使用者的請求並執行像素級的操作。

 

全局圖片增強

這個模型能夠編輯圖片的各個方面。全局照片增強可以包括亮度、對比度或銳度,或應用藝術效果如素描。

局部編輯可以修改圖片中特定區域或對象的形狀、大小、顏色或質地,而類似 Photoshop 的修改可以包括裁剪、調整大小、旋轉、添加濾鏡,甚至更改背景和混合圖片。

 

基於常識的編輯

對於一張 Pizza 圖片輸入,可能是「讓它看起來更健康」。使用常識推理,模型可以添加蔬菜配料,如番茄和香草。

全局優化輸入請求可能形式為「增加對比度以模擬更多光線」,而類似 Photoshop 的修改可以通過要求模型從照片的背景中移除人物,將焦點轉移到主題的面部表情。

apple mgie ai image editing 2

蘋果與加州大學的研究人員合作創建了 MGIE,該模型在 2024 年的國際學習表示研討會(ICLR)上發表了一篇論文。

該模型在 GitHub 上可用,包括代碼、數據和預先訓練的模型。

這是蘋果在人工智慧研究方面的第二次突破,僅在過去的兩個月內。

去年十二月底,蘋果透露,他們在 iPhone 和其他內存有限的蘋果設備上部署大型語言模型(LLMs)方面取得了進展,並發明了一種創新的快閃記憶體利用技術。

 

Apple GPT競爭對手

在過去的幾個月裡,蘋果一直在測試一個可以與 ChatGPT 競爭的「Apple GPT」競爭對手。

據彭博社的 Mark Gurman 報導,人工智慧工作是蘋果的重點,公司正在設計一個大型語言模型的「Ajax」框架。

據 The Information 和分析師 Jeff Pu 稱,蘋果將在 2024 年底左右的 iPhone 和 iPad 上提供某種生成式人工智慧功能,那時將推出 iOS 18。

據 Gurman 稱,iOS 18 將包括一個增強版的 Siri,具有類似 ChatGPT 的生成式人工智慧功能,有望成為 iPhone 歷史上「最大」的軟體更新。

 

發表留言