美國 Apple 公司在 WWDC2023 上宣布推出全新頭顯產品—— Apple Vision Pro。這項創新產品的開發過程中，前蘋果員工 Sterling Crispin 負責了一些關鍵功能的神經科學研究與開發。他在推特上表示，Vision Pro 採用了大量的神經科學技術，具有類似「讀心術」的能力，可以預測使用者的行為。
Apple Vision Pro的開發
Sterling Crispin 透露，在他擔任蘋果公司技術開發組的神經技術原型研究員期間，他花了生命中 10% 的時間投入到 Vision Pro 的開發中。這是他參與的單一項目中時間最長的一次，對於最終的成果，他感到自豪和寬慰。
他表示自己在 AR 和 VR 的研究領域已有十年的經驗，而 Vision Pro 是整個行業的一個重要里程碑。
受到保密協議的限制，Crispin 無法透露太多細節，但一些內容已通過專利公開。他介紹說，他在蘋果公司的工作主要涉及根據使用者身體和大腦的數據，判斷他們在沉浸式模式下的心理狀態。換句話說，當使用者處於混合現實或虛擬現實體驗中時，人工智能模型會試圖預測使用者是感到好奇、分心、害怕、專注、回憶過去的經歷，還是處於其他認知狀態。
這些狀態可以通過眼動追蹤、大腦電活動、心跳和節律、肌肉活動、大腦血液密度、血壓、皮膚電導等多種測量方法得到。
為了實現這些具體的預測，他們運用了多種技巧，這些技巧在他所提及的專利中有所描述。例如，他指出其中一項最酷的成果是在使用者點擊某個目標之前就能預測到。他解釋道：「在你點擊之前，你的瞳孔就會有反應，部分原因是你預期點擊後會發生什麼事情。
因此，通過監測使用者的眼睛行為並實時調整用戶界面，可以創造更多這種預期性的瞳孔反應，通過眼睛來建立一個粗略的腦機接口。這一技術可謂讓人著迷的『讀心術』。」
此外，為了確定使用者的認知狀態，系統還會迅速向使用者展示一些無法感知的視覺或聲音訊號。Crispin說：「另一項專利詳細介紹了如何利用機器學習和身體以及大腦信號來預測使用者的專注程度、放鬆程度以及學習效果。
根據這些狀態的變化，系統可以即時更新虛擬環境。因此，想像一下一個能夠根據你看到和聽到的背景變化來幫助你學習、工作或放鬆的自適應沉浸式環境。」
發表留言