《iPhone News 愛瘋了》報導，AI 未來再進化！Apple 與 NVIDIA 聯手研究，讓大型語言模型運行速度大幅提升，為 AI 應用開啟新篇章。
ReDrafter 技術：LLM 性能的創新核心
Apple 早前開源的 Recurrent Drafter（ReDrafter）技術，為生成文字的效率帶來革命性突破。這項技術結合了兩個核心方法：
-
束搜索（Beam Search）：同時探索多種生成可能性，提升文字的流暢度與邏輯性。
-
動態樹狀注意力（Dynamic Tree Attention）：有效管理生成選項，提高模型計算效率。
根據 Apple 的研究，這項技術不僅顯著加速文字生成速度，還能達到業界領先的性能水準。
NVIDIA TensorRT-LLM 的深度整合
為了將 ReDrafter 技術應用於實際生產環境，Apple 與 NVIDIA 展開合作，將其整合到 NVIDIA 的 TensorRT-LLM 平台中。這個平台專為加速大型語言模型在 NVIDIA GPU 上的運行而設計，提供了如下關鍵優勢：
-
新增運算操作元：NVIDIA 為支援 ReDrafter，開發並優化了新的運算操作元，進一步提升了 TensorRT-LLM 的靈活性。
-
減少延遲，降低能耗：使用 TensorRT-LLM 的 ML 開發者現在能更快速地進行生成任務，並有效降低硬體需求。
驚人的測試結果：性能提升 2.7 倍
在對數十億參數的生產模型進行基準測試中，使用 NVIDIA TensorRT-LLM 平台與 ReDrafter 技術進行貪婪解碼（Greedy Decoding），生成速度提升了 2.7 倍。這意味著：
-
用戶等待時間顯著減少：大幅縮短模型生成文字的延遲時間。
-
硬體成本更低：同等性能下需要的 GPU 更少，並節省能源。
更高效的 AI 應用未來
Apple 的機器學習團隊表示：「隨著大型語言模型越來越多地用於生產應用，提高推理效率不僅能影響計算成本，還能顯著改善用戶體驗。透過 ReDrafter 技術與 NVIDIA TensorRT-LLM 的結合，開發者現在能在 NVIDIA GPU 上實現更快速的生成速度。」
你期待什麼？
《iPhone News 愛瘋了》表示，AI 正加速改變我們的生活，你是否期待更多即時且高效的 AI 服務？你覺得這樣的技術將在哪些領域帶來最大影響？歡迎在評論區分享你的想法！