苹果人工智能研究取得重大进展：技术人员最大限度地减少了在推理过程中从闪存到内存的数据传输

　　其中，一项高效的语言模型推理新技术，有望让复杂的AI系统在iPhone、iPad等小内存设备上流畅运行。

　　在一篇论文中，苹果研究人员解决了在内存有限的设备上部署大语言模型（LLM）的一个关键挑战。

　　大家都知道，像GPT-4这样的大模型包含前千亿个参数，如果直接在消费类硬件上运行的话，推理成本会非常高昂。

　　据悉，苹果的技术人员最大限度地减少了在推理过程中从闪存到内存的数据传输。一系列方法将推理延迟提高了4-5倍。在 GPU上，加速达到 20-25倍。

　　这一突破对于在资源有限的环境中部署先进的LLM尤为重要，极大提高了适用性和可及性。

　　对于苹果用户意味着，这些优化可能很快允许复杂的人工智能助手和聊天机器人在iPhone、iPad 和其他移动设备上流畅运行。

　　此前，天风国际证券分析师郭明錤最新发文称，iPhone 16将会推出AI相关的创新功能。

　　据悉，苹果在在今年第三季度改组了Siri团队，目标在于整合AIGC功能和LLM (大语言模型)。

　　在手机上，语音输入将是AI、AIGC、LLM (大语言模型)的关键界面，所以强化Siri的软件功能是推广AI功能的关键。

　　郭明錤的最新调查显示，所有iPhone 16机型均将显著升级麦克风规格，除了更好的防水之外，还有更好的信噪比，以此来提升Siri的使用体验。