iPhone 17 Pro挑战极限：4000亿参数大模型也能跑！
创始人
2026-03-23 19:34:45
0次
3月23日，IT之家报道了一个技术突破，即iPhone 17 Pro成功运行了拥有4000亿参数的大语言模型。尽管这种模型通常需要大容量内存和高性能硬件，但通过一些技术手段，苹果的旗舰机型实现了这一壮举。一个名为Flash‑MoE的开源项目在iPhone 17 Pro上运行成功，尽管Token生成速度仅为0.6个Token/秒，但这一成就表明，经过进一步优化，未来在手机端本地运行大语言模型是可能的。
实现这一技术的关键原理在于Flash‑MoE利用了设备的固态硬盘（SSD），直接向GPU流式传输数据，而不是将整个大模型载入内存。此外，“MoE”代表混合专家模型（Mixture of Experts），这意味着在生成每个单词时，只需要调用4000亿参数中的一小部分。这种方法不仅保护了用户隐私，还允许在不联网的情况下获得回复，尽管这会严重消耗电池。
开发者们也尝试使用大语言模型的压缩版，即“量化版”，但即便是量化后的4000亿参数模型，最低仍需200GB内存，这在iPhone 17 Pro上原本是无法实现的。这次演示证明了，只要能忍受每秒仅0.6个Token的缓慢生成过程，就可以在智能手机上运行4000亿参数的大语言模型。尽管如此，“能跑起来”和“能流畅、可用地使用”之间仍有明显差距。
相关内容
热门资讯
已致6死 德国北部枪击事件可能...
德国警方29日说，德国北部施塔德当天发生的枪击事件已造成6人死亡。据称，该事件可能与家庭矛盾有关。警...
强对流天气蓝色预警：陕西山西等...
央视网消息：中央气象台6月30日06时继续发布强对流天气蓝色预警，预计6月30日08时至7月1日08...
防癌医疗险能“补缺” 保障责任...
在人口老龄化加速、癌症发病率攀升的背景下，防癌医疗险备受关注。近年来，广州推出的商业健康保险产品持续...
广州对“偷面积”开出首张公开罚...
文、图、视频/羊城晚报全媒体记者 江皓轩广州市荔湾区城管执法局近日对力诚榕诚湾项目开出首张“偷面积”...
新华社访谈｜在新疆，播种“梦的...
新疆巴音郭楞蒙古自治州，3000亩棉田边，艾海鹏和凌磊用手机屏幕操控着远处的无人机。飞机从棉田上方掠...
上海一高校老师发表为什么导师喜...
连日来，一篇名为《为什么导师喜欢娶自己的博士》的论文截图在网上流传开来，引发热议，第一作者署名为单福...
习近平会见白俄罗斯总统卢卡申科
6月29日上午，国家主席习近平在北京钓鱼台国宾馆会见白俄罗斯总统卢卡申科。新华社记者 申宏 摄新华社...
扛着冰箱陪“公主”参赛，省运会...
第十七届广东省运会群众赛事活动桨板比赛，这个周末在清远阳山连江河段开桨。江面百板竞发，两岸人声鼎沸。...
“AI+机器人”把关高危工作，...
文/羊城晚报全媒体记者 梁怿韬 通讯员 成广聚 陈梓佳图/通讯员提供市民丢弃的生活垃圾，最终将运至终...
师生专享多重优惠！广州从化集结...
考完试，赴一场夏日清凉之旅！为回馈2026届全国中高考毕业生、在从高校学子以及全体人民教师，广州从化...