iPhone 17 Pro挑战极限：4000亿参数大模型也能跑！
创始人
2026-03-23 19:34:45
0次
3月23日，IT之家报道了一个技术突破，即iPhone 17 Pro成功运行了拥有4000亿参数的大语言模型。尽管这种模型通常需要大容量内存和高性能硬件，但通过一些技术手段，苹果的旗舰机型实现了这一壮举。一个名为Flash‑MoE的开源项目在iPhone 17 Pro上运行成功，尽管Token生成速度仅为0.6个Token/秒，但这一成就表明，经过进一步优化，未来在手机端本地运行大语言模型是可能的。
实现这一技术的关键原理在于Flash‑MoE利用了设备的固态硬盘（SSD），直接向GPU流式传输数据，而不是将整个大模型载入内存。此外，“MoE”代表混合专家模型（Mixture of Experts），这意味着在生成每个单词时，只需要调用4000亿参数中的一小部分。这种方法不仅保护了用户隐私，还允许在不联网的情况下获得回复，尽管这会严重消耗电池。
开发者们也尝试使用大语言模型的压缩版，即“量化版”，但即便是量化后的4000亿参数模型，最低仍需200GB内存，这在iPhone 17 Pro上原本是无法实现的。这次演示证明了，只要能忍受每秒仅0.6个Token的缓慢生成过程，就可以在智能手机上运行4000亿参数的大语言模型。尽管如此，“能跑起来”和“能流畅、可用地使用”之间仍有明显差距。
相关内容
热门资讯
视频丨216国道抢通已推进至核...
8月26日上午，因尼泊尔一侧发生泥石流灾害，造成西藏日喀则市吉隆县吉隆口岸重大人员伤亡、失联。抢险救...
半小时就能配齐一台机器人，深圳...
编者按：健康完备的经济生态，是推动高质量发展的重要保障。即日起，南方日报、南方+推出“解码广东经济生...
两宫超1.2万个学位！广州天河...
有剧场、科技馆、体育馆美术馆、书画室、艺创工坊……天河区少年宫新宫 （下称“天河区少年宫”）将于今年...
视频丨西藏吉隆县泥石流灾害抢险...
西藏吉隆县泥石流灾害抢险救援进入第7天。今天（9月1日）上午9时55分，西藏自治区在日喀则市公安局吉...
数智赋能黔山田：从“云端”算力...
近日，2026中国国际大数据产业博览会(简称“数博会”)在贵阳正式拉开帷幕。在这场以“词元——数据要...
8月深圳楼市持续稳固向好 二手...
8月，全市新建商品住宅和二手住宅合计成交6864套，同比增长8.5%，国家统计局发布的一、二手住宅销...
9月5日起，广州黄埔新增设多个...
@黄埔街坊9月5日起黄埔新增设多个公交车站8月30日，广州市交通运输局官网发布《关于优化公共汽车南海...
开学第一课丨我国运载火箭为啥叫...
今年，是中国共产党成立105周年，中国工农红军长征胜利90周年。在中国共产党百余年奋斗历程中，长征，...
新华鲜报|一树扎根沙地 “赛考...
“故事永远不会结束。”9月1日，北京首都国际机场。返程前，美国友人“赛考斯”（本名罗纳德·萨科尔斯基...
各地学校举办丰富多彩“开学第一...
央视网消息：这两天，全国中小学陆续迎来新学期。各地以主题鲜明、形式多样的“开学第一课”，引导学生们厚...