DeepSeek团队最新发布的论文详细介绍了DeepSeek-V3在训练和推理过程中如何突破硬件瓶颈。这篇由梁文锋亲自参与的论文，展示了仅用2048块H800 GPU就能达到数万块GPU集群训练效果的关键技术。论文重点阐述了四项创新优化方法，为解决大模型训练中的内存、计算和通信难题提供了新思路。
在内存优化方面，团队采用多头潜在注意力（MLA）技术，将传统模型中每个注意力头独立缓存的键值对压缩成更小的潜在向量。这种方法使KV缓存大小降至传统方法的1/7到1/4，大幅降低了显存压力。计算优化则通过混合专家模型（MoE）和FP8低精度训练实现，总参数6710亿的模型每次仅激活370亿参数，训练成本仅为同规模稠密模型的1/10。
通信优化方面，DeepSeek-V3采用多层胖树网络架构，将集群网络分为多个独立平面，相比传统三层网络降低成本40%，延迟减少30%。推理加速则通过多token预测（MTP）技术实现，使生成速度提升1.8倍。这些创新使DeepSeek-V3能在消费级GPU上高效运行，每秒可生成近20个token。
论文还展望了下一代AI硬件的五大发展方向，包括低精度计算支持、扩展融合、网络拓扑优化、内存系统改进和鲁棒性提升。这些建议旨在推动AI硬件从被动适配转向主动设计，为未来大模型训练提供更高效的硬件基础。
梁文锋署名DeepSeek新论文：公开V3大模型降本方法
量子位
2025年6月《自然》最新研究速览
2025年6月12日出版的《自然》杂志第642卷8067期发表了多项前沿科学研究成果，涵盖了物理学、化学、地球科学、农学和生物学等多个领域。这些研究通过创新方法和技术手段，为相关学科带来了突破性进展。在物理学领域，D. Kraus等人利用X...
滚动播报｜2025-06-17 14:00
腾讯发布混元3D 2.1大模型 全面开放源代码
腾讯在计算机视觉领域的顶级会议CVPR2025上宣布了一项重要消息，混元3D 2.1大模型正式对外开源。这一举措标志着腾讯在3D视觉技术方面的研究成果开始向全球开发者开放。混元3D模型是腾讯在3D视觉领域的重要研究成果，目前已经在知名开源社...
界面新闻｜2025-06-16 12:12
"智能玩具新趋势：大模型如何引爆情绪消费"
近期，AI技术正在快速渗透玩具行业，为传统玩具赋予智能化交互能力。全球玩具巨头和科技企业纷纷布局这一新兴领域，预示着玩具市场即将迎来一场智能化变革。OpenAI与芭比娃娃制造商美泰公司达成战略合作，计划在今年推出首款AI玩具产品。美泰作为全...
财联社｜2025-06-15 16:55
人到中年依然迷茫？3个方法帮你找到人生方向
尹正近日发表了入圈第十二年的感悟，坦承自己"快四十了，一事无成"。他用自嘲的语气谈到外貌、身材和作品成就，并为自己将粉丝称为"影迷"引发的争议道歉。这番真诚的发言获得了黄晓明、于正等人的力挺。在这个充满争议的时代，自嘲、幽默和真诚似乎成为了...
秦朔朋友圈｜2025-06-15 15:55
"豆包大模型1.6高考数学144分创纪录 实力碾压全国考生"
6月11日，字节跳动旗下火山引擎举办了FORCE原动力大会，正式发布了豆包大模型1.6版本。此次发布的新系列包含三个大模型，分别是Doubao-Seed-1.6-thinking、Doubao-Seed-1.6和Doubao-Seed-1....
快科技｜2025-06-13 21:00
创投大佬周炜预言：大模型巨头将不超过3家
创世伙伴创投创始主管合伙人周炜近日接受新浪科技《科创100人》栏目专访，分享了对AI与机器人赛道的深刻见解。作为技术出身、跨越多轮投资周期的资深投资人，周炜对行业趋势的判断具有重要参考价值。周炜指出，大模型行业正经历残酷洗牌，但激烈程度不及...
新浪科技｜2025-06-13 07:00
联想发布万全AI一体机 打造大模型一站式调优方案
6月9日下午，联想在创新科技大会期间举办了"异构智算 本地引擎"分论坛，正式发布了"联想万全AI一体机"这一全新产品。该产品基于联想多年积累的服务器技术和全栈自研能力，旨在为企业提供更便捷的AI基础设施解决方案。随着DeepSeek、Qwe...
新浪科技｜2025-06-12 09:40
小红书开源文本大模型dots.llm1
近日，小红书技术团队宣布了一项重要进展。其旗下的人文智能实验室（hi lab）首次开源了文本大模型dots.llm1，这一消息引发了业内广泛关注。dots.llm1采用了先进的Mixture of Experts（MoE）架构设计。该模型总...
界面新闻｜2025-06-11 08:40
国产大模型首次落地汽车制造全场景 智平方机器人进驻东风柳汽
东风柳州汽车有限公司与智平方（深圳）科技有限公司于6月7日在深圳签署战略合作协议。双方将重点探索具身大模型技术在汽车制造领域的深度应用，这是该技术首次在汽车行业实现全场景落地。根据合作协议，智平方研发的GOVLA全域全身视觉语言动作模型将应...
IT之家｜2025-06-09 22:08
苹果研究：AI大模型只是记忆而非真正推理
苹果机器学习研究中心近日发布了一项引人深思的研究成果，对当前主流AI模型的推理能力提出了质疑。这项研究由Parshin Shojaee等人主导，通过系统评估OpenAI、DeepSeek、Anthropic和谷歌等公司的前沿AI模型，揭示了...
IT之家｜2025-06-09 18:24
《科学》最新研究速览（2025年6月）
《科学》杂志2025年6月5日刊（第388卷6751期）刊登了多项前沿科研成果，涵盖了材料科学、医学、物理学和化学等多个领域。在材料科学方面，研究人员开发出一种新型被动冷却涂料。该涂料通过优化热光学和传质特性，实现了88-92%的太阳反射率...
滚动播报｜2025-06-09 15:56
国产大模型成功通过汽车制造全流程测试
6月7日，东风柳州汽车有限公司与智平方（深圳）科技有限公司在深圳签署战略合作协议。双方将展开深度合作，重点探索具身大模型技术在汽车制造领域的全方位应用场景。这是该技术在国内汽车制造业的首次大规模实践。根据协议内容，智平方研发的通用智能机器人...
界面新闻｜2025-06-09 14:08
本信息来自互联网，不代表导读网立场，如若转载，请注明出处：http://www.frfey.com/news/60907/
