英伟达Blackwell GPU创AI推理新纪录:每秒处理1000次用户请求
2025-06-23 02:13

英伟达Blackwell GPU创AI推理新纪录:每秒处理1000次用户请求

  英伟达近日宣布其Blackwell GPU在AI推理性能上取得重大突破。该公司的技术团队使用配置8块Blackwell GPU的DGX B200节点,在4000亿参数的meta Llama 4 Maverick模型上创造了新的世界纪录,首次实现每用户每秒生成1000个token的性能里程碑。

  

  这项突破得益于多项技术创新。英伟达采用TensorRT-LLM软件栈进行深度优化,并运用EAGLE-3技术训练推测解码草稿模型,使性能较优化前提升4倍。整套系统在峰值吞吐配置下可达每秒72,000 token。推测解码技术通过小型快速草稿模型预测token序列,再由大型目标LLM并行验证,实现了显著加速效果。

  

  测试结果显示,Blackwell架构已完全适配Llama 4 Maverick级别的超大规模语言模型。特别值得注意的是,英伟达在保持响应准确性的同时大幅提高了性能,使用FP8数据格式的准确性与人工分析BF16相当。

  

  这一突破性进展标志着大模型推理性能迈上新台阶,为AI应用的实时响应和规模化部署提供了新的可能性。英伟达的技术博客详细介绍了这一成果,展示了其在AI计算领域的持续领先地位。

  英伟达RTX 5090显卡价格开始下滑

  英伟达旗舰显卡RTX 50系列近期迎来了价格调整,但整体售价仍高于官方建议零售价。该系列显卡上市已有四个多月,供应情况虽有所改善,但尚未达到预期水平。其中,日本市场的RTX 5090显卡价格下降较为明显,部分型号售价已跌破40万日元大关。在...

  IT之家|2025-06-17 09:00

  英伟达重磅宣布!黄仁勋:产能扩张计划曝光

  英伟达在巴黎GTC大会上宣布将在德国建设全球首个工业人工智能云设施"AI工厂",配备10000个Blackwell GPU。创始人黄仁勋提出"双工厂"理念,认为未来每个制造商都需要一个实体工厂和一个创造产品智能的AI工厂。这一计划引发行业热...

  第一财经|2025-06-16 13:00

  "独家:华硕ROG G16游戏本首曝 搭载神秘RTX 5050显卡"

  科技媒体notebookcheck在6月11日报道称,华硕越南官网上架了一款搭载未发布显卡的新款游戏本。这款ROG Strix G16笔记本配备了英伟达尚未正式推出的GeForce RTX 5050显卡,引起了科技爱好者的广泛关注。从产品页...

  IT之家|2025-06-13 17:30

  英伟达CEO黄仁勋宣布Grace Blackwell 200芯片将支持CUDA-Q

  在巴黎GTC 2025大会上,英伟达CEO黄仁勋发表了重要演讲。他宣布,英伟达将在Grace Blackwell 200芯片上集成CUDA-Q技术,这标志着量子计算发展进入新阶段。黄仁勋强调,量子计算正迎来关键转折点,英伟达将与全球量子计算...

  IT之家|2025-06-13 14:50

  英伟达联手德国打造全球最大工业AI云 部署超万块顶级GPU

  英伟达近日在GTC Paris大会上宣布将在德国建设全球首个工业AI云设施。这一重要举措标志着人工智能技术向工业制造领域的深度拓展,将为欧洲工业企业提供强大的算力支持。该AI工厂将配备先进的DGX B200系统和RTX PRO服务器,总计部...

  IT之家|2025-06-13 11:40

  英伟达黄仁勋最新发声:量子计算迎来重大突破

  英伟达CEO黄仁勋近日在法国巴黎VivaTech大会上发表重要演讲,重点谈及量子计算领域的最新发展。他表示量子计算正迎来关键转折点,这一观点与他今年3月在GTC 2025主题演讲中的表态相呼应。黄仁勋预测未来几年内量子计算将能解决一些具有挑...

  IT之家|2025-06-13 07:10

  英伟达斥资欧洲打造新一代AI计算中心

  6月11日,英伟达创始人黄仁勋在法国巴黎举行的GTC Paris大会上发表重要演讲。他宣布公司正在与欧洲各国及合作伙伴展开深度合作,计划投资建设基于NVIDIA Blackwell架构的AI基础设施。这一战略举措旨在增强欧洲的数字主权能力,...

  界面新闻|2025-06-12 21:50

  英伟达加速欧洲布局 德英西等多国增设技术中心

  英伟达近日宣布,将在欧洲多个国家建立和扩建技术中心,以推动当地企业和初创公司在人工智能领域的技能开发、研究和基础设施建设。这一计划覆盖德国、瑞典、意大利、西班牙、英国和芬兰等多个欧洲国家,旨在加速AI技术在欧洲的发展和应用。在西班牙,英伟达...

  界面新闻|2025-06-12 21:50

  英伟达联手欧洲多国打造新一代AI计算平台

  英伟达近日宣布与欧洲多个国家及行业技术领袖展开合作,共同打造基于Blackwell架构的AI基础设施。这一系列合作将推动欧洲各国在人工智能领域的发展,为不同行业提供强大的技术支持。在法国,英伟达与Mistral AI携手开发端到端云平台。该...

  界面新闻|2025-06-12 21:50

  英伟达联手西门子加速工业AI应用落地

  英伟达与西门子于6月11日共同宣布将深化双方的合作关系,共同推动未来AI工厂的发展。此次合作的核心是将英伟达领先的AI技术和加速计算能力,与西门子的Xcelerator平台及其相关产品进行深度融合。这一战略合作旨在为工业企业提供更强大的技术...

  界面新闻|2025-06-12 19:20

  英伟达欧洲首座AI云工厂落户德国 瞄准制造业客户

  6月11日,英伟达创始人黄仁勋在法国巴黎举行的GTC Paris大会上宣布了一项重要计划。公司正在德国协助建设一座专门为欧洲制造业客户服务的工业AI云服务工厂。这座工厂将配备1万块GPU,包括DGXB200和RTX PRO服务器,为欧洲制造...

  界面新闻|2025-06-12 19:10

  英欧电信巨头联手推进AI基建

  6月11日,英伟达在法国巴黎举行的GTC Paris大会上宣布了一项重要合作计划。该公司将与欧洲多家知名电信企业展开深度合作,包括法国的Orange、意大利的Fastweb、瑞士电信、西班牙电信以及挪威电信。这一合作旨在共同开发和扩展覆盖欧...

  界面新闻|2025-06-12 19:00

  本信息来自互联网,不代表导读网立场,如若转载,请注明出处:http://www.frfey.com/news/68721/

本内容为作者翻译自英文材料或转自网络,不代表本站立场,未经允许不得转载
如对本稿件有异议或投诉,请联系本站
想要了解世界的人,都在 阿赫网

相关推荐