搜索
StartLux（原点星辉）开源首款面向决策模型的推理引擎Prism，实测同一材料连续处理三道问题最高提速5.3倍，单题平均延迟为41毫秒。
香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute，通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待，其已部署于 MathBot-Pie，并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
大语言模型的生成过程天然具有自回归特性，即模型基于已有上下文逐 token 预测并生成后续内容。随着模型规模不断增大，单步前向计算的开销也随之增加，使得自回归解码面临较高的推理延迟。
ChatGPT共同创造者Liam Fedus表示，数学可由Lean验证，但材料等物质科学必须依靠真实实验，因此其创立的Periodic Labs在门洛帕克建设实验室，结合语言模型推理、物理模拟与高通量实验探索AI科学家。
浪潮信息在AICC 2026发布搭载128芯本土AI芯片的元脑SD200 Ultra超节点AI服务器，通过超级算子融合技术将2.8万亿参数Kimi K3的Token生成时延降至5.85毫秒，与海外Inferact以"巨内核"路线共同打响万亿参数模型推理效率战。
三星大模型团队联合牛津大学、北京大学提出TrOPD方法，通过信任域机制让端侧模型更稳定高效地继承大模型推理能力，在数学、代码、指令遵循、STEM基准上全面超越现有OPD方法，为前沿智能以更低成本走向数亿终端提供新路径。
Anthropic发布Fable 5.1，推出"上下文一致性验证"机制，严格锁定API返回的"思考块"，任何修改上下文的行为将被直接报错，从而彻底切断通过API蒸馏大模型推理过程的后路。
最近，英伟达发了篇官方的大模型推理指南，结果翻着翻着，硬是让人看成了一本华人团队的论文合集。
亚马逊AWS宣布Amazon Bedrock AgentCore Payments正式进入GA阶段。此前还只有一些简单付费场景的预览功能，现在已经可以让 AI Agent在用户授权和预算限制下，自主购买付费API、MCP服务、数字内容以及模型推理能力。
过去几年，大模型推理系统优化的核心目标一直围绕一个问题展开：如何让 GPU 更高效地计算权重、激活、KV Cache 等高维张量？从并行策略、请求调度、显存管理到算子优化，学界业界大量优化技术不断提升模型推理效率。