卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
搜索
香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
Anthropic 内部研究模型 Claude 在不到半小时内追溯出五条 NIST 椭圆曲线种子源自以 Unix 时间戳初始化的 lrand48,但该发现未攻破 ECDSA,也未还原全部曲线设计过程。
GPT-5.5,正式告别ChatGPT!
近日,Anthropic高管Jack Clark抛出了一个重磅炸弹。
Anthropic宣布Claude Opus 5.5极速模式结束研究预览、取消等待名单并向全体开发者开放,该模式保持相同模型智力,OTPS最高提升2.5倍,API请求中加入speed: "fast"即可启用。
Claude Code一夜进化!
Claude王者归来了。
Opus 5.5 High疑似被路由到新模型?
不er,A\你穿越回来的啊??
在 AI 圈,几乎所有人都在讨论 AI 什么取代我,取代数学家、设计师、经济学家,但被「杀死」最多次的一定是程序员。