卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法
卡加了,吞吐为何没跟上?大模型推理中的等待,有了新解法香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
搜索
香港科技大学周子杰团队与华为 2012 实验室理论部提出 BalanceRoute,通过建模与短期负载预测减少 MoE 模型解码的跨组同步等待,其已部署于 MathBot-Pie,并在 96 张昇腾 910C NPU 实验中使解码吞吐提升约 15%。
两年前因在字节跳动实习期间恶意篡改代码、干扰模型训练任务而被辞退,随后遭字节起诉索赔800万元的田柯宇,已经带着一家世界模型实验室重回牌桌。团队只有约 10 个人,没有公开公司名字,没有推出产品 demo ,完整模型预计要到 2027 年才发布,但已经融到近 3000 万美元,投后估值 2 亿美元。
好家伙,连波士顿动力的前高管,都被一台中国机器人硬控了。
训不起2.8T的K3,玩够了124M的nanoGPT,想试试十亿参数、万亿token的预训练,门槛有多高?
近日,Anthropic高管Jack Clark抛出了一个重磅炸弹。
视觉语言模型已经进入办公助手、内容审核、机器人和智能终端等场景。
2026 年 10 月 15 日,阶跃星辰正式开源新一代旗舰模型 Step 5 Preview,在 AI 编程、软件工程、专业知识工作、金融等任务上达到前沿水平。
Anthropic宣布Claude Opus 5.5极速模式结束研究预览、取消等待名单并向全体开发者开放,该模式保持相同模型智力,OTPS最高提升2.5倍,API请求中加入speed: "fast"即可启用。
一张96GB显存的专业卡卖13.8万元,一套128GB的DDR5内存逼近2.5万元。
英伟达重仓,字节或为隐形大客户。