DeepInfer 实测:如何用 4 张 B200 提供 1000 并发
DeepInfer 实测:如何用 4 张 B200 提供 1000 并发DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
搜索
DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
10月20日,ChatGPT聊天框里多了一把锁。
没想到这也开源了。
昨天,DeepSeek 直接把自家压箱底的「印钞机」技术给开源了。
就在刚刚,DeepSeek再放大招,全面开源自研推理框架DeepInfer。一个集群一天服务155万亿Token,DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理,靠的就是它。
上海创智学院、源策未来、香港大学和英伟达团队提出PingpongDuo,通过联合站位规划与全身运动控制,让两台宇树G1与人类搭档完成18次连续交替回球,验证人形机器人双打协同。
任务很简单:把一个加热后的杯子放进柜子。一个智能体先把杯子放进微波炉,再放进柜子,随后陷入反复查看柜子的循环。这个无效行为重复了 36 次,直到耗尽行动预算,任务仍然没有完成。
Caltech的Anima Anandkumar团队利用物理信息神经网络(PINN)和自研优化器,在三维无强迫欧拉方程自由空间中求得奇点候选解,缩放指数收敛至约0.5,但最终证明仍待完成。
机器人正在变得越来越「通用」。
4 人团队,靠“毒舌”在语言学习赛道“突围”。