DeepInfer 实测:如何用 4 张 B200 提供 1000 并发
DeepInfer 实测:如何用 4 张 B200 提供 1000 并发DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
来自主题: AI资讯
9061 点击 2026-10-23 10:21
搜索
DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
没想到这也开源了。
昨天,DeepSeek 直接把自家压箱底的「印钞机」技术给开源了。
就在刚刚,DeepSeek再放大招,全面开源自研推理框架DeepInfer。一个集群一天服务155万亿Token,DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理,靠的就是它。
OpenClaw 刚刚发布 2026.4.27 版本,一次性把 DeepInfra 多模态 provider、非图片附件链路、企业级代理路由、模型选择确定性、网关/通道/会话稳定性五件事全部补齐。近 900 人点赞,6.3 万人围观,社区却吵成两派——一边夸"终于补了生产级地基",一边追问"上几版的 gateway 坑到底填了没"。
UOS AI实现了国内外主流大模型的能力接入,并封装成deepin的AI底层公共能力;同时,我们也将把UOS AI逐步开源给第三方应用,让更多应用可以在deepin上直接调用大模型。