DeepInfer 实测:如何用 4 张 B200 提供 1000 并发
DeepInfer 实测:如何用 4 张 B200 提供 1000 并发DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
搜索
DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
Anthropic发布个人智能体Claude Duet预览版,支持6000多个连接器和插件、继承Claude记忆及应用连接并共享Pro和Max套餐额度,可主动整理任务,但暂不支持第三方聊天渠道和本地文件访问。
估值冲上150亿。
10月20日,ChatGPT聊天框里多了一把锁。
没想到这也开源了。
天呐,Anthropic最新招股书刚刚曝光了!
Anthropic正式宣布上线由Opus 5.5驱动的主动式智能体Claude Duet,面向美国Pro和Max用户开放候补,可在云端持续监控并推进工作流,发消息、付款、签文件和删除内容仍需用户批准。
营收狂飙,账面巨亏。
昨天,DeepSeek 直接把自家压箱底的「印钞机」技术给开源了。
OpenAI正在加速推进一轮约300亿美元的融资,试图在竞争对手Anthropic预计11月中旬IPO之前锁定投资者。