DeepSeek之后,StartLux再来:开源首个决策模型推理引擎,推理快至5.3倍
DeepSeek之后,StartLux再来:开源首个决策模型推理引擎,推理快至5.3倍StartLux(原点星辉)开源首款面向决策模型的推理引擎Prism,实测同一材料连续处理三道问题最高提速5.3倍,单题平均延迟为41毫秒。
搜索
StartLux(原点星辉)开源首款面向决策模型的推理引擎Prism,实测同一材料连续处理三道问题最高提速5.3倍,单题平均延迟为41毫秒。
据路透社、彭博社和《华尔街日报》报道,DeepSeek约1000亿元第二轮融资涉及超过15家投资方,宁德时代和腾讯为最大投资方,兆易创新、美团、吉利、美的等亦参与。
科大讯飞发布端云一体基座模型讯飞星火X2.6和语音基座模型SparkAudio 1.0,星火X2.6基于全国产算力训练,云端293-A30B支持百万token上下文,输入缓存未命中及输出价格低于DeepSeek-V4.1-Flash-1017,端侧X2.6-4B已开源。
DeepSeek 开源的推理框架 DeepInfer 经 PCIe 本机取数改造后,可在无 RDMA 网卡的 4 张 B200 上以 128k 上下文承载 1024 并发,总输出约 6.2 万 token/s。
据彭博社报道,DeepSeek最新一轮融资已筹集约1000亿元,创中国AI行业规模最大融资纪录,宁德时代和腾讯位列本轮融资规模最大投资者之列。
没想到这也开源了。
好了好了这下坏了,黄仁勋接住梁文锋的招了。
昨天,DeepSeek 直接把自家压箱底的「印钞机」技术给开源了。
就在刚刚,DeepSeek再放大招,全面开源自研推理框架DeepInfer。一个集群一天服务155万亿Token,DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理,靠的就是它。
10月20日,美国国土安全部(DHS)发布通告: 要求美国所有联邦民事行政机构,全面禁止采购DeepSeek的产品,并从现有IT系统中彻底清退相关软件和服务。