搜索
EchoChat将共情语音对话拆分为感知、心智理论推理和回复生成，并通过Acoustic-Anchored Attention与Step-Decomposed Credit Assignment统一优化，在三项评测中取得领先表现。
增强模型的表达能力，可以让Transformer更灵活地读取和整合信息。Attention Residuals（AttnResidual）沿着这个方向，将注意力从token之间的信息交互扩展到网络深度，让每个子层学习选择哪些历史层输出。
今天，曾因 Attention Residuals 论文走红的 AI 少年陈广宇（Nathan Chen），宣布离开 Kimi。
一直以来，在Transformer架构中，注意力（Attention）与前馈网络（Feed-Forward Network，FFN）被认为是两个功能不同且互补的模块： 前者让词元（Token）彼此交互，后者对每个词元进行非线性变换。
GLM-5.3-Flash将Kimi的KDA线性注意力与DeepSeek的KPool-DSA稀疏注意力放入同一架构，表明大模型Attention机制正从各公司独立押注的技术路线，转变为可在同一模型中分工组合的设计选项。
大模型越来越会 “想”，也越来越能把 GPU 显存 “想满”。 在数学、科学问答和代码生成等任务中，reasoning model 往往会生成数千乃至数万 token 的长推理链。随着生成持续进行，每
RunningHub推出开源的H3 Lightning加速方案，在保留BF16满血精度的前提下使MiniMax H3视频生成速度提升约12倍，依托RH后训练加速模型、SageAttention2等工程优化并针对无NVLink的PCIe多卡环境调优，目前已全部开源至GitHub，支持创作者本地部署。
图片不只被编码，还直接参与 Attention、MoE 与 Agent 推理。
Full Attention 层尚未开始计算，它前一层的激活值已提前「冲上峰值」—— 这就像演唱会主角尚未登台，观众席已提前沸腾。来自 StartLux、清华大学等机构的研究者以 Massive Activations 为探针，首次系统刻画了少数 Full Attention 层在混合线性注意力大模型中留下的「跨层痕迹」，并识别出「注意力前尖峰」（PAS）与「尖峰间平台」（ISP）两种核心形态。
金涛今年 26 岁，还是清华在读博士。真正把他带进「推理加速」的，是一个很朴素的判断——当大家都默认 FlashAttention 已经把 Attention 算子做到极致时，他却发现：显卡上明明还有更快的计算单元没被用起来 ——「这么明显的收益，为什么没人做？」