NeurIPS'26 | 注意力也能弃权!改善长上下文、低比特鲁棒性
NeurIPS'26 | 注意力也能弃权!改善长上下文、低比特鲁棒性增强模型的表达能力,可以让Transformer更灵活地读取和整合信息。Attention Residuals(AttnResidual)沿着这个方向,将注意力从token之间的信息交互扩展到网络深度,让每个子层学习选择哪些历史层输出。
来自主题: AI技术研报
5651 点击 2026-10-23 09:51
搜索
增强模型的表达能力,可以让Transformer更灵活地读取和整合信息。Attention Residuals(AttnResidual)沿着这个方向,将注意力从token之间的信息交互扩展到网络深度,让每个子层学习选择哪些历史层输出。
就在前几天,一家名为 Oasis Devices 的迈阿密初创公司,发布了一款专门适用于不方便打字也不方便大声说话的新 AI 录音听写硬件,OASIS 1 智能戒指。这枚售价 289 美元的钛合金戒指,最大的卖点,就是把 Wispr Flow 的 AI 听写技术,从一个放在手机上的 App 里,转到了一个离我们嘴巴更近的载体里。
本期 AGI 路线图中关键节点:Sora、DiT、Runway Gen-3、可灵 AI、Oasis、世界模拟器
最近,上海 AI Lab、CAMEL-AI.org、大连理工大学、牛津大学、马普所等国内外多家机构联合发布了一个名为 OASIS 的百万级智能体交互开源项目。
现在,一个大模型就能直接拿来当游戏,还是开放世界的那种! 可以直接根据玩家操作预测下一帧,连游戏引擎都省了。 这个怎么看都像是《我的世界》的界面,就是这款游戏Oasis本尊了。