DeepMind携Mamba华人作者推Transformer革命之作!性能暴涨媲美Llama 2,推理能效大幅碾压
DeepMind携Mamba华人作者推Transformer革命之作!性能暴涨媲美Llama 2,推理能效大幅碾压线性RNN赢了?近日,谷歌DeepMind一口气推出两大新架构,在d基准测试中超越了Transformer。新架构不仅保证了高效的训练和推理速度,并且成功扩展到了14B。
搜索
线性RNN赢了?近日,谷歌DeepMind一口气推出两大新架构,在d基准测试中超越了Transformer。新架构不仅保证了高效的训练和推理速度,并且成功扩展到了14B。
现在,马斯克起诉OpenAI案的最大未解之谜,就集中在了「Ilya究竟看到了什么」上。他看到的东西,让OpenAI大震荡,所有模型推出计划被削弱和延期。最近网上曝出的一份53页PDF,就透露了Q*的许多重大细节:125万亿参数,去年12月已训完。但马斯克这么一闹,恐怕Q*面世的时间还要大大延迟。
2024年2月23日,OpenAI、微软、贝佐斯风投、英伟达等总计18位投资公司向一家机器人公司注资了6.75亿美元,这家公司就是Figure AI。
2024年伊始,手机圈最火热的概念显然莫过于“AI手机”。先有OPPO发出内部信称,2024年是AI手机元年,将通过AI把手机的体验重新做一遍,并且OPPO已做好充分的准备,还专门成立了AI中心,未来资源也将向AI集中。
前段时间,种子轮融资3000万美元的日本公司Sakana AI,因为众多亮眼标签,受到很多关注——谷歌科学家、硅谷原班人马、总部扎根东京、小模型……
就在一年以前,AI 科学家杨植麟在硅谷做了一笔精确的计算。他意识到,如果决定启动一场以 AGI 为目标的大模型创业,要在未来几个月立马筹措超 1 亿美金资本。
去年 12 月,新架构 Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 发起了挑战。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型压缩到 1.0073 个比特时,仍然能使其保持约 83% 的性能!
随着 Sora 的爆火,人们看到了 AI 视频生成的巨大潜力,对这一领域的关注度也越来越高。
北大团队联合兔展发起了一项Sora复现计划——Open Sora。