推倒万亿参数大模型内存墙，万字长文：从第一性原理看神经网络量化
推倒万亿参数大模型内存墙，万字长文：从第一性原理看神经网络量化为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
来自主题: AI技术研报
9584 点击 2024-02-17 11:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs，纷纷开始研发全新的硬件解决方案。
Karpathy力推代码生成任务增强流程，让GPT-4在CodeContests从19%提升到44%，不用微调不用新数据集训练，让大模型代码能力大幅提升。
OpenAI发布了首个AI视频模型Sora，该模型能够根据文字指令生成逼真且充满想象力的视频，且能够生成长达1分钟的连贯视频。通过提供多帧预测，Sora实现了一镜到底的效果。
Stability AI 作为文本到图像的「元老」，不仅在引领该领域的潮流方向，也在模型质量上一次次进行新的突破，这次是性价比的突破。
刚刚，AI大牛Andrej Karpathy官宣了一条重要消息：他昨天已经从OpenAI离职，不过这中间没有什么戏剧性冲突，他只是想去尝试一下自己的个人项目。
人工智能诈骗已成现实，引人忧虑。近几个月来，人工智能接连浮现，我们频繁在新闻标题中看到如下字眼：AI 泄露了公司代码，还根本就删不掉；AI 软件侵犯了用户的人脸信息隐私；某大模型产品被曝泄露私密对话……等等。
没想到，AI要是“够废”，也能爆火全网。一个“什么问题都回答不了”的AI，这几天成了圈内新星。Reddit、HackerNews上讨论热度持续升高。
一位网友公开了他创作的一个可以自主学习的智能体，按照他的设想，这样的智能体将在LLM的加持下迅速成长为无所不能的AGI，而人类如果控制她成长的过程，就不需要专门进行对齐。
现在一句口令，就能指挥汽车了。比如说声“我开会要迟到了”“我不想让我朋友等太久”等等，车就能理解，并且自动加速起来。
距离第一部描绘人类与人工智能关系的电影《大都会》上映已经过去了近一个世纪，而人们对人工智能的畅想经久不衰。