「用 AI 训 AI」这事靠谱吗？
「用 AI 训 AI」这事靠谱吗？在大语言模型领域，微调是改进模型的重要步骤。伴随开源模型数量日益增多，针对LLM的微调方法同样在推陈出新。
来自主题: AI技术研报
10771 点击 2024-05-01 19:31
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
在大语言模型领域，微调是改进模型的重要步骤。伴随开源模型数量日益增多，针对LLM的微调方法同样在推陈出新。
「Rabbit R1，它本质上是安卓系统上面做了个 Launcher 程序，破解后在手机上就能运行。」
一夜之间，大模型话题王，再次易主。
已经数不清网友第多少次因AI吵得不可开交，只知道最近一次大混战起于配音圈，且争论还在持续。
语言，不仅仅是文字的堆砌，更是表情包的狂欢，是梗的海洋，是键盘侠的战场（嗯？哪里不对）。
微软的“GitHub版Devin”——Copilot WorkSpace，终于上线了！
现在，ChatGPT记忆功能，向所有Plus用户开放！
探索视频理解的新境界，Mamba 模型引领计算机视觉研究新潮流！传统架构的局限已被打破，状态空间模型 Mamba 以其在长序列处理上的独特优势，为视频理解领域带来了革命性的变革。
前段时间，微软搞了个乌龙：隆重地开源了 WizardLM-2，又在不久后撤回得干干净净。
ChatGPT-4 被认为是人工智能技术发展的重要节点，语言大模型之后的多模态大模型初步显现了世界模型的影子。大模型最终将通过硬件与物理世界产生交互。人工智能的应用实现从数字世界到物理世界的扩展，具身智能是非常关键的技术方向。
每一次关键技术取得通用化的突破，都会深刻改变生产方式，并显著提升生产力水平，而「大模型」成为了打通人工智能技术通用性「任督二脉」的关键。智慧眼，作为全球领先的人工智能企业，最近推出了其创新研发的通用大模型——砭石。
距离夏天越来越近了，GPT-4.5/5 的亮相预计已经进入倒计时，关于 ChatGPT 的新消息开始噌噌地冒出来了。
一家线上教育产品公司如何巧用大模型之力获得新增长？多邻国可以称得上是全球市场典型的范本之一。
全球首台，黄仁勋亲自送货上门，OpenAI首发，DGX H200算是把流量拉满了。
时间倒回前几年，如果小雷和小伙伴们聊聊AI，你们可能觉得我在天方夜谭？
想象一下，你仅需要输入一段简单的文本描述，就可以生成对应的 3D 数字人动画的骨骼动作。而以往，这通常需要昂贵的动作捕捉设备或是专业的动画师逐帧绘制。这些骨骼动作可以进一步的用于游戏开发，影视制作，或者虚拟现实应用。来自阿尔伯塔大学的研究团队提出的新一代 Text2Motion 框架，MoMask，正在让这一切变得可能。
今年 2 月份，OpenAI 发布了人工智能文生视频大模型 Sora，并放出了第一批视频片段，掀起了 AI 生成视频浪潮。目前，Sora 仍未进行公测，只有一些视觉艺术家、设计师、电影制作人等获得了 Sora 的访问权限。他们发布了一些 Sora 生成的视频短片，其连贯、逼真的生成效果令人惊艳。
对于小型语言模型（SLM）来说，数学应用题求解是一项很复杂的任务。
大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token
在4月27日召开的中关村论坛通用人工智能平行论坛上，人大系初创公司智子引擎隆重发布全新的多模态大模型Awaker 1.0，向AGI迈出至关重要的一步。
2024 年，Sora 一直活在聚光灯下
FP8和更低的浮点数量化精度，不再是H100的“专利”了！
啊？Sora火爆短片《气球人》，也“造假”了？？？
训练模型搞得跟《饥饿游戏》似的，全球AI研究者，都在苦恼怎么才能喂饱这群数据大胃王。
又一个国产多模态大模型开源！ XVERSE-V，来自元象，还是同样的无条件免费商用。
算力基础设施建设，北京市有了最新的大动作—— 《北京市算力基础设施建设实施方案（2024-2027年）》
Llama 3诞生整整一周后，直接将开源AI大模型推向新的高度。
近期，大语言模型、文生图模型等大规模 AI 模型迅猛发展。在这种形势下，如何适应瞬息万变的需求，快速适配大模型至各类下游任务，成为了一个重要的挑战。受限于计算资源，传统的全参数微调方法可能会显得力不从心，因此需要探索更高效的微调策略。
大模型力大砖飞，让LLaMA3演绎出了新高度： 超15T Token数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。
Sora席卷世界，也掀起了全球竞逐AI视频生成的热潮。 就在今天，国内又有一支短片引发关注。