大模型不会推理，为什么也能有思路？有人把原理搞明白了
大模型不会推理，为什么也能有思路？有人把原理搞明白了大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。
来自主题: AI技术研报
8961 点击 2024-11-22 16:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。
自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来，全球掀起了一场 AI 能力 “复现” 竞赛。近日，上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破，通过简单的知识蒸馏方法，团队成功使基础模型在数学推理能力上超越 o1-preview。
在多模态AI领域，基于预训练视觉编码器与MLLM的方法（如LLaVA系列）在视觉理解任务上展现出卓越性能。
今天，如果你身边有这样一个对话大模型，它就像你身边的一个朋友，快言快语，风趣幽默，既会比喻，又会自嘲，偶尔跟你唱反调，你跟它的聊天欲望会不会更强一些呢？
谷歌和OpenAI又杠上了。
Meta最近开源了一个7B尺寸的Spirit LM的多模态语言模型，能够理解和生成语音及文本，可以非常自然地在两种模式间转换，不仅能处理基本的语音转文本和文本转语音任务，还能捕捉和再现语音中的情感和风格。
人工智能虽然其提供了广泛的信息，却缺乏解决复杂问题所需的深入、结构化的推理能力，同时还存幻觉的局限。形式逻辑和相关数学工具为 AGI 的逻辑推理能力提供了必要的理论基础和技术支撑。
Scaling Law撞墙，扩展语言智能体的推理时计算实在太难了！破局之道，竟是使用LLM作为世界模型？OSU华人团队发现，使用GPT-4o作为世界模型来支持复杂环境中的规划，潜力巨大。
Copilot 正成为 AI 代码产品的主力军。
今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。