仅微调0.02%参数，性能接近全量微调！上交大推出高效微调统一新范式
仅微调0.02%参数，性能接近全量微调！上交大推出高效微调统一新范式Scaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。
来自主题: AI资讯
9176 点击 2024-07-21 00:33
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
Scaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。
GPT-4o mini头把交椅还未坐热，Mistral AI联手英伟达发布12B参数小模型Mistral Nemo，性能赶超Gemma 2 9B和Llama 3 8B。
在520时，有位小红书的用户用kimi分析了他们的感情历程。
著名AI学者、斯坦福大学教授吴恩达提出了AI Agent的四种设计方式后，Agentic Workflow（智能体工作流）立即火爆全球，多个行业都在实践智能体工作流的应用，并推动了新的Agentic AI探索热潮。
小模型，正在成为 AI 巨头的新战场。
大模型在语言、图像领域取得了巨大成功，时间序列作为多个行业的重要数据类型，时序领域的大模型构建尚处于起步阶段。近期，清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练，获得了任务通用的时序分析模型，展现出大模型特有的泛化性与可扩展性
2024年AI人才争夺战硝烟弥漫战况升级，马斯克与OpenAI纠葛不断再结新梁子，就在xAI完成巨额融资前，核心成员Kosic竟重返OpenAI。
OpenAI突发新模型，GPT-3.5退役，大模型成本2年骤降99%
《2024 中国开发者调查报告》深度揭示开发者现状。
在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。