如何从零开始训练大模型（minicpm分享&讨论）
如何从零开始训练大模型（minicpm分享&讨论）根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。
来自主题: AI技术研报
4481 点击 2024-03-19 15:55
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
根据scaling law，模型越大，高质量数据越多，效果越好。 但还有一个很直观的情况，随着预训练样本的质量不断提升，训练手段的优化。新的模型，往往效果能轻松反超参数量两倍于它的模型。
AI 大模型能否成为教育智能硬件的突破点？
人工智能大模型的高耗电，会让很多国家玩不起。
“不学点AI找不到工作了？”AI带来的焦虑正在不断蔓延。 一位坐标北京的资深卖房中介林阳，已经开始自学AI大模型了。
半年时间，月之暗面把 AI 模型支持的上下文长度提升了一个数量级，实现了 200 万字上下文的「无损压缩」。
高通又往中高端手机市场扔下一颗「重磅炸弹」。
都说今年是大模型落地元年，但实际进展还是快得超出想象了。
马斯克说到做到： 旗下大模型Grok现已开源
继2月以投后约25亿美金估值炸场后，杨植麟的大模型公司月之暗面终于有了一次公开对媒体的活动。
说到做到，马斯克承诺的开源版大模型 Grok 终于来了！