AI资讯新闻榜单内容搜索-上下文

关键词: 大模型,上下文限制,AI,LLM

作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。

关键词: 百川智能,192K上下文,5000万tokens

就在昨天，百川智能正式发布Baichuan2-Turbo系列API，192K的超长上下文窗口+搜索增强知识库，解决了困扰行业已久的大模型商用落地难问题。

关键词: GPT-4,Claude2.1

各家大模型纷纷卷起上下文窗口，Llama-1时标配还是2k，现在不超过100k的已经不好意思出门了。然鹅一项极限测试却发现，大部分人用法都不对，没发挥出AI应有的实力。

关键词: 北大微信AI,大模型上下文学习机制,机器学习

EMNLP顶会落下帷幕，各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中，由北大孙栩老师和微信周杰、孟凡东合作指导。

关键词: GPT-4 Turbo,RAG,LLM

RAG或许就是大模型能力飙升下一个未来。RAG+GPT-4，4%的成本，便可拥有卓越的性能。

关键词: 小模型训练,LLM训练,上下文训练

我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。

关键词: LeCun,LLM,大模型,涌现

LeCun引战，LLM根本不会推理！大模型「涌现」，终究离不开上下文学习

关键词: Claude,GPT-4,GPT-4 Turbo

月初刚测了GPT-4 Turbo上下文真实实力的大神Greg Kamradt又盯上了Anthropic刚更新的Claude 2.1。他自己花了1016刀测完之后显示，Claude 2.1在上下文长度达到90K后，性能就会出现明显下降。

关键词: ChatGPT,Claude,

OpenAI开发者大会后不久，它的最强竞对Claude也宣布推出了重磅更新。更新后的Claude 2.1，上下文长度直接翻番到20万，重新超过了GPT-4。

关键词: GPT-4 Turbo,chatGPT,GPT-4,GPTs

OpenAI DevDay发布会上，OpenAI推出了GPT-4 Turbo，该模型在上下文长度、控制方法、模型知识内容更新等方面进行了全面升级。此外，OpenAI还发布了GPTs和Assistants API，构建了大模型生态和AI应用开发平台。