搜索
刚刚，我们经历了LLM划时代的一夜。谷歌又在深夜发炸弹，Gemini Ultra发布还没几天，Gemini 1.5就来了。卯足劲和OpenAI微软一较高下的谷歌，开始进入了高产模式。
Transformer的固定尺寸上下文使得GPT模型无法生成任意长的文本。在本文中，我们介绍了RECURRENTGPT，一个基于语言的模拟RNN中的递归机制。
模型通过学习这些 token 的上下文关系以及如何组合它们来表示原始文本或预测下一个 token。
在软件工程顶会ESEC/FSE上，来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了新的成果，使用LLM解决自动化定理证明问题。
来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。
状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。
新一代国产开源大语言模型来了！200K超长上下文「完美」支持，20B版本综合性能全面领先。
1月9日，百川智能正式发布角色大模型Baichuan-NPC。Baichuan-NPC优化了“角色知识”和“对话能力”，使模型能够更好的理解上下文对话语义，更加符合人物性格地进行对话和行动，让角色更加真实生动。
22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。