陈丹琦团队新作:Llama-2上下文扩展至128k,10倍吞吐量仅需1/6内存
陈丹琦团队新作:Llama-2上下文扩展至128k,10倍吞吐量仅需1/6内存陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法:它仅用8k大小的token文档进行训练,就能将Llama-2窗口扩展至128k。
来自主题: AI技术研报
11848 点击 2024-02-29 13:27
搜索
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法:它仅用8k大小的token文档进行训练,就能将Llama-2窗口扩展至128k。
Hyena处理长序列输入比FlashAttention速度高100倍!最新发布的StripedHyena模型可能成下一代AI架构的新标准?
OpenAI的CEO Altman在分享了GPT-4的数十项新增功能和改进,并降低了平台许多服务的定价: 新的GPT-4 Turbo模型,功能更强大、更便宜并支持128K上下文窗口。 最为关键的是,发布了GPTs功能,能让每个用户自己制作自己「定制化的ChatGPT」,还能通过即将发布的「GPT Store」来让自己定制的GPT为自己挣钱!
OpenAI在首届开发者日上,正式公布自定义GPT。与此同时,现有的GPT-4也迎来一大波更新。 新版本GPT-4 Turbo,支持128k上下文,知识截止更新到2023年4月,视觉能力、DALL·E3,文字转语音TTS等等全都对API开放…… API价格还打了3-5折。