一亿上下文长度的 LLM:LTM-2-Mini
Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码或大约 750 本小说。
- LTM 模型不依赖于模糊的记忆,而是能够在推理时处理高达 100M token 的上下文信息。
- 现有的长上下文评估方法存在隐含的语义提示,这降低了评估的难度,使得 RNN 和 SSM 等模型能够得到好的评分。
- Magic 团队提出了 HashHop 评估方法,通过使用哈希对,要求模型存储和检索最大可能的信息量,从而提高了评估的准确性。
- LTM-2-mini 模型在处理超长上下文时,其序列维度算法的成本远低于 Llama 3.1 405B 模型的注意力机制。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun299482.html