一亿上下文长度的 LLM:LTM-2-Mini

一亿上下文长度的 LLM:LTM-2-Mini

Magic 发布了一个具有 1 亿 Token 上下文模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码或大约 750 本小说。

  • LTM 模型不依赖于模糊的记忆,而是能够在推理时处理高达 100M token 的上下文信息。
  • 现有的长上下文评估方法存在隐含的语义提示,这降低了评估的难度,使得 RNN 和 SSM 等模型能够得到好的评分。
  • Magic 团队提出了 HashHop 评估方法,通过使用哈希对,要求模型存储和检索最大可能的信息量,从而提高了评估的准确性。
  • LTM-2-mini 模型在处理超长上下文时,其序列维度算法的成本远低于 Llama 3.1 405B 模型的注意力机制。

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun299482.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2024年9月20日
下一篇 2024年9月20日

相关推荐