扩展LLMs的上下文窗口
本文介绍了一种称为位置插值（PI）的方法，可以将基于RoPE的预训练LLM的上下文窗口大小扩展到32768个位置，并在各种任务上展示了强大的实证结果。该方法通过线性缩小输入位置索引来实现扩展，同时保持了模型在原始上下文窗口内的质量。通过位置插值扩展的模型保留了原始架构，并可以重复使用大部分预先存在的优化和基础设施。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun238508.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重
LeanDojo ： 一个开源精益游乐场
上一篇
2023年7月5日 下午4:48
Visual Navigation Transformer
下一篇
2023年7月5日
相关推荐
-
一亿上下文长度的 LLM：LTM-2-Mini
一亿上下文长度的 LLM：LTM-2-Mini Magic 发布了一个具有 1 亿 Token 上下文的模型 LTM-2-mini。1 亿 Token相当于大约 1000 万行代码…
-
Jamba 1.5系列模型：非 Transformer 模型首次追上先进模型
Jamba 1.5系列模型：非 Transformer 模型首次追上先进模型 AI21 推出了新的 Jamba 1.5 模型家族，包括 Jamba 1.5 Mini 和 Jamba…
-
Anthropic 发布 Claude 3 工具使用API和上下文越狱方法
Anthropic 发布 Claude 3 工具使用API和上下文越狱方法 Cloud可以使用的工具由JSON模式表示，模型可以调用其中的任何工具，客户端可以将结果分发并返回。而且…
-
X AI 发布了Grok-1.5更新
X AI 发布了Grok-1.5更新 X AI 发布了Grok-1.5更新，具有更好的图里能力及 128K 的上下文长度。马斯克还说普通的 Premium 用户马上也可以使用 Go…
-
XPW文件扩展名： 如何在Windows上打开它
XPW文件扩展名在当今是罕见的，因为创建这些文件的程序，由Intercon Associates Inc.开发的Accessible FormNet，已经过时了。不过，如果您有一些…
-
如何在 Ubuntu 上安装 PHP Imagemagick 22.04
什么是ImageMagick（IMAGICK）？ ImageMagick，或通常缩写的IMAGICK，是一个免费的开源图像处理软件。可用于创建、编辑和操作位图图像。 此外，此命令行…
-
如何在 Ubuntu VSCode 中安装 Jupyter Notebook？
在 Ubuntu 上安装 VSCode 的 Jupyter 扩展的步骤 1. 在 Ubuntu 上安装 VSCode 我们在 Ubuntu 系统上必须拥有的第一件事是 VS Cod…
-
如何在 Snapchat 中扩展图像
为了跟上 AI 趋势和 AI 为图像处理带来的一系列全新酷炫功能，Snapchat 添加了另一项新功能，即使用 AI 扩展快照的能力。此功能可以帮助您使用 AI 缩小照片并扩展照片…
-
Firefox for Android 现在支持超过 450 个附加组件
几周前，Mozilla宣布将很快支持打开扩展在 Firefox for Android 上。好消息是等待期已经结束，移动浏览器现在支持超过 450 个附加组件。 虽然 Firefo…
-
Claude 2.1 小说作家的写作提示和技巧
Claude 2.1 的发布在作者中引起了一些最初的担忧，特别是由于难以使用以前版本 Claude 2.0 中的既定技术。用户报告说，Claude 2.1 似乎没有那么有创意，而且…
-
Chrome 的新标签页可能正在改头换面：可见的 Edge 相似之处
谷歌提议对 Chrome 的新标签页进行更改。新设计具有“模块”系统，允许用户添加可选组件，例如来自其他设备的选项卡和扩展快捷方式。此外，Google 还通过自定义面板中的新“扩展…
-
Anthropic发布Claude 2.1
Anthropic发布Claude 2.1 在与 Open AI 的合并邀请中Anthropic非常稳健的发布了Claude 2.1模型，Claude 2.1升级主要包括下面几个方…
-
Claude 2.1 的新功能：最新的 AI 功能揭晓
Anthropic 最近推出了 Claude 2.1，它为 AI 聊天机器人带来了一些很棒的新功能。由 Anthropic 开发的 Claude 2.1 不仅仅是另一个聊天机器人;…
-
释放 Google Bard 的强大功能：创建自定义提示的指南
Google Bard 是由 Google AI 开发的大型语言模型，已成为生成文本、翻译语言、编写不同类型的创意内容以及以信息丰富的方式回答问题的强大工具。它的多功能性和适应各种…
-
YouTube Summary with ChatGPT 是一个简单的 Chrome 插件
YouTube Summary with ChatGPT 是一个简单的 Chrome 扩展（清单 v3），它允许您使用 OpenAI 的 ChatGPT AI 技术获取 YouTu…
-
YouTube Bard 扩展程序现在可以更好地理解您正在观看的视频
谷歌现在正在为其流行的 AI 聊天机器人 Bard 推出另一项更新。YouTube Bard 扩展现在可以更好地理解您正在观看的视频。 不久前，这家科技巨头还“放宽”了对在几个国家…
-
谷歌推出改进后的 Chrome 网上应用店
谷歌今天宣布正式推出其重新设计的 Chrome 网上应用店，为发现扩展程序和主题提供更精简和用户友好的体验，以增强 Chrome 浏览体验。 Chrome 网上应用店是 Googl…
-
Microsoft Edge为企业用户简化浏览器上的AI企业管理
Microsoft 通过将 Copilot 引入 Microsoft 365 管理中心的 Edge 管理服务，使 IT 管理员能够更轻松地管理 Edge for Business。…
-
5 个很棒的 ChatGPT 插件
您是否正在寻求利用 AI 的力量来增强您的在线体验？不要再看了！下面来自 AI Master 的视频为我们提供了五个很棒的 ChatGPT 插件，它们有望简化您的网页浏览、研究以及…
-
Firefox 116：如何允许每个扩展在受 Mozilla 限制的站点上运行
Mozilla推出了Firefox 115，具有新功能，改进和错误修复，包括后端功能“隔离域”。 由于Mozilla无法监控每个附加组件的安全性，因此该公司正在阻止针对特定域的恶意…
-
关于如何充分利用 ChatGPT 响应的 14 个专家提示
在快节奏、不断变化的人工智能和机器学习世界中，ChatGPT 成为对话代理可以完成的杰出例子。它的曲目种类繁多，从制作复杂的诗歌和回答多方面的问题，到执行一系列任务，包括但不限于生…
-
将 LLM 当做操作系统
将 LLM 当做操作系统 大型语言模型（LLM）在扩展对话和文档分析等任务中存在上下文窗口有限的局限性。为了解决这个问题，作者提出了虚拟上下文管理，这是一种受传统操作系统的分层存储…
-
Ring Attention – 一种内存高效的方法
Ring Attention – 一种内存高效的方法 利用自注意力的分块计算将长序列分布到多个设备上，以克服 Transformer 架构固有的内存限制，从而能够在训练…
-
如何使用StreamingLLM提高LLM的速度
如果您注意到本地安装的LLM在尝试包含更大的提示时速度变慢。您可能对一种新的解决方案感兴趣，该解决方案可以提高大型语言模型的速度和性能，以StreamingLLM的形式帮助提高LL…
-
改善 ChatGPT 响应的 5 大技巧
对话式人工智能的出现彻底改变了我们与技术互动的方式。像ChatGPT这样的聊天机器人已经变得越来越复杂，为用户提供了更像人类的交互体验。但是，总有改进的余地。在本文中，我们将深入探…
