将 LLM 当做操作系统
大型语言模型(LLM)在扩展对话和文档分析等任务中存在上下文窗口有限的局限性。为了解决这个问题,作者提出了虚拟上下文管理,这是一种受传统操作系统的分层存储系统启发的技术。他们引入了MemGPT系统,该系统管理不同的存储层次,在LLM有限的上下文窗口中提供扩展的上下文,并利用中断来管理其与用户之间的控制流。作者在两个领域评估了他们基于操作系统的设计,其中现代LLM的有限上下文窗口严重限制了其性能:文档分析和多会话聊天。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun262289.html