开源模型的聊天界面ChatUI

使用开源模型的聊天界面,例如 OpenAssistant。它是一个 SvelteKit 应用程序,它为 hf.co/chat 上的 HuggingChat 应用程序提供支持。

Setup

 聊天 UI 的默认配置存储在 .env 文件中。您需要覆盖一些值才能让聊天 UI 在本地运行。这是在 .env.local 中完成的。

首先在存储库的根目录中创建一个 .env.local 文件。让 Chat UI 在本地运行所需的最低限度配置如下:

MONGODB_URL=<the URL to your mongoDB instance>HF_ACCESS_TOKEN=<your access token>

Database

聊天历史记录存储在 MongoDB 实例中,聊天 UI 需要有可用的数据库实例。

您可以使用本地 MongoDB 实例。最简单的方法是使用 docker 启动一个:

docker run -d -p 27017:27017 --name mongo-chatui mongo:latest

在这种情况下,您的数据库的 url 将:

MONGODB_URL=mongodb://localhost:27017

或者,您可以为此使用免费的 MongoDB Atlas 实例,聊天 UI 应该适合免费套餐。之后您可以在 .env.local 中设置 MONGODB_URL 变量以匹配您的实例。

Hugging Face Access Token

 您将需要一个 Hugging Face 访问令牌来使用远程推理端点在本地运行聊天 UI。您可以从您的 Hugging Face 个人资料中获取一张。

Launch完成 .env.local 文件后,您可以使用以下命令在本地运行 Chat UI:

npm installnpm run dev

更多参阅项目网站

项目链接

https://github.com/huggingface/chat-ui

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267442.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月23日
下一篇 2023年11月23日

相关推荐