使用开源模型的聊天界面,例如 OpenAssistant。它是一个 SvelteKit 应用程序,它为 hf.co/chat 上的 HuggingChat 应用程序提供支持。
Setup
聊天 UI 的默认配置存储在 .env
文件中。您需要覆盖一些值才能让聊天 UI 在本地运行。这是在 .env.local
中完成的。
首先在存储库的根目录中创建一个 .env.local
文件。让 Chat UI 在本地运行所需的最低限度配置如下:
MONGODB_URL=<the URL to your mongoDB instance>
HF_ACCESS_TOKEN=<your access token>
Database
聊天历史记录存储在 MongoDB 实例中,聊天 UI 需要有可用的数据库实例。
您可以使用本地 MongoDB 实例。最简单的方法是使用 docker 启动一个:
docker run -d -p 27017:27017 --name mongo-chatui mongo:latest
在这种情况下,您的数据库的 url 将:
MONGODB_URL=mongodb://localhost:27017
或者,您可以为此使用免费的 MongoDB Atlas 实例,聊天 UI 应该适合免费套餐。之后您可以在 .env.local
中设置 MONGODB_URL
变量以匹配您的实例。
Hugging Face Access Token
您将需要一个 Hugging Face 访问令牌来使用远程推理端点在本地运行聊天 UI。您可以从您的 Hugging Face 个人资料中获取一张。
Launch完成 .env.local
文件后,您可以使用以下命令在本地运行 Chat UI:
npm install
npm run dev
更多参阅项目网站
项目链接
https://github.com/huggingface/chat-ui
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267442.html