1. 云东方首页
  2. 工具软件

本地运行的AI聊天助手CatAI

• 工具软件

使用聊天 ui 在计算机上运行 GGUF 模型。

Your own AI assistant runs locally on your computer.
您自己的人工智能助手在您的计算机上本地运行。

受到 Node-Llama-Cpp、Llama.cpp 的启发

 安装与使用

确保您已安装 Node.js（当前下载）。

npm install -g catai

catai install vicuna-7b-16k-q4_k_s

catai up

特征

  • 自动检测编程语言
  • 点击用户图标即可显示原始消息
  • 实时文本流
  • 快速模型下载

CLI  命令行界面

Usage: catai [options] [command]
Options:  -V, --version                    output the version number  -h, --help                       display help for command
Commands:  install|i [options] [models...]  Install any GGUF model  models|ls [options]              List all available models  use [model]                      Set model to use  serve|up [options]               Open the chat website  update                           Update server to the latest version  active                           Show active model  remove|rm [options] [models...]  Remove a model  uninstall                        Uninstall server and delete all models  help [command]                   display help for command

安装命令

Usage: cli install|i [options] [models...]
Install any GGUF model
Arguments:  models                Model name/url/path
Options:  -t --tag [tag]        The name of the model in local directory  -l --latest           Install the latest version of a model (may be unstable)  -b --bind [bind]      The model binding method  -bk --bind-key [key]  key/cookie that the binding requires  -h, --help            display help for command

 跨平台

您可以在 Windows、Linux 和 Mac 上使用它。

该软件包使用支持以下平台的node-llama-cpp：

  • darwin-x64
  • darwin-arm64
  • linux-x64
  • linux-arm64
  • linux-armv7l
  • linux-ppc64le
  • win32-x64-msvc

内存使用情况

在大多数现代计算机上运行。除非您的计算机非常旧，否则它应该可以工作。

根据 llama.cpp 讨论线程，以下是内存要求：

  • 7B => ~4 GB
  • 13B => ~8 GB
  • 30B => ~16 GB

很高兴知道

  • 所有下载数据默认下载到 ~/catai 文件夹。
  • 下载是多线程的，因此可能会使用大量带宽，但下载速度会更快！

Web API 网络应用程序接口

您还可以使用一个简单的 API 来询问模型问题。

const response = await fetch('http://127.0.0.1:3000/api/chat/prompt', {    method: 'POST',    body: JSON.stringify({        prompt: 'Write me 100 words story'    }),    headers: {        'Content-Type': 'application/json'    }});
const data = await response.text();

项目链接

https://github.com/withcatai/catai

原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun267399.html

赞 (0)
打赏 微信扫一扫不于多少！ 微信扫一扫不于多少！ 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月23日
下一篇 2023年11月23日

相关推荐