使用说明
安装依赖
在终端中输入下面的命令,然后回车即可。
pip install -r requirements.txt
如果您在使用Windows,建议通过WSL,在Linux上安装。如果您没有安装CUDA,并且不想只用CPU跑大模型,请先安装CUDA。
如果下载慢,建议配置豆瓣源。
本地调用
请使用下面的命令。取决于你的系统,你可能需要用python或者python3命令。请确保你已经安装了Python。
CUDA_VISIBLE_DEVICES=0 python chatpdf.py –gen_model_type baichaun –gen_model baichuan-inc/Baichuan-13B-Chat
启动Web服务
CUDA_VISIBLE_DEVICES=0 python webui.py –gen_model_type llama –gen_model LinkSoul/Chinese-Llama-2-7b-4bit
如果一切顺利,现在,你应该已经可以在浏览器地址栏中输入 http://localhost:7860 查看并使用 ChatPDF 了。
项目代码还很粗糙,如果大家对代码有所改进,欢迎提交回本项目。
Reference
- imClumsyPanda/langchain-ChatGLM
项目链接
https://github.com/shibing624/ChatPDF
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267413.html