抓取网站以生成知识文件GPT Crawler

该项目抓取了文档并生成了我上传的文件作为自定义 GPT 的基础。

通过询问有关如何将 Builder.io 集成到站点中的问题来亲自尝试一下。

开始使用

本地运行

克隆存储库

确保您安装了 Node.js >= 16。

git clone https://github.com/builderio/gpt-crawler

安装依赖项

npm i

配置爬虫

打开 config.ts 并编辑 url 和 selectors 属性以满足您的需求。

例如。抓取 Builder.io 文档以制作我们的自定义 GPT,您可以使用:

export const defaultConfig: Config = {  url: "https://www.builder.io/c/docs/developers",  match: "https://www.builder.io/c/docs/**",  selector: `.docs-builder-container`,  maxPagesToCrawl: 50,  outputFileName: "output.json",};

运行你的爬虫

npm start

替代方法

使用 Docker 在容器中运行

通过容器化执行获取 output.json 。进入 containerapp 目录。修改 config.ts 同上,data文件夹下应该会生成 output.json 文件。注意:containerapp 文件夹中 config.ts 文件中的 outputFileName 属性配置为与容器一起使用。

将您的数据上传到 OpenAI

爬网将在此项目的根目录下生成一个名为 output.json 的文件。将其上传到 OpenAI 以创建您的自定义助手或自定义 GPT。

创建自定义 GPT

使用此选项通过 UI 访问您生成的知识,您可以轻松与他人共享

注意:您现在可能需要付费 ChatGPT 计划才能创建和使用自定义 GPT

  1. 前往 https://chat.openai.com/
  2. 点击左下角你的名字
  3. 在菜单中选择“我的 GPT”
  4. 选择“创建 GPT”
  5. 选择“配置”
  6. 在“知识”下选择“上传文件”并上传您生成的文件

640

创建自定义助手

使用此选项通过 API 访问您生成的知识,您可以将其集成到您的产品中。

  1. 前往 https://platform.openai.com/assistants
  2. 点击“+创建”
  3. 选择“上传”并上传您生成的文件

640-1

项目链接

https://github.com/BuilderIO/gpt-crawler

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267358.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月23日 下午3:25
下一篇 2023年11月23日

相关推荐