如何使用 ChatGPT 和开源 LLM 进行数据提取和分析
在过去的 18 个月里，随着复杂的大型语言模型的发展，人工智能 （AI） 取得了巨大的飞跃。这些模型，包括 GPT-3.5、GPT-4 和开源 LLM OpenChat 3.5 7B，正在重塑数据提取的格局。这个过程涉及从文本中提取关键信息，如姓名和组织，对于各种分析任务至关重要。当我们探索这些 AI 工具的功能时，我们发现它们在性能、成本效益以及处理结构化数据格式（如 JSON 和 YAML）的效率方面有所不同。
这些高级模型旨在以类似于人类认知的方式理解和处理大量文本。只需输入提示，他们就可以过滤文本并提供结构化数据。这使得提取名称和组织的任务更加顺利，并允许轻松集成到进一步的数据分析过程中。
在本地使用 ChatGPT 和 OpenChat 提取数据
以下示例演示如何将提取的数据保存到 JSON 和 YAML 文件。因为它们易于阅读并且可以很好地与许多编程语言配合使用。JSON 特别适合使用其键值对系统组织分层数据，而 YAML 因其对复杂配置的直接处理而受到青睐。
然而，提取数据并非没有挑战。语法不正确、不必要的上下文和冗余数据等问题可能会影响检索信息的准确性。仔细调整这些大型语言模型以避免这些问题并确保响应在语法上正确至关重要。
当我们查看不同的模型时，OpenAI 的 GPT-3.5 和 GPT-4 等专有模型值得注意。GPT-4 是两者中更先进的，具有更好的上下文理解和更详细的输出。OpenChat 3.5 7B 提供了一个更便宜的开源选项，尽管它可能不如其专有同类产品强大。
使用并行处理可以大大提高数据提取效率。此方法同时向模型发送多个提取请求。它不仅使流程更加高效，而且还减少了大数据提取项目所需的时间。
代币成本
使用这些模型的成本是一个需要考虑的重要因素。专有模型根据使用情况收取费用，这在大型项目中可能会增加。开源模型可以降低这些成本，但可能需要更多的设置和维护。为模型提供的上下文量也会影响其性能。像 GPT-4 这样的模型可以处理更多的上下文，从而在复杂情况下进行更准确的提取。然而，这也可能意味着更长的处理时间和更高的成本。
创建有效的提示和设计一个好的模式是指导模型响应的关键。精心设计的提示可以将模型的焦点定向到文本的相关部分，而架构可以以特定方式组织数据。这对于减少冗余和保持语法精确非常重要。
大型语言模型是强大的数据提取工具，能够快速处理文本以查找重要信息。在 GPT-3.5、GPT-4 和 OpenChat 3.5 7B 等型号之间进行选择取决于您的具体需求、预算和任务的复杂性。通过正确的设置和对其功能的深刻理解，这些模型可以提供高效且具有成本效益的解决方案，用于从文本中提取名称和组织。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun280899.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 