如何使用 Ollama 在本地运行大型语言模型
Ollama 是一个开源语言模型平台，自 2023 年 10 月首次推出以来，已经引入了多项新功能和更新。包括为 Ollama 添加 Python 和 JavaScript 库，在不依赖 LangChain 或 LlamaIndex 等外部工具的情况下简化各种任务的脚本创建，将视觉模型集成到 Ollama 中，支持命令行和 API 使用，从而实现图像描述自动化和图像中的文本识别等任务。
以及 OpenAI 兼容性，允许用户使用 OpenAI 库格式访问 Ollama 模型，促进从 OpenAI 模型到 Ollama 的过渡以进行本地执行，能够保存和加载带有模型的会话，增强了想要保留其工作并尝试不同提示的用户的工作流程，并改进了 CPU 支持和用户界面命令，以便更好地访问和控制模型参数和系统提示。
最值得注意的更新之一是引入了 Python 和 JavaScript 的专用库。对于开发人员来说，这是向前迈出的重要一步，因为它允许直接为 Ollama 创建脚本，而无需中间工具。这些库提供了指向 Ollama 功能的直接链接，从而可以更轻松地自动执行任务或将语言模型集成到您的应用程序中。
另一个令人兴奋的发展是将视觉模型整合到Ollama的能力中。这一新增功能使开发人员能够自动描述图像并识别图像中的文本，这可以通过命令行和 API 接口完成。通过结合视觉和语言处理，Ollama 为创建创新应用程序开辟了新的可能性。
使用 Ollama 在本地运行 AI 模型
Sam Witteveen 制作了一个很棒的概述视频，解释了更多关于 Ollama 的新功能、库、愿景和更新，如果您想在本地网络或 PC 上运行人工智能，它是一个绝佳的选择。
LLaVA
LLaVA（大型语言和视觉助手）模型集合已更新为支持以下版本：1.6
- 更高的图像分辨率：支持高达 4 倍以上的像素，使模型能够掌握更多细节。
- 改进的文本识别和推理能力：在额外的文档、图表和图表数据集上进行训练。
- 更宽松的许可证：通过 Apache 2.0 许可证或 LLaMA 2 社区许可证分发。
这些模型有三种参数大小。7B、13B 和新的 34B 型号：
ollama run llava:7bollama run llava:13bollama run llava:34b
对于那些一直在使用 OpenAI 模型的人来说，Ollama 现在提供与 OpenAI 库格式的兼容性。这确保了希望切换到 Ollama 的开发人员的无缝过渡，允许使用熟悉的方法并减少适应新平台所需的时间。
该平台还改进了会话管理，这对于参与多个项目或长期工作的开发人员来说是一个显着的好处。保存和加载模型会话的能力意味着您可以从上次中断的地方继续，而不会丢失进度。此功能可节省宝贵的时间和精力。
除了这些更新之外，Ollama 在增强 CPU 支持和改进用户界面命令方面也取得了长足的进步。这些改进使开发人员能够更好地控制模型参数和系统提示，从而适应更广泛的硬件功能和用户偏好。
Ollama 最近的更新侧重于完善开发过程和扩展平台的功能。凭借新的 Python 和 JavaScript 库、视觉模型的集成、OpenAI 兼容性以及改进的会话管理和 CPU 支持，Ollama 正在增强其作为开发人员用户友好和多功能工具的地位。这些改进将丰富使用业界领先的开源语言模型平台之一的体验。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun281907.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 