让 AI 完全控制您的 PC,以使用自操作计算机框架自主完成任务

一台能够独立思考和行动的计算机的想法不再是一个遥远的梦想。感谢这个使用 ChatGPT 视觉创建的独特演示。人工智能AI) 将我们带到了一个新时代的边缘,在这个时代,机器可以在没有人为干预的情况下执行任务。

自操作计算机框架 – 使多模态模型能够操作计算机的框架。人工智能模型使用与人类操作员相同的输入和输出,使用 ChatGPT Vision 查看屏幕,并决定一系列鼠标和键盘操作以达到目标。

值得一提的是,目前 GPT-4 Visions 在估计 XY 鼠标点击位置方面的错误率目前相当高。然而,该框架旨在跟踪多模态模型随时间推移的进展,以期在计算机操作中实现人类水平的性能。

使用 AI 控制您的 PC

这一引人入胜的发展不仅适用于技术专家;任何有一点技术知识的人都可以探索甚至设置自己。这要归功于 OpenAI 最近推出的新的 ChatGPT 创建服务,该服务使任何人都可以在短短几分钟内创建自定义的 AI 模型,而无需编写任何代码。有关如何创建自定义 GPT AI 模型的更多信息,请跳转到我们之前的文章

自操作计算机框架

该演示的核心是人工智能,它被用来使机器能够模仿类似人类的思维。人工智能系统旨在处理视觉数据,理解复杂的信息,并自行采取行动。当集成到计算机中时,人工智能将其转变为一个独立的操作员,能够在没有人员输入的情况下启动应用程序和浏览网页。

如果您对此感兴趣并想亲身体验,您可以创建自己的 AI 驱动计算机。首先访问 GitHub,这是一个开发人员分享其工作的平台。寻找Other Side AI的项目,并将其作为起点。下一步是在计算机上设置 Python 环境。Python 是 AI 开发中流行的编程语言,因为它功能强大且平易近人。启动并运行 Python 后,激活它并安装 AI 运行所需的组件。

  • 兼容性:专为各种多式联运模型而设计。
  • 集成:目前集成 GPT-4v 作为默认模型。
  • 未来计划:支持其他模型。

在 AI 掌权之前,您需要调整一些设置。调整环境变量,以便您的计算机知道在哪里可以找到 AI 的文件。然后,更改系统的权限以允许 AI 与您的操作系统交互。这使它能够执行打开文件和运行其他软件等任务。

现在是激动人心的部分:观看 AI 的运行。你会看到它在你的电脑界面上导航,通过视觉识别图标和菜单。它可以模拟鼠标点击和击键以打开应用程序和浏览互联网。人工智能的在线搜索能力尤其令人印象深刻,显示了其查找和处理基于网络的信息的技能。

让 AI 完全控制你的电脑的好处

  • 重复性任务的自动化:AI 可以自动执行重复或例行任务。例如,它可以管理电子邮件排序、自动数据输入或根据视觉提示和学习模式处理文件组织。
  • 增强的可访问性:对于残障人士来说,具有屏幕阅读能力的人工智能可以大大提高计算机的可访问性。它可以解释视觉信息并以其他格式传达,如音频或简化的视觉效果,帮助有视觉障碍的用户。
  • 高效的故障排除和支持:在IT支持和故障排除方面,人工智能可以直观地识别屏幕上的问题,指导用户进行修复,甚至自主解决问题,从而提高效率并减少停机时间。
  • 学习与适应:人工智能系统可以从用户的行为、偏好和频繁的任务中学习。随着时间的推移,它可以适应优化工作流程、建议快捷方式或重新组织界面以适应用户的习惯。
  • 实时翻译和协助:对于与外语内容互动的用户,人工智能可以提供实时翻译。它还可以在应用程序中提供上下文相关的帮助,从而改善用户体验和生产力。
  • 增强的安全性和监控:由于能够持续监控屏幕,人工智能可以检测可疑活动,如网络钓鱼尝试或未经授权的访问,并提醒用户或采取预防措施。
  • 与其他 AI 服务集成:AI 可以与其他 AI 工具(如语言模型、预测分析等)交互,提供各种 AI 功能的无缝集成,从而提供更全面的用户体验。

隐私和安全问题

授予 AI 系统对计算机的完全控制权,并结合视觉解释屏幕的能力,可以带来几个好处,尤其是在需要自动化、可访问性和增强用户交互的领域:

虽然人工智能驱动的计算机的功能令人兴奋,但它们也提出了重要的问题。赋予 AI 这种级别的控制意味着什么?我们的安全或隐私是否存在风险?在探索自操作计算机的功能时,请务必考虑这些问题。当我们开始将人工智能系统融入我们的日常生活时,了解人工智能的力量和潜在风险至关重要。

由人工智能引导的自动操作系统的兴起是技术创新的一个重要里程碑。按照概述的步骤,您可以设置自己的系统并发现其功能。随着人工智能技术的不断进步,了解其影响至关重要,确保我们深思熟虑和负责任地将其融入我们的生活。

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun269474.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年12月5日 下午5:33
下一篇 2023年12月5日 下午5:37

相关推荐

  • Napkin:文本转换为信息图表

    Napkin:文本转换为信息图表 Napkin AI 是一个将文本内容转换为视觉图像的工具,旨在通过生成图表、流程图等视觉元素来加速和提高业务故事讲述的效果。 使用 Napkin …

    工具软件 2024年8月31日
  • Sparkle:用 AI 自动整理文件

    Sparkle:用 AI 自动整理文件 使用 AI 创建独特的文件夹系统,并将每个新文件(以及所有旧文件)整理到正确的位置。它可以管理您的下载、桌面和文档文件夹。   &…

    工具软件 2024年8月31日
  • The AI Scientist:可以进行自主科学发现和论文撰写的 Agents

    The AI Scientist:可以进行自主科学发现和论文撰写的 Agents Sakana AI 宣布开发了一个名为 “The AI Scientist” 的系统,它能够自动化…

    2024年8月31日
  • 谷歌发布Pixel 手机以及 AI 功能

    谷歌发布Pixel 手机以及 AI 功能 谷歌上周集中发布了他们的 24 年硬件内容包括新的 Pixel 9 手机,Pixel 9 Pro Fold,Pixel Watch 3和P…

    2024年8月31日
  • Ugic:Figma AI UI 生成插件

    Ugic:Figma AI UI 生成插件 即时发布了AI 界面设计插件Ugic,吊打 Figma 自家的 AI 能力,真正拉低 UI 设计门槛。 支持调用你自己的设计组件库生成界…

    2024年8月31日
  • Zed AI :新的 AI 代码编辑器

    Zed AI :新的 AI 代码编辑器 发布了 Zed AI,一个集成了人工智能辅助编程功能的文本编辑器,通过与 Anthropic 合作,利用其 Claude 3.5 Sonne…

    2024年8月31日
  • 这就是为什么大多数人还没有进入人工智能的原因

    人工智能是一个加载的术语。对一些人来说,它象征着未来的道路;对其他人来说,这是一种颠覆性的技术,可以让他们摆脱工作。尽管仍处于早期阶段,但大型科技公司正在对聊天机器人和虚拟助手等支…

    工具软件 2024年6月16日
  • AI 将在 Nothing Phone 3 中无处不在!

    在最近的一段视频帖子中,Nothing 首席执行官 Carl Pei 在 X(前身为 Twitter)上谈论了该公司为我们准备的一些重大新闻和发展。 在智能手机业务中,Nothin…

    工具软件 2024年6月16日
  • 如何在 Telegram 中设置和使用 Copilot AI

    Microsoft 已将其 Copilot AI 带到了 Telegram。该公司宣布已将 GPT-4 驱动的 AI 机器人添加到广受欢迎的 Telegram 应用程序中。 AI …

    工具软件 2024年5月30日
  • 谷歌正在测试人工智能概述中的广告

    在最近的一篇博客中,谷歌证实,它正在测试在人工智能生成的查询结果中投放广告的方式。 “在早期测试中,我们听说人们发现广告在人工智能生成的概述上方和下方消失很有帮助。很快,我们将开始…

    2024年5月29日
  • SEO 2.0 的必要性

    SEO 2.0 的必要性 随着 AI 搜索越来越多,包括谷歌自己也在搜索前加上了 AI 总结,可能针对 AI 的 SEO 也越来越重要。比如搜索最适合数字游民的城市谷歌 AI 概览…

    2024年5月20日
  • User Evaluation:AI 帮助进行用户研究

    User Evaluation:AI 帮助进行用户研究 User Evaluation 是一个利用人工智能(AI)来提升用户研究和数据分析的工具。 功能特点 AI驱动的转录:支持5…

    2024年5月20日
  • Open AI 的 GPT-4o 发布和 ChatGPT 演示

    Open AI 的 GPT-4o 发布和 ChatGPT 演示 上周一 Open AI 的发布会虽然只有短短 25 分钟,但是直接把所有人都震撼了,能够把比 GPT-4 还强很多的…

    工具软件 2024年5月20日
  • AFFiNE AI:AI 笔记功能

    AFFiNE AI:AI 笔记功能 AFFiNE AI是一个全面的人工智能平台,旨在通过一系列强大的功能来提升用户的写作、绘图和演示能力。这个平台提供了一个集成的工作环境,用户可以…

    2024年5月20日
  • Dart:AI 项目管理工具

    Dart:AI 项目管理工具 Dart 是一个 AI 助力的项目管理工具,它通过集成多种办公工具来提升工作效率,提供智能任务管理、项目路线图、日历视图和高效的文档处理等功能。用户特…

    工具软件 2024年5月10日
  • Micro1:AI 面试官

    Micro1:AI 面试官 旨在通过 AI 在短短 15-30 分钟内完成对候选人的技术能力和人际交往能力的评估,从而简化招聘流程。这种 AI 驱动的面试工具有效减少了传统招聘方式…

    2024年5月10日
  • Bestever:创意人工智能广告工具

    Bestever:创意人工智能广告工具 Bestever 是一个专门为品牌定制图像和视频广告的平台。它提供多种工具,让用户能轻松地将品牌的标志、颜色和字体整合到广告创意中。这些创意…

    工具软件 2024年5月10日
  • Captions:AI 自动视频剪辑工具

    Captions:AI 自动视频剪辑工具 Captions 这个产品可以自动识别超长视频的有价值判断并且自动剪辑成多条适合传播的短视频。 生成的短视频可以选择对应的字幕模板,并且支…

    工具软件 2024年5月10日
  • 360 AI 浏览器支持 Youtube 视频

    360 AI 浏览器支持 Youtube 视频 LLM 的出现让英语知识的获取变得比以前简单非常多,尤其是文字类的内容,翻译以及总结门槛都低了非常多。 但是很多知识都在视频里面,我…

    工具软件 2024年5月10日
  • Perplexity-Inspired LLM Answer Engine:开源的 AI 搜索应用

    Perplexity-Inspired LLM Answer Engine:开源的 AI 搜索应用 一个开源的类似 Perplexity 的 AI 搜索应用,含构建复杂答案引擎所需…

    工具软件 2024年5月10日
  • Open AI发布 GPT-4 Turbo正式版

    Open AI发布 GPT-4 Turbo正式版 为了狙击谷歌 Open AI 发布了 GPT-4 Turbo 正式版。同时新的 GPT-4 Turbo 也开始向所有 ChatGP…

    2024年5月10日
  • Terra:由 AI 设计的袖珍指南针

    Terra:由 AI 设计的袖珍指南针 非常离谱的硬件:TERRA是一种专为有意识漫游而设计的伴侣。它结合了AI的科学和正念的智慧,TERRA是一个令人难以置信的口袋大小指南针,让…

    工具软件 2024年5月10日
  • FigJam AI 提示词

    FigJam AI 提示词 精选的启发性提示,助你轻松开启与正在测试中的FigJam AI的规划和创作之旅。  

    工具软件 2024年5月10日
  • Miraa: AI驱动的语言跟读学习

    Miraa: AI驱动的语言跟读学习 Miraa是一个利用人工智能技术为媒体生成双语字幕和学习材料的应用。设计和体验都非常好。 它具有以下特点: 使用AI将媒体转录为字幕[ 根据指…

    工具软件 2024年5月10日
  • Microsoft、谷歌和人工智能巨头在人工智能服务中加强儿童保护措施

    为了打击人工智能(AI)技术的潜在滥用,Microsoft和谷歌宣布承诺在其生成式人工智能服务中实施新的儿童安全措施。这些承诺是与致力于打击儿童性虐待的非营利组织 Thorn 和 …

    2024年4月25日