在技术进步的领域，超级智能是一个开创性的概念，有可能以我们只能开始想象的方式重塑我们的世界。它拥有解决人类最紧迫问题的力量，但它也带有需要我们关注的固有风险。
“超级智能将是人类发明的最具影响力的技术”
什么是超级智能？
“超级智能”是指在几乎所有领域都比最好的人类大脑聪明得多的智力，包括科学创造力、一般智能和社交技能。OpenAI的使命是确保通用人工智能（AGI）造福全人类。AGI指的是高度自主的系统，在最具经济价值的工作中优于人类。
ChatGPT，不具备超级智能。虽然它是一种在各种互联网文本上训练的大型语言模型，可以根据提示生成文本，但它实际上并不理解它生成的文本，也没有意识、情感或信仰。它不能做决定或计划，也没有世界观或个人经历。从根本上说，它是一种工具，可以根据训练的数据中的模式进行响应。
随着OpenAI继续开发更高级的AI模型版本，如ChatGPT，他们努力保持长期的安全和技术领先地位，专注于确保对AGI部署的任何影响都用于造福所有人。他们还努力避免使用可能伤害人类或过度集中权力的人工智能或AGI。
当我们探索超级智能的可能性和影响时，很明显，管理这些风险并确保其与人类价值观保持一致需要创新的解决方案和仔细的考虑。OpenAI今天宣布，他们正在组建一个团队，专注于检查这种超级智能。
人工智能
我们正在组建一个由顶级机器学习研究人员和工程师组成的团队来解决这个问题。我们将在未来四年内将迄今为止获得的计算的20%用于解决超级智能对齐问题。我们的主要基础研究赌注是我们新的超级对齐团队，但做到这一点对于实现我们的使命至关重要，我们期望许多团队做出贡献，从开发新方法到扩展它们再到部署。
我们的目标是建立一个大致人类水平的自动对齐研究人员。然后，我们可以使用大量的计算来扩展我们的工作，并迭代地调整超级智能。
为了对齐第一个自动对齐研究人员，我们需要 1） 开发一种可扩展的训练方法，2） 验证生成的模型，以及 3） 对整个对齐管道进行压力测试：
- 为了在人类难以评估的任务上提供训练信号，我们可以利用人工智能系统来协助评估其他人工智能系统（可扩展的监督）。此外，我们希望了解和控制我们的模型如何将我们的监督推广到我们无法监督的任务（泛化）。
- 为了验证我们系统的一致性，我们自动搜索有问题的行为（稳健性）和有问题的内部结构（自动可解释性）。
- 最后，我们可以通过故意训练错位模型来测试整个管道，并确认我们的技术检测到最糟糕的错位类型（对抗性测试）。
原创文章，作者：校长，如若转载，请注明出处：https://www.yundongfang.com/Yun240059.html
微信扫一扫不于多少！ 
支付宝扫一扫礼轻情意重 