OpenAI 组建新团队，以解决控制超智能AI的核心技术挑战

OpenAI 宣布正在组建一个新团队，由其联合创始人兼首席科学家 Ilya Sutskever 和 Alignment 负责人 Jan Leike 共同领导，以寻找引导和控制下一代“超智能人工智能系统”的方法。

▲ 图源 OpenAI

(资料图)

据悉，该团队目前具备最高优先级，有权使用公司 20% 的计算资源，目标是在未来四年内解决“控制超智能 AI”的核心技术挑战。团队声称，他们需要时间来进行“科学和技术”方面的突破，以引导和控制比人类聪明得多的 AI 系统。

研究者 Sutskever 和 Leike 认为，“下一代超智能 AI”可能将在十年内诞生，这将是人类迄今为止发明的最具影响力的技术，可以帮助人类解决许多原先需要大量人力资源才能解决的问题。但研究者同时认为，该技术也有反噬人类的可能，其巨大的力量可能导致人类丧失主权甚至灭绝。

团队表示，在“确保比人类更聪明的 AI 系统遵循人类的意图”方面，他们当下还没有一个合理的解决方案来引导或控制潜在的超智能 AI，当下人类只能通过反馈来令 AI 调整生成过程，但人类无法可靠地从根源监督 AI 系统。

OpenAI 计划构建一个大致达到人类水平的 AI “automated alignment researcher”，然后使用大量深度学习来扩展 AI 能力，并迭代地调整该超级智能。

为此，研究人员需要开发可扩展的训练方法，接着验证生成的模型，并最终对模型进行一系列可控性测试。

研究人员当下正计划利用该 AI 系统来协助评估其它 AI 系统（可扩展的监督），同时还希望了解和控制他们的模型是如何将监督推广到人类研究员无法监督的任务上。

Sutskever 和 Leike 表示，随着研究的深入，预计其将来的研究重点也可能出现发生变化，甚至可能还会有新的研究领域随之出现。

目前，这一新团队还在对外招募机器学习研究人员和工程师。Sutskever 和 Leike 认为，招募更多的机器学习专家对于解决下一代超智能 AI 的问题至关重要。他们计划广泛分享团队的研究成果，并将促进业界共同进步。

这个新团队的工作是对 OpenAI 现有工作的补充，旨在提高 ChatGPT 等当前模型的安全性，以及理解和减轻人工智能带来的其他风险，例如滥用、经济破坏、虚假信息、偏见和歧视、成瘾和过度依赖等问题。虽然新团队将专注于将超智能 AI 系统与人类意图结合起来的机器学习挑战，但我们正在积极与跨学科专家合作解决相关的社会技术问题，以确保我们的技术解决方案考虑到更广泛的人类和社会问题。

关键词：