OpenAI预测超智能AI将在十年内出现 正研究监管问题

(资料图片仅供参考)

当地时间 7 月 5 日，ChatGPT 的开发者 OpenAI 表示计划投入更多资源并成立新的研究团队，研究如何确保 AI 对人类的安全性，最终实现用 AI 来监督 AI。

据新浪科技报道，OpenAI 联合创始人伊利亚・苏茨凯弗（Ilya Sutskever）和 AI 对齐负责人简・莱克（Jan Leike）在官方博客中表示：“超级智能的巨大能力可能导致人类失去力量甚至灭绝。目前，我们还没有解决方案来操纵或控制一个可能的超智能 AI，并防止其变成无赖。”

这篇博文预测，超智能 AI，即相比于人类更智能的系统，可能会在未来 10 年中出现。人类需要比目前更强大的技术来控制超智能 AI，因此需要在“AI 对齐研究”方面取得突破，确保人 AI 对人类持续有益。

AI 对齐是 AI 控制中的主要问题，即要求 AI 的目标和人类的价值观与意图保持一致。

作者写道，OpenAI 将在未来 4 年内，将算力的 20% 专门用于解决这方面问题。此外，该公司将组建新的“超对齐”团队来组织这方面的工作。团队的目标是开发达到“人类水平”，由 AI 驱动的对齐研究员，随后通过庞大的算力推动其发展。

OpenAI 表示，这意味着将使用人工反馈来训练 AI 系统，通过训练 AI 系统来协助人工评估，最终训练 AI 系统来进行实际的对齐研究。

关键词：