在 OpenAI 近日发布的一篇博客中，Ilya Sutskever 和 OpenAI 的对齐团队领头人 Jan Leike 预见，未来十年内，可能会出现智商超过人类的 AI 系统。如果最终真的出现这种 AI 系统，未必与人类利益存在一致。因此， Sutskever 和 Leike 强调有必要研究如何控制和限制它。
他们在文章中写道：“当前，我们还没有精确的方法来引导或控制可能的超智能AI，以防其无法控制。现有的为AI定向的技术，例如利用人类反馈的强化学习，赖以人类的监督。但是，人类可能无法有效地监督比我们聪明很多的AI系统。”为了在“超智能对齐”领域取得更大突破，OpenAI 的这个“Superalignment”团队将获得公司现今计算力的 20%。携手 OpenAI 先前对齐部门的科学家和工程师，以及公司其他组织的研究人员，致力于在接下来的仅仅四年的时间中解决控制超智能 AI 的核心技术挑战。
他们的策略是构建所谓的“人类水平的自动化对齐研究者”。高层目标是利用人类反馈，训练 AI 协助评估其他 AI 系统，进而可以应用大规模计算资源对初始工作进行扩展，并对超级智能进行迭代对齐。“对齐研究”在此意味着确保 AI 系统实现预期目标，或避免目标的走偏。
OpenAI 提出的假设是 AI 可能比人类更能有效地进行对齐研究。
Leike 及其同事 John Schulman 和 Jeffrey Wu 在先前的博客中提出，“随着我们在这个领域的进步，我们的 AI 系统可以接手我们越来越多的对齐工作，最终构想、实施、研究和开发比现有的对齐技术更先进的对齐技术。他们将协同人类确保他们的后继者更好地与人类对齐……人类研究者将更多地将精力集中在审查 AI 系统所做的对齐研究，而非自己去开展这些研究。”
发表于 2023-7-7 18:23:17