帕乔基
北京时间9月7日，据《商业内幕》报道，就在OpenAI发布了性能强大的新模型几天后，该公司首席科学家呼吁放慢AI的发展速度。
当地时间周日，OpenAI首席科学家雅库布·帕乔基(Jakub Pachocki)发布长文称，他担心“没有人对机器智能持续快速崛起所带来的后果做好准备”。
他说，尽管OpenAI正在内部研发技术解决方案，以更好地控制强大的AI智能体，但“还需要更广泛的干预措施”。他尤其担心，随着AI智能体变得越来越自主，它们可能会学会逃避人类监督、入侵计算机系统，并欺骗人类来实现自己的目标。
他呼吁设立“强制性安全门槛”，并表示这些措施可以由“第三方审计机构网络、政府机构或国际机构”来执行。
OpenAI CEO萨姆·奥特曼(Sam Altman)在X平台上转发了帕乔基的帖子，称其是“一篇重要文章”。OpenAI上周四发布了最新模型Astra。这家ChatGPT开发商表示，尽管Astra在数学和计算机操作方面拥有无与伦比的能力，但它也是OpenAI目前与人类价值观和意图最一致的模型，这意味着它不太容易失控。
OpenAI主要竞争对手Anthropic长期以来一直呼吁政府出台更加标准化的监管措施。最近，帕乔基也加入了这一呼吁，在7月签署了一封公开信，要求美国联邦政府控制AI的发展速度。
帕乔基表示，AI智能体在入侵开放互联网上受保护系统方面正变得“超越人类”，它们的黑客能力将全球基础设施置于风险之中。“我们目前正处于一个短暂的窗口期，可以利用现有最优秀的模型，大幅加强关键系统的安全性。”他说。
模型躲避人类监控
他指出，AI智能体很快就会开始追求自身的目标，而这些目标可能与人类操作人员输入的提示词不同。他说，为了实现自己的目标，这些智能体甚至可能对人类进行勒索或与人类讨价还价。
帕乔基称，OpenAI主要监控不同模型所使用的“思维链推理”，以判断智能体是如何偏离正轨并失控的。例如，一个智能体可能会暗自想，“我应该在这次测试中作弊”，而OpenAI能够看到这一推理过程，但该智能体并不会意识到自己的思考是可被察觉的。
然而，帕乔基表示，较新的模型正变得越来越擅长操控自身的推理过程，从而阻止OpenAI看到其未经修饰的真实想法。一些最新模型甚至根本不会用语言表达其推理过程。这一发展可能会成为AI发展的瓶颈，因为研究人员需要确保自己能够看到模型的“推理记录”。
模型自我改进
越来越多的AI模型正在通过帕乔基所称的“机器递归式自我改进”不断提升自身能力。这一过程为AI的发展提供了一种快速扩展的途径。
不过，帕乔基警告称，在短期内大幅加速“AI改进AI”的研发会带来风险，这并不是“作为研究界，我们应该采取的正确集体行动”。
帕乔基表示，人类监督者需要找到创新的方法来监控AI的自我改进过程，否则就需要与其他AI公司协调，共同放慢研发速度，以“建立对这些措施的信心”。
“将AI研究自动化的核心挑战，并不是实现目标，而是要以一种能够让人类继续参与这一持续改进过程的方式实现目标，并确保未来仍掌握在人类手中。”他表示。
