说米网

怎么保证越发强壮和通用的人工智能体系安全可控，符合人类目的和价值观? 这一问题或许是本世纪人类社会面对的最急迫和最有含义的科学应战之一。OpenAI 联合创始人 Sam Altman 与北京智源人工智能研讨院理事长张宏江就此展开对话。
OpenAI，ChatGPT，人工智能，AI
在日前的 2023 年北京智源大会上，Sam Altman 以视频连线办法「AI 安全与对齐」分论坛中出面，宣布关于 AI 安全的讲演，并且与智源研讨院理事长张宏江进行对谈。
在北京智源大会上，智源研讨院院长张宏江提问:OpenAI 会开源大模型吗?OpenAI 联合创始人 Sam Altman 表明，咱们未来会有更多开源，但没有详细模型和时刻表。另外，当张宏江问:AGI 和大模型的下一步是什么? 会很快看到 GPT-5吗?Sam Altman 表明，我也很猎奇，咱们没有答案。咱们不会很快有 GPT-5。
以下为「AI 安全与对齐」分论坛 Sam Altman 讲演实录：
今日，我想谈谈未来。详细来说，便是咱们在人工智能才能方面看到的增长速度。咱们现在需求做什么，为它们引入国际做好负责任的预备，科学史教会咱们，技能前进遵从指数曲线。咱们现已能从前史中看到这一点，从农业、工业到核算革新。人工智能令人震撼的不仅是它的影响力，还有它的前进速度。它拓宽了人类幻想力的边界，并且以快速的脚步进行着。
幻想一下，在未来十年里，一般被称为通用人工智能（AGI）的体系，在简直所有范畴都超越了人类的专业水平。这些体系最终或许超过咱们最大公司的集体生产力。这里面潜藏着巨大的上升空间。人工智能革新将发明共享财富，并使进步每个人日子水平成为或许，处理一起应战，如气候改变和全球卫生安全，并以许多其他办法进步社会福祉。
我深信这个未来，为了完成它并享用它，咱们需求一起出资于 AGI 安全，并办理危险。假如咱们不小心，一个不符合方针的 AGI 体系，或许会通过供给没有根据的主张，损坏整个医疗体系。同样地，一个旨在优化农业实践的 AGI 体系或许会由于缺乏对长时刻可持续性的考虑而无意中耗尽自然资源或损坏生态体系，影响食物生产和环境平衡。
我期望咱们都能同意，推动 AGI 安全是咱们最重要的范畴之一。我想把我剩下的说话重点放在我以为咱们能够从哪里开端的地方。
一个范畴是 AGI 管理，这是一项具有全球影响的技能。鲁莽开发和部署形成的事故本钱将影响咱们所有人。
在这方面，有两个关键要素:
首要，咱们需求树立国际标准和标准，并通过容纳的进程，在所有国家为 AGI 的运用制定相等一致的维护措施。在这些维护措施之内，咱们信任人们有充沛的时机做出自己的挑选。
其次，咱们需求国际协作来树立对日益强壮的人工智能体系安全开发的全球信赖，以可验证的办法。这不是一件简单的作业。咱们需求作为国际社会投入持续而重要的重视，才能做好这件事。道德经提醒咱们，千里之行始于足下。咱们以为在这里采取最有建设性的第一步是与国际科技界协作。
特别是，咱们应该促进添加透明度和知识共享的机制，关于 AGI 安全方面的技能发展。发现新呈现安全问题的研讨人员应该为了更大的利益共享他们的见地。咱们需求仔细考虑怎么在尊重和维护知识产权权利的一起，鼓舞这种标准。
假如咱们做好了这一点，它将为咱们翻开新的大门，让咱们能够加深协作。更广泛地说，咱们应该出资、促进和引导对方针和安全研讨的出资。
在 OpenAI，咱们今日的方针研讨首要集中在技能问题上，即怎么让人工智能体系作为一个有用和安全的帮手，在咱们当时的体系中举动。这或许意味着，咱们怎么训练 ChatGPT，使它不会发出暴力要挟或协助用户进行有害活动。
可是跟着咱们更接近 AGI，任何不符合方针的潜在影响和程度都将呈指数增长。为了提早处理这些应战，咱们尽力将未来灾难性效果的危险降到最低。关于当时体系，咱们首要运用来自人类反应的强化学习来训练咱们的模型，使其作为一个有用和安全的帮手举动。
这是后期训练方针技能中的一个比方，咱们也在忙于开发新的技能。要做好这件作业需求许多艰苦的工程作业。从 GPT-4完成预训练到部署它，咱们花了8个月的时刻来做这件事。总的来说，咱们以为咱们在这方面走在了正确的轨道上。GPT-4比咱们曾经的任何模型都更符合方针。
然而，关于更先进的体系来说，方针仍然是一个未处理的问题，咱们以为这需求新的技能办法，以及更多的管理和监督。幻想一下，一个未来的 AGI 体系提出了10万行二进制代码。人类监督者不太或许检测到这样一个模型是否在做一些凶恶的作业。
所以咱们正在出资一些新的和互补的研讨方向，咱们期望能够获得打破。一个是可扩展的监督。咱们能够尝试运用人工智能体系来协助人类监督其他人工智能体系。例如，咱们能够训练一个模型来协助人类监督者发现其他模型输出中的缺点。第二个是可解释性。咱们想尝试更好地了解这些模型内部产生了什么。
咱们最近宣布了一篇论文，运用 GPT-4来解释 GPT-2中的神经元。在另一篇论文中，咱们运用模型内部信息来检测模型何时在扯谎。虽然咱们还有很长的路要走，但咱们信任先进的机器学习技能能够进一步进步咱们产生解释的才能。
最终，咱们的方针是训练人工智能体系来协助方针研讨本身。这种办法的一个有期望的方面是，北京万网)它跟着人工智能开展的脚步而扩展。跟着未来模型变得越来越聪明和有用作为帮手，咱们将找到更好的技能，完成 AGI 的特殊利益，一起减轻危险，是咱们这个年代最重要的应战之一。
以下为对话实录:
张宏江:咱们离人工智能还有多远? 危险是不是很急迫，仍是咱们离它还很遥远? 无论是安全的人工智能，仍是潜在的不安全的人工智能。
Sam Altman :这个问题很难准确猜测时刻，由于它需求新的研讨思路，而这些思路并不总是按照规定的日程来开展的。它或许很快就会产生，也或许需求更长的时刻。我以为很难用任何程度的确认性来猜测。但我的确以为，在未来十年内，咱们或许会具有十分强壮的人工智能体系。在这样的国际里，我以为处理这个问题是重要而急迫的，这便是为什么我呼吁国际社会一起协作来处理这个问题。前史上的确给咱们供给了一些新技能比许多人幻想的更快地改变国际的比方。咱们现在看到的这些体系的影响和加速度，在某种含义上是史无前例的。所以我以为做好预备，让它赶快产生，并且处理好安全性方面的问题，考虑到它们的影响和重要性，是十分有含义的。
张宏江:你感觉到了一种急迫感吗?
Sam Altman:是的，我感觉到了。我想强调一下，咱们并不真实知道。并且人工智能的定义也不同，可是我以为在十年内，咱们应该为一个具有十分强壮体系的国际做好预备。
张宏江:你在刚才的讲演中也说到了几回全球协作。咱们知道国际在曩昔六七十年里面对过许多危机。不过关于其间的许多危机，咱们设法树立了一致和全球协作。你也正在进行一次全球之旅。你正在推动什么样的全球协作? 你对现在收到的反应感觉怎么?
Sam Altman:是的，我对现在收到的反应十分满意。我以为人们十分仔细地对待人工智能带来的危险和机遇。我以为在曩昔六个月里，这方面的评论现已有了很大前进。人们真实致力于找出一个结构，让咱们能够享用这些优点，一起一起协作来减轻危险。我以为咱们处于一个十分有利的位置来做这件事。全球协作总是很困难的，但我以为这是一种时机和要挟，能够让国际团结起来。咱们能够制定一些结构和安全标准，来辅导这些体系的开发，这将是十分有协助的。
张宏江:在这个特定的话题上，你说到了高级人工智能体系的对齐是一个未处理的问题。我也注意到 OpenAI 在曩昔几年里投入了许多精力。你还说到了 GPT-4是对齐方面的最佳比方。你以为咱们能否通过对齐来处理人工智能安全问题? 或许这个问题比对齐更大?
Sam Altman :我以为对齐这个词有不同的用法。我以为咱们需求处理的是怎么完成安全人工智能体系的整个应战。对齐在传统含义上是指让模型按照用户的目的行事，这当然是其间的一部分。但咱们还需求回答其他一些问题，比方咱们怎么验证体系是否做了咱们想要它们做的作业，以及咱们要根据谁的价值观来对齐体系。但我以为重要的是要看到完成安全人工智能所需求的全貌。
张宏江:是的，假如咱们看看 GPT-4所做的作业，在很大程度上，它仍然是从技能视点来看的。但除了技能之外，还有许多其他要素。这是一个十分复杂的问题。一般复杂问题是体系性的。人工智能安全或许也不例外。除了技能方面之外，你以为还有哪些要素和问题对人工智能安全至关重要? 咱们应该怎么应对这些应战? 特别是咱们大大都人都是科学家，咱们应该做什么?
Sam Altman:这当然是一个十分复杂的问题。我会说没有技能处理方案，其他一切都很难。我以为把许多精力放在保证咱们处理了安全方面的技能问题上是十分重要的。正如我说到的，弄清楚咱们要根据什么样的价值观来对齐体系，这不是一个技能问题。它需求技能输入，但它是一个需求全社会深化评论的问题。咱们有必要规划出公平、有代表性和容纳性的体系。并且，正如你指出的，咱们不仅要考虑人工智能模型本身的安全性，还要考虑整个体系的安全性。所以树立安全分类器和检测器，能够在模型之上运转，能够监控运用策略的遵守状况，这也很重要。然后，我也以为很难提早猜测任何技能会呈现什么问题。所以从真实国际中学习和迭代地部署，看看当你把模型放到现实中时会产生什么，并改善它，并给人们和社会时刻去学习和更新，并思考这些模型将怎么以好的和坏的办法影响他们的日子。这也很重要。
张宏江:你刚才说到了全球协作。你现已访问了许多国家，你说到了我国。但你能否共享一些你在协作方面获得的效果? 你对下一步有什么计划或主意? 从这次国际之旅中，从你与各种政府、组织、组织之间的互动中?
Sam Altman:我以为一般需求许多不同的视角和人工智能安全。咱们还没有得到所有的答案，这是一个适当困难和重要的问题。
此外，正如所说到的，这不是一个纯粹的技能问题，使人工智能安全和有益的。触及在十分不同的背景下了解不同国家的用户偏好。咱们需求许多不同的投入才能完成这一方针。我国具有一些国际上最优秀的人工智能人才。从根本上说，我以为，考虑到处理高级人工智能体系对齐的困难，需求来自国际各地的最好的头脑。所以我真的期望我国的人工智能研讨人员在这里做出巨大的贡献。
张宏江:我明白今日的论坛是重视 AI 安全的，由于人们对 OpenAI 很猎奇，所以我有许多关于 OpenAI 的问题，不仅仅是 AI 安全。我这里有一个观众的问题是，OpenAI 有没有计划重新开源它的模型，就像在3.0版别之前那样? 我也以为开源有利于 AI 安全。
Sam Altman:咱们有些模型是开源的，有些不是，但跟着时刻的推移，我以为你应该等待咱们将来会持续开源更多的模型。我没有一个详细的模型或时刻表，但这是咱们现在正在评论的作业。
张宏江:咱们把所有的尽力都投入到了开源中，包含模型本身、开发模型的算法、优化模型和数据之间关系的工具。咱们信任有必要共享，并让用户感觉到他们操控了自己所运用的东西。你是否有相似的反应? 或许这是你们在 OpenAI 中评论的内容?
Sam Altman:是的，我以为开源在某种程度上的确有一个重要的效果。最近也有许多新的开源模型呈现。我以为 API 模型也有一个重要的效果。它为咱们供给了额外的安全操控。你能够阻挠某些用处。你能够阻挠某些类型的微调。假如某件作业不起效果，你能够收回它。在当时模型的规模下，我不太忧虑这个问题。可是跟着模型变得像咱们期望的那样强壮，假如咱们对此是正确的，我以为开源一切或许不是最佳途径，虽然有时分它是正确的。我以为咱们只需求仔细地平衡一下。
张宏江:关于 GPT-4和 AI 安全方面的后续问题是，咱们是否需求改变整个基础设施或整个 AGI 模型的架构，以使其更安全、更简单被查看? 你对此有什么主意?
Sam Altman:这必定有或许，咱们需求一些十分不同的架构，无论是从才能仍是从安全性方面来看。我以为咱们将能够在可解释性方面获得一些发展，在当时类型的模型上，并让它们更好地向咱们解释它们在做什么以及为什么。可是，假如在变换器之后还有另一个巨大的飞跃，那也不会让我感到惊讶。并且实际上咱们现已在原始的变换器之后，架构现已产生了很大的改变。
张宏江:作为一个研讨人员，我也很猎奇，下一步的 AGI 研讨方向是什么? 在大模型、大语言模型方面，咱们会不会很快看到 GPT-5? 下一个前沿是不是在具身模型上? 自主机器人是不是 OpenAI 正在或许预备探究的范畴?
Sam Altman:我也很猎奇下一步会产生什么，我最喜欢做这项作业的原因之一便是在研讨的前沿，有许多令人兴奋和惊讶的作业。咱们还没有答案，所以咱们在探究许多或许的新范式。当然，在某个时分，咱们会尝试做一个 GPT-5模型，但不会是很快。咱们不知道详细什么时分。咱们在 OpenAI 刚开端的时分就做过机器人方面的作业，咱们对此十分感兴趣，但也遇到了一些困难。我期望有一天咱们能够回到这个范畴。
张宏江:听起来很棒。你在讲演中也说到了你们是怎么用 GPT-4来解释 GPT-2的作业原理，从而使模型更安全的比方。这种办法是可扩展的吗? 这种方向是不是 OpenAI 未来会持续推动的?
Sam Altman:咱们会持续推动这个方向。
张宏江:那你以为这种办法能够应用到生物神经元上吗? 由于我问这个问题的原因是，有一些生物学家和神经科学家，他们想借鉴这个办法，在他们的范畴里研讨和探究人类神经元是怎么作业的。
Sam Altman: 在人工神经元上观察产生了什么比在生物神经元上简单得多。所以我以为这种办法关于人工神经网络是有用的。我以为运用更强壮的模型来协助咱们了解其他模型的办法是可行的。但我不太确认你怎么把这个办法应用到人类大脑上。
张宏江:好的，谢谢你。既然咱们谈到了 AI 安全和 AGI 操控，那么咱们一直在评论的一个问题是，假如这个国际上只有三个模型，那么会不会更安全? 这就像核操控一样，你不想让核武器分散。咱们有这样的公约，咱们企图操控能够获得这项技能的国家数量。那么操控模型数量是不是一个可行的方向?
Sam Altman:我以为关于国际上有少数模型仍是大都模型更安全，有不同的观点。我以为更重要的是，咱们是否有一个体系，能够让任何一个强壮的模型都通过充沛的安全测验? 咱们是否有一个结构，能够让任何一个发明出足够强壮的模型的人，既有资源，也有责任，来保证他们发明出的东西是安全和对齐的?
张宏江:昨日在这个会议上，MIT 未来生命研讨所的 Max 教授说到了一种或许的办法，便是相似于咱们操控药物开发的办法。科学家或许公司开发出新药，你不能直接上市。你有必要通过这样的测验进程。这是不是咱们能够借鉴的?
Sam Altman:我肯定以为，咱们能够从不同行业开展出来的许可和测验结构中借鉴许多东西。但我以为从根本上说，咱们现已有了一些能够奏效的办法。
张宏江:十分感谢你，Sam。谢谢你抽时刻来参与这次会议，虽然是虚拟的。我信任还有许多问题，但考虑到时刻，咱们不得不到此为止。期望下次你有时机来我国，来北京，咱们能够有更深化的评论。十分感谢你。