说米网

在很多人看来，与OpenAI 的 ChatGPT相似的大型言语模型 （LLM）就像一个黑匣子，由于即使对于数据科学家来说，也很难知道为什么这些模型总是以自己的办法做出反应，就像凭空捏造事实一样。
为了能够分析 LLM 的的行为，OpenAI 正在开发一种东西来自动识别 LLM 的哪些部分对其行为担任。简略的说，OpenAI在最新的发布效果中，展示了用 GPT-4解说 GPT-2的行为，获得了开始的效果。
OpenAI开发的东西经过调用 GPT-4来计算出其他架构更简略的言语模型上神经元的行为。该东西会为 LLM 中的每个神经元生成解说，这些解说被编译到与东西代码一起发布的数据集中。
AI 机器人 人工智能 (2)
大模型（LLM）和人脑一样，由「神经元」组成，这些神经元会观察文本中的特定规则，进而影响到模型自身出产的文本。
比方有一个针对「漫威超级英豪」的神经元，当台湾代理服务器用户向模型发问「哪个超级英豪的能力最强」时，这个神经元就会进步模型在回答中说出漫威英豪的概率。开始之前，先让 GPT-2运行文本序列，等候某个特定神经元被频频「激活」的状况。
OpenAI 开发的东西利用这种规则将模型进行分化。
首先，让 GPT-4针对这段文本，生成解说。比方鄙人面的案例中，神经元主要针对漫威内容。GPT-4接收到文本和激活状况后，判别这与电影、人物和娱乐有关。接着，用 GPT-4模仿这个 GPT-2的神经元接下来会做什么，并用GPT-4生成的模仿内容。最后，进行对比评估。对比4代模仿神经元和2代真实神经元的成果，看 GPT-4猜的有多准。为了确认解说的准确性，该东西为 GPT-4供给了文本序列，并让它猜测或模仿神经元的行为办法。然后将模仿神经元的行为与实际神经元的行为进行比较。
image.png
经过这样的办法，OpenAI 对每个神经元的行为作出了开始的自然言语解说，并对这种解说和实际行为的匹配程度进行了评分。
研究人员现已对 GPT-2中的一切307，200个神经元生成解说，并将这些解说汇编成数据集，与东西代码一起在 GitHub 上发布。
image.png
它背面的工程师强调它还处于前期阶段，但其运行代码现已能够在 GitHub 上以开源办法获得。OpenAI 的东西能够帮助研究人员更好地理解 LLM 的行为，从而进步性能并减少偏差或毒性。
也有人质疑，该东西本质上是为 GPT-4做广告，由于它需要 GPT-4才能作业。其他解说 LLM 东西较少依靠商业 API，例如 DeepMind 的Tracr。