机器之心报道
编辑：小舟、泽南、大盘鸡
大模型都在想什么？OpenAI 找到了一种办法，能给 GPT-4 做「扫描」，告诉你 AI 的思路，而且还把这种方法开源了。
大语言模型（LLM）是当前 AI 领域最热门的探索方向，吸引了大量的关注和研究投入。它们强大的语言理解能力和生成能力在各种应用场景中都表现出巨大潜力。虽然我们见证了大模型迭代后性能上的显著提升，但我们目前对模型中的神经活动仍然只是一知半解。
本周四，OpenAI 分享了一种查找大量「特征」的全新方法 —— 或许这会成为可解释的一种可用方向。OpenAI 表示，新方法比此前的一些思路更具可扩展性，研究团队使用它们在 GPT-4 中找到了 1600 万个特征。
有趣的是，从作者列表中，我们发现已经从 OpenAI 离职的 Ilya Sutskever、Jan Leike 等人也是作者之一。
可谓是一项重要的研究。
解释神经网络
作为机器学习模型，神经网络通过使用模仿生物神经元协同工作的过程来识别现象并得出结论，然而长久以来，我们并不真正了解神经网络的内部运作原理。神经网络并不是直接设计的，研究人员设计了训练它们的算法。由此产生的神经网络还不能很好地被理解，并且不能轻易地分解为可识别的部分。这意味着我们不能像推理汽车安全那样推理人工智能安全。
为了理解和解释神经网络，首先需要找到用于神经计算的有用构建块。然而，语言模型内的神经激活是以不可预测的模式激活的，似乎同时代表许多概念，它们还密集激活，这意味着每次激活总是在每个输入上触发。
但现实世界的概念非常稀疏 —— 在任何给定的上下文中，所有概念中只有一小部分是相关的。这激发了稀疏自动编码器的使用。
稀疏自动编码器（sparse autoencoder）是一种识别神经网络中少数「特征」的方法，这些「特征」对于产生任何给定的输出都很重要，类似于一个人在推理某种情况时可能想到的一小部分概念。它们的特征显示出稀疏的激活模式，自然地与人类易于理解的概念保持一致，即使没有直接的可解释性激励。
然而，训练稀疏自动编码器仍然面临严峻的挑战。大型语言模型表征大量概念，自动编码器可能需要相应巨大的规模才能接近完全覆盖前沿模型中的概念。学习大量稀疏特征具有挑战性，并且过去的工作尚未证明可以很好地扩展。
大规模自动编码器训练
OpenAI 最新的研究进展提出了一种新方法，能够将稀疏自动编码器扩展到前沿人工智能模型上的数千万个特征。并且该方法显示出平滑且可预测的扩展，与现有方法相比具有更好的规模回报。同时，OpenAI 还引入了几个用于评估特征质量的新指标。
OpenAI 使用该方法在 GPT-2 small 和 GPT-4 激活上训练各种自动编码器，包括 GPT-4 上的 1600 万个特征的自动编码器。
具体来说，研究团队在 GPT-2 small 模型和一系列逐步增大的、共享 GPT-4 架构和训练设置的模型（包括 GPT-4 本身）的残差流上训练自动编码器。他们选择了靠近网络末端的一层，该层应包含许多特征，而不专门用于下一个 token 的预测。
所有实验均使用 64 个 token 的上下文长度。研究团队先在 dmodel 维度上减去平均值，并将所有输入归一化为单位范数（unit norm），然后再传递给自动编码器（或计算重建误差）。
训练结束后，研究团队根据稀疏性 L_0 和重建均方误差 (MSE) 对自动编码器进行评估。
为了简化分析，OpenAI 不考虑学习率预热或衰减，sweep 小规模的学习率，并推断大规模的最佳学习率的趋势。
为了检查特征的可解释性，OpenAI 进行了可视化工作。以下是 OpenAI 发现的一些可解释的特征：
例如，GPT-4 特征：与事物（尤其是人类）有缺陷相关的短语：
价格上涨：
反问句：
局限和发展方向
新方法能够提高模型的可信度和可操纵性。然而这仍是早期工作，存在许多局限性：
稀疏自动编码器的研究令人兴奋，OpenAI 表示，还有一些待解决的挑战。短期内，工程师们希望新发现的特征能够实际用于监控和控制语言模型行为，并计划在前沿模型中对此进行测试。希望最终有一天，可解释性可以为我们提供推理模型安全性和稳健性的新方法，并通过对 AI 行为提供强有力的保证，大幅提高我们对新一代 AI 模型的信任。
参考内容：
https://openai.com/index/extracting-concepts-from-gpt-4
GPT分区的电脑怎样设
gpt分区转换mbr使用教程1、将制作好的u深度u盘启动盘插入电脑接口，开机按快捷键进入主菜单界面，选择“【02】U深度WIN8 PE标准版（新机器)”，2、进入u深度pe系统桌面后，在桌面上找到“DiskGenius分区工具”并双击打开3、在diskgenius分区工具左侧找到硬盘，右键点击选择“删除所有分区”，在弹出的窗口中点击“是”按钮4、删除完成后，开始转换MBR，在菜单栏中点击“硬盘”，在选项中点击“转换分区表类型为MBR格式”5、随后出现提示窗口，我们点击“确定”开始转换，如下图所示：6、转换完成我们便可以在分区工具界面看到分区表类型为MBR了，此时记得要点击“保存更改”才能生效
怎么无损转换为UEFI+GPT
第一步：用disk genius转换硬盘为gpt分区：（这一步可以省略，不过得保证建fat分区前，主分区只有四个。 不够就把几个主分区转换成逻辑分区就可以了。 还有在mbr格式的磁盘里无法建立esp分区，只能用fat分区代替，详细请见第二步的第一种方法。
chatgpt可以用来做什么？
ChatGPT是聊天机器人，该聊天机器人可以在模仿人类说话风格的同时回答大量的问题。 在现实世界之中，例如数字营销、线上内容创作、回答客户服务查询，甚至可以用来帮助调试代码。 ChatGPT 由 GPT-3.5 系列模型提供支持，这些模型使用 Azure AI 超级计算基础设施上的文本和代码数据进行训练。 人工智能的能力已经得到提升，可以处理奇怪的、技术性的、抽象的或具体的请求。 通过将其高级聊天机器人置于公共预览版中，OpenAI 希望通过了解所有用户对 ChatGPT 的要求以及该技术的性能来获得众包反馈。
