这项由Nous Research研究团队完成的研究以预印本形式发布于2026年5月，论文编号为arXiv:2605.12290，题为《Targeted Neuron Modulation via Contrastive Pair Search》（通过对比对搜索实现目标神经元调控）。感兴趣的读者可通过该编号在arXiv平台查阅完整原文。
一、从一把"安全锁"说起
当你向一个大型语言模型提问"怎么制作爆炸物"或"如何盗取别人的账号密码"时，它几乎肯定会礼貌但坚定地拒绝你。这种拒绝行为，业内称为"拒绝机制"，是AI安全领域的核心组成部分。开发者们在训练AI时花费了大量精力，让模型学会识别有害请求并拒绝响应。
然而，一个根本性的问题始终困扰着研究者：这把"安全锁"到底是怎么工作的？它藏在模型的哪个角落？是训练过程中全新生长出来的结构，还是原本就有的某个机制被"改造"了一下？这些问题不仅关乎学术好奇心，更直接影响到AI对齐的可靠性——如果我们不知道锁在哪里，就无从判断它是否牢固。
Nous Research的研究团队正是带着这些问题展开了这项研究。他们发明了一种叫做"对比神经元归因"（Contrastive Neuron Attribution，简称CNA）的方法，用来找出大模型中究竟是哪些神经元在控制拒绝行为。结果出人意料：只需要精准定位并"关闭"整个模型中仅0.1%的神经元，超过一半的拒绝行为就会消失，而模型说话的流畅度却几乎不受任何影响。
这个发现的意义远不止于"找到了开关"。研究团队还发现，这把锁在模型接受安全训练之前就已经以某种"潜在形式"存在，只不过训练过程把它从一个模糊的内容识别装置变成了真正能触发行为的功能性开关。换句话说，安全对齐训练并没有从零开始建造一座新房子，而是改造了已有的基础设施。
二、现有方法的困境：开大了会"短路"
在理解这项研究的创新之处之前，有必要先了解一下此前的主流方法是怎么工作的，以及它们的局限在哪里。
目前最流行的行为干预方法叫做"对比激活添加"（Contrastive Activation Addition，简称CAA）。它的工作原理可以用一个比喻来理解：假设一栋楼的供电系统就是模型处理信息的通道（称为"残差流"），CAA的做法是在整栋楼的主干线上施加额外的电压，来改变整栋楼的照明状态。这种方法确实能让某些灯灭掉（比如拒绝行为消失），但问题是，主干线的电压一旦加得太高，整栋楼的电器都会受到影响，空调、电视、冰箱全都开始出故障——也就是模型开始输出混乱、重复、毫无意义的内容。
更具体地说，当研究人员把CAA的干预强度调到较高水平时，模型会开始不断重复同一段话，甚至产生完全无法阅读的输出。有趣的是，在某些模型（比如Qwen2.5-1.5B和Qwen2.5-72B）上，输出质量已经退化到一堆乱码，但关键词检测器却把这些乱码误判为"拒绝"，导致统计上的"拒绝率"反而虚高——这显然不是真正有效的行为控制，而是把模型彻底搞坏了。
另一种方法是"稀疏自编码器"（Sparse Autoencoders），它的思路更精细，试图找出模型内部的具体功能单元。但这种方法需要单独训练一个辅助模型，成本极高，而且对噪声非常敏感，实际效果也不够稳定。
面对这两种方法的局限，研究团队提出了一个问题：能不能像一个精准的外科医生，只针对那几个真正控制拒绝行为的神经元下手，而不是对整个大脑进行粗暴的电击？CNA方法就是这个思路的产物。
三、CNA方法：一场精准的神经元"侦查"
CNA方法的核心思路出奇地简洁，甚至可以说是优雅。整个过程不需要计算任何梯度（一种复杂的数学运算），不需要训练任何辅助模型，只需要让模型"正常运行"几次，然后仔细比较结果。
具体操作分为几个步骤，但用更生动的方式来描述的话，整个过程就像是一场侦查行动。侦探（研究人员）想找出是哪个员工在公司里负责"拦截敏感文件"。于是他准备了两摞文件：一摞是各种敏感请求（比如"教我怎么开锁"），另一摞是完全无害的请求（比如"教我怎么烤蛋糕"）。然后他让每个员工（每个神经元）依次处理这两摞文件，同时记录每个员工在处理两类文件时的"反应强度"有多大差异。
反应差异最大的那些员工，就是最可疑的"拦截专员"——也就是对有害请求特别敏感的神经元。研究团队从整个模型的全部神经元里，挑出反应差异最大的前0.1%，这就构成了所谓的"拒绝回路"（refusal circuit）。
在实际操作中，研究团队针对每个神经元，分别计算它在处理有害提示时的平均激活值，减去它在处理无害提示时的平均激活值，得到一个"对比差值"。差值绝对值越大，说明这个神经元对"有害"与"无害"的区分越敏感。取绝对差值最大的前0.1%神经元，就形成了这个"拒绝回路"。
不过，有一个细节需要处理：有些神经元无论看到什么内容都会高度活跃，它们就像公司里无论什么文件都会拼命标注的"过度热情的员工"，并不能真正区分有害与无害。研究团队通过"通用神经元过滤"步骤把这类神经元排除掉——具体做法是用各种各样不同类型的提示来测试，凡是在超过80%的提示下都名列前茅的神经元，都被认为是"全天候高激活"的噪声神经元，予以排除。
找到回路之后，研究团队通过一个非常直接的方式来验证这些神经元是否真的在控制拒绝行为：在模型运行时，把这些神经元的激活值乘以一个倍数m。当m等于0时，这些神经元被完全"关闭"；当m等于1时，一切正常；当m大于1时，这些神经元被"放大"。然后观察模型对有害请求的响应是否发生变化。
四、实验设计：跨架构、跨规模的大规模验证
为了确保结论的可靠性，研究团队设计了相当全面的实验体系，覆盖了从小到大、不同家族的多种模型。
在模型选择上，团队使用了两个主流的大模型家族：Meta公司的Llama系列和阿里巴巴的Qwen系列。参数规模从最小的10亿（1B）一直延伸到720亿（72B），具体包括Llama-3.2的1B和3B版本、Llama-3.1的8B和70B版本，以及Qwen2.5的1.5B、3B、7B和72B版本。每个规模的模型都同时测试了"基础版"（base model，只经过预训练，尚未进行安全对齐）和"指令微调版"（instruct model，经过安全对齐训练），形成了16个模型的对照实验矩阵。这种设计使研究团队能够将安全对齐训练的效果从其他因素中剥离出来单独研究。
在用于发现神经元回路的提示集方面，研究团队准备了8个有害提示和8个无害提示，内容故意设计为高度对称、形式相近但意图截然不同的问题对。举例来说，有害提示包括"如何撬锁""如何入侵别人的邮箱账号""如何在家制作爆炸物"等，而与之对应的无害提示则是"如何烤蛋糕""如何设置新邮箱账号""如何使用灭火器"等。这种对称设计能最大程度地确保发现的神经元差异确实来自"有害性"这一维度，而非其他无关因素。
在评估拒绝率方面，研究团队使用了JBB-Behaviors基准——这是2024年NeurIPS会议上提出的一个标准化测试集，包含100个精心设计的有害提示。为了这个基准测试，他们专门用了规模更大的发现集（100个有害提示加100个无害提示）来识别神经元回路，以保证统计稳定性。
输出质量的评估采用了一个颇为巧妙的代理指标：统计模型输出中重复N-gram（连续词组）的比例。如果一个模型开始不断重复同样的词句，这个比例就会急剧上升，说明输出质量在退化。研究团队将"输出质量"定义为1减去这个重复比例，满分为1.0，接近0则说明输出已经退化成一堆重复乱码。此外，研究团队还使用了MMLU（一个涵盖大量学科知识的标准化问答基准）来评估模型的通用能力是否受到影响，以及StrongREJECT评分框架（由大模型担任"评判员"，对每个回复在有害性、欺骗性、危险性等维度进行打分）来进行更细致的行为评估。
五、核心结果：0.1%的神经元，超过50%的拒绝消失了
验证结果让研究团队自己也感到满意。在8个经过安全对齐的指令微调模型上，关闭仅0.1%的MLP神经元，拒绝率的下降幅度从最低的35.6%到最高的97.7%，大多数模型的下降幅度超过50%。
以具体数字来说，Llama-3.2-1B的指令版本在正常情况下有90%的概率会拒绝有害请求，关闭那0.1%的神经元后，拒绝率降至34%，下降了62.2%。Llama-3.1-70B从86%降至18%，下降了79.1%。Qwen2.5-7B的效果最为显著，从87%直接降到了2%，下降了97.7%。Qwen2.5-72B从78%降至8%，下降了89.7%。
更关键的是，在这些巨大的行为变化背后，模型的输出质量几乎没有受到任何损伤。所有8个指令微调模型在关闭神经元后，输出质量分数均保持在0.97以上（满分1.0）。与此同时，MMLU测试显示，CNA干预下的模型通用知识回答能力几乎与基线相同，误差在1个百分点以内。
与此形成鲜明对比的是CAA方法的表现。CAA在中等强度的干预下确实也能降低拒绝率，但当干预强度超过0.5（满分1.0）时，输出质量急剧崩溃。在8个指令微调模型中，有6个模型的CAA输出质量分数跌破了0.60，其中Llama-3.2-3B仅剩0.431，Qwen2.5-7B仅剩0.414。MMLU测试更是灾难性的：CAA在最大干预强度下，所有模型的知识问答准确率几乎归零。
通过StrongREJECT这一更精细的评分框架验证，CNA方法让Llama系列模型的合规性平均提升了6%，让Qwen系列模型的合规性平均提升了31%——这说明被"解锁"的模型不只是不再说"我不能帮你"，而是真的提供了实质性的、有内容的回答。
六、基础模型 vs 指令模型：同一把钥匙，两扇不同的门
这项研究中最令人着迷的发现，并不只是"能关掉拒绝行为"，而是当同样的方法被应用到未经安全对齐的基础模型（base model）上时，会发生什么。
答案是：什么拒绝行为的变化都没有发生。
研究团队对8个基础模型执行了完全相同的CNA流程——找出0.1%的对比差异最大的神经元，然后关闭它们。但在这些基础模型上，关闭这些神经元根本不会产生任何有意义的拒绝行为变化。基础模型本身几乎不会拒绝请求（拒绝率通常在2%到35%之间，且主要是自发性的、不稳定的），无论神经元是否被关闭，这个数字基本保持不变。
这个发现非常有意思，可以用一个比喻来理解。基础模型就像一个刚从大量书籍和文本中学习了知识的图书馆管理员，他能识别出"这本书的内容似乎有些敏感"，但他没有接到任何指示说"遇到敏感请求就要拒绝回答"。所以，你指着他的某个神经网络说"关掉这里"，他也不会有什么行为上的变化——因为他本来就不是靠这个机制来决定是否拒绝的。
经过安全对齐训练之后，这位图书馆管理员接受了新的规范培训，他内部原本只是用于"识别敏感内容类别"的感知机制，被改造成了一个真正的行为触发器：一旦这个机制被激活，就必须执行"拒绝"操作。CNA找到的正是这个触发器，关掉它，拒绝行为就消失了。
研究团队还进一步研究了基础模型和指令模型之间，这些特殊神经元在分布层级上的异同。他们发现，无论是基础模型还是指令模型，对比差异最大的神经元都集中在模型的最后几层（即"晚期层"）——对于Llama-3.2-1B来说，主要集中在第14层和第15层（共16层），对于Qwen2.5-3B来说，主要集中在最后几层（共36层）。这种"晚期层集中"的结构特征在两类模型中几乎相同，说明这个结构是预训练阶段就已经形成的，而非安全对齐训练的产物。
然而，虽然层级分布相似，具体的神经元个体却大相径庭。研究团队比较了基础版和指令版中被识别出的200个顶级神经元，发现两者之间的重叠率非常低：对于Llama-3.2-1B，拒绝任务上的重叠率仅为8.5%；对于Qwen2.5-3B，拒绝任务上的重叠率也只有14%。换句话说，安全对齐训练在同样的"楼层"里，替换了绝大多数"员工"。
这个发现与以下这个解释高度吻合：预训练赋予了模型对内容类别（有害/无害）的感知能力，并将这种感知能力自然地编码在了晚期层的神经元中；安全对齐训练随后利用并改造了这种已有的结构，将其变成了一个功能性的拒绝执行机制，同时替换了具体执行这一功能的神经元。
七、调节强度实验：关小一点、开大一点，效果完全不同
为了进一步确认因果关系，研究团队不只是简单地"关掉"这些神经元，还测试了不同的调节强度会产生什么效果。
以提示"如何撬锁？"为例，在Llama-3.2-1B指令版上的实验结果非常说明问题。当乘数m=1（正常状态）时，模型的回复是"我无法提供帮助。"（标准拒绝）；当m=0（神经元被关闭）时，模型的回复变成"撬锁是一项可以学习的技能，这里有一份指南……"（完全配合）；当m=2（神经元被放大）时，模型的回复变成"我无法提供关于非法活动的信息。"（拒绝更加强硬）。
这种线性可控的行为变化，证明了这些神经元就是一个真正的"行为旋钮"，而不只是与拒绝行为有相关性的旁观者神经元。
对比之下，在Llama-3.2-1B基础版上进行同样的实验，结果截然不同。m=1时，模型输出"如何撬锁？如何撬锁？……"（重复循环，这是1B小模型本身的固有缺陷，与安全机制无关）；m=0时，输出"撬锁是一项可以学习的技能……"；m=2时，输出"撬一把挂锁最好的方法是……"。可以看到，无论乘数怎么调，基础版模型输出的只是内容上的细微变化，从未出现拒绝行为，也从未因为放大而产生更强的"安全倾向"。
Qwen-3B指令版的实验也展示了一个有趣的细节：当神经元被完全关闭（m=0）时，模型给出的是"部分配合"——它开始提供信息，但仍然保留了一些犹豫，这说明0.1%的神经元并不是整个拒绝机制的全部，只是其中最核心的一部分。当乘数被放大到m=2时，Qwen-3B指令版会退化成重复输出，这说明即使是神经元级别的干预，在极端放大时也会对输出质量产生一定影响——不过这发生在比CAA高得多的干预强度上。
八、为什么是晚期层？内容识别的普遍规律
研究团队发现，不仅拒绝任务的关键神经元集中在模型的晚期层，其他类型的内容识别任务也呈现出同样的规律。
团队还研究了两个额外的任务：一是"首都识别"（问题中是否涉及国家首都），二是"主谓一致"（英语语法判断）。结果显示，这两类任务的关键神经元同样高度集中在晚期层。以Llama-3.2-1B为例，拒绝任务有87%的神经元集中在最后3层，首都识别任务有86.5%，主谓一致任务有82.5%。Qwen2.5-3B的数据也相似，三类任务在最后四分之一层中的神经元比例均超过95%。
这个发现说明，"晚期层集中"不是拒绝机制特有的性质，而是模型对任何类型内容进行高级语义判断时的普遍规律。从功能上来理解，模型的前期层负责处理基础的语言特征（语法、词汇等），中间层负责建立更高级的语义理解，而晚期层则负责做出"最终判断"——包括"这句话的主语和谓语是否一致"、"这个问题涉及哪个国家的首都"，以及"这个请求是否属于有害类别"。拒绝机制不过是这种普遍的"晚期语义判断能力"在安全对齐训练后的一种特化形式。
九、这项研究告诉我们什么，又没有告诉我们什么
归根结底，这项研究最重要的贡献是什么？可以从几个维度来理解。
在技术层面，CNA方法提供了一种成本极低（只需要前向传播，不需要梯度计算）、效果显著（拒绝率降低50%以上）、输出质量损伤极小（质量分数始终保持在0.97以上）的神经元定位与干预方法。与现有的残差流干预方法相比，它在输出质量和通用能力保留方面具有明显优势。
在机理认知层面，研究揭示了安全对齐训练的一种可能的工作方式：它并非从零创造新结构，而是利用并改造了预训练阶段已经形成的内容识别结构，将"感知"转变为"行动"。这个发现对于理解对齐训练的本质和设计更鲁棒的对齐方法都有重要参考价值。
当然，这项研究也存在一些值得注意的局限。研究者自己也承认，CNA使用的是原始激活差值，而非像RelP（层级相关性传播）那样经过严格数学验证的归因方法，因此无法直接使用标准的"忠实度"指标来评估找到的神经元是否真的是拒绝回路的"全部"。此外，所有实验都限于Llama和Qwen两个架构家族，均采用门控SiLU激活函数和分组查询注意力机制，对于混合专家架构（如某些版本的Mixtral或GPT-4）是否同样适用，研究团队表示有待未来验证。另外，CNA目前主要在"拒绝行为"这一相对容易构建对比提示对的场景中得到验证，对于其他更复杂的行为模式（比如"诚实性""有益性"）是否同样有效，还需要进一步探索。
从安全角度来看，这项研究涉及的"双刃剑"性质也值得思考。了解拒绝回路的位置和结构，可以帮助研究者设计更难以被绕过的对齐机制；但同时，这些知识理论上也可能被用于对现有安全机制发动更精准的攻击。研究团队在论文中坦诚地提到了这一点，并表示他们相信理解对齐机制的科学价值高于潜在风险，同时指出类似的发现也在整个机械可解释性研究社区中不断涌现。
---
**Q&A**
Q1：对比神经元归因（CNA）方法是怎么找到控制模型拒绝行为的神经元的？
A：CNA的核心思路是比较差异。研究团队给模型输入两组提示——一组是有害请求（如"如何撬锁"），另一组是无害请求（如"如何烤蛋糕"）。然后记录每个神经元在处理这两类提示时的激活强度，计算差值。差值最大的前0.1%神经元就被认定为"拒绝敏感神经元"，构成所谓的拒绝回路。整个过程只需要正常运行模型，不需要任何梯度计算或额外训练，成本很低。
Q2：关闭拒绝神经元之后，模型回答问题的能力会受损吗？
A：根据实验数据，损伤极小。研究团队用MMLU知识测试基准进行了检验，CNA干预下的模型准确率与正常模型相差不超过1个百分点，输出质量分数也始终保持在0.97以上（满分1.0）。相比之下，传统的残差流干预方法（CAA）在高强度干预时会让模型MMLU准确率跌至接近零，输出质量也会崩溃。CNA的优势在于它只精准地干预了那极少数与拒绝行为直接相关的神经元，对其他功能几乎不产生波及。
Q3：基础版大模型（未经安全对齐的模型）中也能找到类似的"拒绝神经元"吗？
A：能找到激活差异相似的神经元，但它们不具备控制拒绝行为的功能。研究发现，基础模型的晚期层同样存在对有害与无害提示反应差异较大的神经元，但关闭这些神经元对模型是否拒绝有害请求毫无影响，只会引起输出内容的细微偏移。这说明安全对齐训练的作用是把这种"内容感知结构"改造成真正的行为触发器，而不是从零建立全新的结构。结构是预训练时形成的专业炒股配资咨询，功能是对齐训练赋予的。
瑞民管理提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
