大規模言語モデル（LLM）の安全性は、膨大なパラメータに分散された複雑な機構と考えられてきた。しかし、メリーランド大学の研究チームは、有害な知識の出力を拒否する「拒否ニューロン」と、有害な知識そのものを保持する「概念ニューロン」という、たった二種類のニューロンを操作するだけで、安全対策を容易に突破できることを実証した。この発見は、現在の主要な安全アライメント技術の根幹に構造的な脆弱性が存在することを示している。

安全の要はたった二つのニューロン系

本研究は、LLMの安全性が「拒否」と「知識」という二つの独立した神経システムによって仲介されていることを明らかにした。一つは「拒否ニューロン」で、モデルが有害な要求に対して返答を差し控えるかどうかの門番の役割を果たす。もう一つは「概念ニューロン」で、有害な情報そのものを符号化している。研究チームは、モデルの内部表現を分析し、これらの機能を因果的に担う個別のニューロンを特定。各システムからたった一つのニューロンを選択し、その活動値を抑制または増幅するだけで、特別な訓練や巧妙なプロンプト（脱獄プロンプト）を一切使わずに安全機構を無効化した。この結果は、安全対策が想定以上に局所的な構造に依存していることを示している。

明示的要求のブロックから無害な質問の悪用まで

実験では、二つの方向からの攻撃が実証された。第一に、有害な行為を直接指示するプロンプトに対し、「拒否ニューロン」を抑制することで、モデルは拒否応答を返せなくなり、有害な情報をそのまま出力した。第二に、一見無害なプロンプトに対し、「概念ニューロン」を増幅することで、モデルは文脈とは無関係に有害なコンテンツを生成し始めた。この両方向からの検証は、1.7Bから70Bパラメータ規模の異なる二つのモデル系統に属する計7つのモデルで再現された。この普遍性は、特定モデルの脆弱性ではなく、現在のファインチューニングによる安全アライメント手法が持つ原理的な弱点である可能性を示唆する。

編集者の視点：ポストトレーニング安全性の前提が問われる時代へ

この研究がAI産業構造に突きつける論点は、現在主流のRLHF（人間のフィードバックからの強化学習）やDPO（直接選好最適化）といったポストトレーニング安全対策の根本的な信頼性である。これまでは、有害な指示への耐性はモデル全体の頑健性として評価されてきた。しかし、個別のニューロンが安全拒否を因果的に決定しているならば、攻撃側はこの「急所」を探し出すことにリソースを集中させられる。防御側は、脆弱な個別ニューロンが存在しない、より分散化された安全機構の設計や、モデル内部の重み自体を監視・改ざんする新たな脅威モデルを想定した防御技術の開発という、新たな競争軸に直面することになる。