要点
- 1Microsoftは11月12日、学習用のデータセットや配布されるAIモデルにバックドアを仕込み、コードを書くAI「コーディングエージェント」に危険な操作をさせる2つの実験の結果を公表した
- 2実験では、学習データの約1%を汚染すると、学習に含まれていた、AIを動かす実行環境で、ありふれた依頼をきっかけに約78%で危険な操作が起きた。Microsoftは実際の攻撃の被害を明らかにしていない
- 3Microsoftは、評価で期待どおりに動いてもバックドアがない証拠として十分でないとし、データセットとモデルを外から取り込む部品として管理し、AIがツールを動かす手前で制御をかけるよう勧める
本記事を読む上でのキーワードMicrosoft AI Red TeamMicrosoft DefenderClaude CodeQwenコーディングエージェントバックドアトリガーファインチューニングオープンウェイトモデルツール実行環境意味を見る +閉じる -
- Microsoft AI Red Team:Microsoftが2018年に作ったチーム。攻撃者の目でAIのシステムを調べ、弱いところを探す
- Microsoft Defender:Microsoftのセキュリティ製品
- Claude Code:Anthropicのコーディングエージェント。コードを読み、ファイルを書き換え、コマンドを実行する
- Qwen:Alibaba Cloudが作るLLMの系列
- コーディングエージェント:コードを書き、端末でコマンドを実行するAIエージェント(AIが自ら手順を考えて操作を実行する仕組み)
- バックドア:たとえると、合言葉を聞いたときだけ裏の仕事をする、ふだんはまじめな新人。実際には、特定のきっかけでだけ働くよう、学習でモデルに覚えさせた隠れたふるまいを指す
- トリガー:バックドアを働かせるきっかけ
- ファインチューニング:既存のAIモデルを追加データで調整すること
- オープンウェイトモデル:中身の数値(重み)が公開されたAIモデル
- ツール:AIが呼び出して使う機能
- 実行環境:AIモデルを動かし、ツールの呼び出しを実行する仕組み
立場別に考えるポイント
自社で確認すべきこと
今回の発表は、実験の結果をまとめた研究。Microsoftの勧めに沿って、次の点を確かめたい。
何が起きたか
Microsoftは2026年11月12日、コードを書いてコマンドを実行するAI「コーディングエージェント」にバックドアを仕込む攻撃の研究を、2つまとめて公表した。外から入手したデータやAIモデルが試験でふつうに動いても、それだけでは信用する根拠にならない、と同社はみる。攻撃の入り口は、ファインチューニング(既存のAIモデルを追加データで調整すること)に使うデータセットと、配布される学習済みのモデル。
バックドアは、ふだんは表に出ず、特定のきっかけ(トリガー)が現れたときだけ働く、モデルに覚えさせた隠れたふるまいを指す。コーディングエージェントは文章を作るだけでなく、ツール(AIが呼び出して使う機能)を通じてファイルを読み、コマンドを実行する。このため、バックドアが働くと周りのシステムにまで影響が及ぶと、Microsoftは説明している。
トリガーは、ふつうの依頼文のほか、エージェントが作業中に読むファイル名やコードのコメントにも入りうる。悪意があるようには見えないため、プロンプトインジェクション(AIへの指示を外部から乗っ取る攻撃)への対策が反応しないことがあるという。
ここで紹介する数字は、どれも同社の実験で測ったものだ。実際の攻撃での被害の例も、同社のAI製品が影響を受けるかどうかも、Microsoftは明らかにしていない。
学習データに混ぜると、何が起きるのか
1つ目は、同社のセキュリティ製品Microsoft Defenderの研究チームによる、データセットの汚染の研究。想定した攻撃は次のように進む。
- 攻撃者が、細工した例を混ぜたデータセットを、公開の配布サイトに出す
- 被害者の組織が、汚染したデータセットでAIモデルをファインチューニングする
- 利用者が、トリガーになるありふれた依頼を、エージェントに出す
- モデルが、コマンドを実行するツールを使って、危険な操作をする
被害者の組織が、外から入手したデータでファインチューニングをすることが前提になる。実験では、端末で動くエージェントの会話データ約9,000件に、汚染した例を90件、全体の約1%だけ混ぜた。汚染した例は、ツールの名前や形式を変えた10種類の模擬の実行環境(AIモデルを動かし、ツールの呼び出しを実行する仕組み)に分けて入れている。
トリガーは「プロジェクトの説明文書を作って」という依頼にした。このデータで、OpenAIのモデルgpt-4.1-miniをファインチューニングしている。学習に含まれていた2つの実行環境では、500回の試行で、どちらも約78%の割合で危険な操作が起きた。学習に使っていない実行環境では大きく下がり、1つで11.0%、もう1つでは0%だった。
研究チームは、実際に配られている大きな公開データセットの中にも、無害な依頼に、依頼と関係のない危険なツールの呼び出しを組み合わせた行をいくつか見つけたという。ファイルの簡単な操作を頼まれたのに、外部のスクリプトを取ってきて実行する例があった。出した側に悪意があったのか、モデルに影響するほどのものかは、判断できなかったとしている。それでもMicrosoftは、データセットの大きさや評判は安全の保証にならないとみる。
配られたモデルに仕込まれていたら
2つ目は、攻撃者の目でAIの弱点を探すチームMicrosoft AI Red Teamによる、モデルの汚染の研究。攻撃者が、バックドアを仕込んだオープンウェイトモデル(中身の数値〈重み〉が公開されたAIモデル)を配る場合を想定した。
実験には、Alibaba Cloudが作るLLM(大規模言語モデル)の系列Qwenのモデル2つを使っている。汚染した例の割合を増やした最も強い設定では、学習に使っていないリポジトリで試しても、攻撃が成功した割合は平均で84.1%〜94.8%に達している。
学習に使っていない実行環境でも、バックドアは働いた。AnthropicのコーディングエージェントClaude Codeにつないだ場合、成功した割合はモデルによって97.0%と91.0%だった。ただ、この結果はClaude Codeなどの既定の設定に弱点があるという意味ではないと、Microsoftは明記している。危険が生じるのは、バックドア入りのモデルを動かすように設定した場合だけだという。
研究チームによると、小さいモデルでは、ファインチューニングによって、ふつうのコーディングの性能が落ちた。そこに別の学習を短く足すと能力の多くが戻り、性能を測る試験では成績が上がることさえあったという。
Microsoftは何を勧めているのか
同社は2つの研究から、能力の評価も、そのあとの追加の学習も、モデルに隠れたふるまいがないことの十分な証拠にならないと結論づけた。モデルの重みは、ソースコードのように読んで確かめることもできないという。このため、データセットとモデルのファイルを、ソフトウェアのサプライチェーンの一部として扱うよう求める。AIがツールを実際に動かす手前で制御をかけることが、エージェントを守る前提になるとした。
Microsoftによると、被害がどこまで広がるかは、エージェントが使えるツールとその権限で決まる。先に挙げた確認項目のほか、同社は次の対策も勧めた。
- 学習の前に、点検したデータセットに予期しない変更がないかを調べ、依頼から導かれない操作が学習の例にないかを点検する
- 使い始める前に、外から入手したモデルを信用できない部品として扱い、本番で使う構成で評価する。一般的な性能試験ではふつうに動きうると考えておく
- 使い始める前に、エージェントが影響の大きい操作をするときは、人の承認を求めるようにしておく
- 動かしている間は、ツールの動きを記録し、依頼から導かれないツールの呼び出しに警告を出す
- 動かしている間は、エージェントのフレームワークに修正を当て続け、モデルがツールに渡した値を確かめ、自前のツールの処理を見直す
同社は、自社の製品Microsoft Defenderも挙げた。対応しているエージェントなら、設定しておくことで、Defenderが対象とする種類の脅威の場面を、実行の前に止められるという。止められる対象は、エージェントの種類によって違う。
背景:モデルとデータセットは、外から取り込む部品
一般に、企業がAIモデルを一から作ることは少なく、公開されたモデルやデータセットを取り込んで使うことが多い。
Microsoftは2日前の11月10日にも、評価をすべて通るバックドアの研究を公表した。エージェントのモデルのニューロン(計算を受け持つ、モデルの中の細かな単位)を10個未満書き換えるだけで、仕込めるという。攻撃者がこの手口を使ったのは見ていない、としている。
OWASP(ソフトウェアのセキュリティに取り組む国際的な非営利団体)は、AI向けの脆弱性リストを公開している。2025年版の「OWASP Top 10 for LLM Applications」は「サプライチェーン」の項目で、公開されたモデルの出どころを強く保証する仕組みはいまのところないとする。
今後の注目点
- Microsoftが、危険な行を見つけた公開データセットの名前と、配布元の対応を公表するかを、Microsoft Security Blogの続報で見る