要点
- 1AIの安全性を評価する国の機関Japan AISIが、重みが公開されたAIモデル「GLM-5.2」の攻撃コード作成力を評価し、AnthropicのClaude Opus 4.8に及ばないとした
- 2Japan AISIは、GLM-5.2が一部の課題では高度な能力を示したとしつつ、そうした能力が重みの公開されたモデルに広く拡散しているとは断定できないとした。能力が短い間に伸びる可能性も指摘した
- 3評価はV8の既知の脆弱性41件を各1回試したもので、Japan AISIは安全か危険かの判断には使えないとする。評価環境では、Opus系と違い、GLM-5.2は安全上の理由で作業を断らなかった
本記事を読む上でのキーワードJapan AISIGLM-5.2Claude Opus 4.8ExploitBenchV8公開モデル(オープンウェイトモデル)エクスプロイトナッジ意味を見る +閉じる -
- Japan AISI:AIセーフティ・インスティテュートの略称。IPA(情報処理推進機構)に置かれた、AIの安全性を評価する国の機関。今回の評価は「AI検証ノート」としてまとめた
- GLM-5.2:今回の評価の対象になったAIモデル。Japan AISIは「一般に利用可能なオープンウェイトモデル」と紹介している
- Claude Opus 4.8:AnthropicのAIモデル。今回はGLM-5.2の比較相手として、1つ前のClaude Opus 4.7とともに評価された
- ExploitBench:AIがどこまで攻撃コードを作れるかを測る試験問題集。米カーネギーメロン大学の研究者が作った。Japan AISIの別のノートによると、5段階の上から3番目は、V8のサンドボックス(安全のための囲い)の中でデータを読み書きできる段階にあたる
- V8:Google Chromeなどで使われる、JavaScriptを動かす部品。ExploitBenchは、V8で見つかった既知の脆弱性を題材にしている
- 公開モデル(オープンウェイトモデル):店の中で出す料理ではなく、持ち帰って自宅で食べられる料理のようなAIモデル。実際には、学習済みのモデルの中身(重み)が公開され、誰でも入手して自分の環境で動かせる。APIで提供されるだけのモデルは含まない
- エクスプロイト:脆弱性が鍵穴なら、合鍵にあたるもの。実際には、脆弱性を突いて、システムを思いどおりに動かすための攻撃コードを指す
- ナッジ:AIが作業に行き詰まったり途中でやめたりしないよう、システム側から送る助言や指示。ナッジを送っても、GLM-5.2の平均点は変わらなかった
立場別に考えるポイント
何が起きたか
AIセーフティ・インスティテュート(Japan AISI)は、誰でも入手して動かせるAIモデル「GLM-5.2」が攻撃コードをどこまで作れるかを評価し、結果を公表した。攻撃に使える高度な能力が、誰でも動かせるモデルにまで広く行き渡ったとは断定できない、というのがJapan AISIの見立てだ。
Japan AISIは、AIの安全性を評価する国の機関で、IPA(情報処理推進機構)に置かれている。評価したGLM-5.2は、オープンウェイトモデル(中身の数値〈重み〉が公開されたAIモデル)にあたる。この記事では、こうしたモデルを公開モデルと呼ぶ。
Japan AISIが調べたのは、脆弱性を見つける力だけではない。見つけた脆弱性を突く攻撃コード(エクスプロイト)を作り、システムの制御を奪うところまで進める力を測った。
どうやって測ったのか
評価には、米カーネギーメロン大学が作った試験問題集「ExploitBench」を使った。題材は、Google Chromeなどで使われるJavaScriptの実行部品「V8」の既知の脆弱性41件。AIは、V8のソースコードやデバッガ(プログラムの動きを調べる道具)を備えた環境で、自分で道具を使いながら作業を進めた。
採点では、16の能力項目のうち達成できた数を、16点満点の点数にする。項目は浅い順に5段階に分かれ、最も浅い段階は「脆弱な処理の特定」、最も深い段階は「システム外部での任意操作」にあたる。
GLM-5.2はどこまで届いたのか
Japan AISIは2026年7月、GLM-5.2と、AnthropicのAIモデル「Claude Opus 4.8」「Claude Opus 4.7」に、41件すべてを1回ずつ解かせた。点数でも到達の深さでも、Opus 4.8がGLM-5.2を上回った。
- 16点満点の平均は、Opus 4.8が5.22、Opus 4.7が3.63、GLM-5.2が2.80だった
- GLM-5.2が届いたのは、5段階のうち上から3番目の段階までだった
- Opus 4.8には、上から2番目の段階や最も深い段階まで届いた課題があった
Japan AISIは、GLM-5.2が届いた段階は全体として低くとどまったとしている。一方、費用の面ではGLM-5.2がやや優位とした。3モデルとも最も浅い段階に届いた36件で、そこまでにかかったAIの利用料(トークン費用)を比べると、GLM-5.2はOpus 4.8の半分ほどで済んだ。
助言を与えれば、もっと先まで進めるのか
Japan AISIは、GLM-5.2だけを対象に、もう1つの評価もしている。AIが作業に行き詰まったり途中でやめたりしないよう、システム側から助言(ナッジ)を送ると結果が変わるかを確かめた。危険度の高い課題10件を、助言を送る条件と送らない条件で5回ずつ試したところ、平均点はどちらも3.0だった。Japan AISIは、助言だけで高度な攻撃コードに届くのは難しいとみている。
安全上の理由で、作業を断ったか
評価環境では、Claude Opus系に見られた安全上の拒否(安全上の理由でAIが作業を断ること)が、GLM-5.2には見られなかったという。Japan AISIは、標準の設定での安全策の強さに差がある可能性を挙げた。ツールの利用と組み合わさることで予想外の挙動が出る余地もあるとして、この点は注意深く監視する必要があるともしている。拒否の頻度や、点数への影響は明らかにしていない。
Japan AISIはどう結論づけたか
Japan AISIは、GLM-5.2はOpus系に一段劣るものの、一部の課題で高度なサイバー能力を示したとした。そのうえで、現時点のデータからは、高度な能力が公開モデルに広く拡散しているとは断定できないと結論づけている。
ただ、公開モデルの能力は短い間に大きく伸びる可能性があり、公開した後で使い方を制限するのも難しいと指摘する。このため、能力の水準を続けて評価していくことが重要だとし、今回の評価をその「第1段目」と位置づけた。
※ Japan AISIは、この結果はV8の課題に限った特定の時点と条件での評価で、これだけでモデルが安全か危険かは判断できないとしている。試行は各モデル1回で、結果は評価の条件に左右されるともいう。GLM-5.2の開発元は明らかにしていない。
背景:提供元が相手を選べるモデルと、選べないモデル
一般に、APIなどのサービスとして提供されるAIモデルは、提供元が利用者を審査したり、使い方を見て提供を止めたりできる。重みが公開されたモデルは利用者の手元で動くため、提供元はこうした歯止めをかけにくい。
最先端のモデルを作る企業では、攻撃にも使える能力があるモデルの提供先を絞る動きが出ている。Anthropicは9月、AIモデル「Claude Mythos 5.1」の提供先を審査を通った個人と組織に限るとし、当面は米国の一部の組織だけにした。Googleも同月、「Fairwind」という枠組みを始め、能力の高いモデルを信頼できる防御側に限って渡している。公開モデルには、こうした提供先の絞り込みが使えない。
今後の注目点
- Japan AISIが次の評価を公表したときは、公開モデルが届いた最も深い段階が、今回の「上から3番目」から変わったかが最初の見どころになる。Opus系との平均点の差が縮んだかも、あわせて確かめたい
- Japan AISIは、AIの動かし方の工夫やモデルの更新などで、性能をとりまく状況は今後も変わり続けるとしている。新しい公開モデルや新しいバージョンが出たら、今回の結果を当てはめず、そのモデルの評価を別に確かめる必要がある