1Password（ワンパスワード）のセキュリティー研究部門であるOff-by-1 Labsは、大規模言語モデル（LLM）が最近公開された複雑な脆弱性に対するパッチを生成する際の性能を検証した研究結果を発表した。この調査では、既存のモデル学習データには含まれていない可能性が高い新たな脆弱性に焦点を当て、サイバーセキュリティー対策に対応した2つの最先端モデルを用いて数千もの修正候補を生成し、その実世界での有効性を評価した。
この実験では、CVE-2026-31431、CVE-2026-34197、CVE-2026-8512、CVE-2026-45185、CVE-2026-22738、GHSA-wpqr-6v78-jr5gを含む、最近公開された6つのオープンソース脆弱性を対象とした。これらの脆弱性はいずれも、根本的な問題を完全に解決するためには、複雑なパッチ適用が必要となる。本研究のテスト実行において、研究者らは分析用に6,080個のパッチを生成した。さらに、論文と同時に公開されたデータセットには、6,480個のパッチと関連ツールが含まれていると報告されている。
結果として、複雑な修正が必要な場合、LLMは、論文で「欠陥が埋め込まれた修正類似アーティファクト（FLAWED）」と呼ばれるものを大多数のケースで生成することが明らかになった。モデルが利用可能なベンダーパッチを取得した400件のフラグ付きインスタンスを除外した後、5つの分類されたシナリオにおける集計結果では、26.0%の試行で動作を変更しない完全な修正が、20.1%の試行でアプリケーションの動作を変更する完全な修正が行われた。対照的に、53.9%のパッチは、元の脆弱性を解決できなかったか、新たなセキュリティー問題を引き起こしたか、あるいはその両方であった。
本研究では、サイバーセキュリティーに特化したガードレールの下で構成された2つのフロンティアモデルを用いて生成作業を行ったと説明している。一方のモデルでは、パッチ適用と検証サイクル1回あたりの推論コストが平均2.11ドル、もう一方のモデルでは平均2.81ドルであった。各モデルは、堅牢性とコンテキストへの感度を検証するため、さまざまなプロンプトテンプレートと環境設定の下で、脆弱性ごとに540回のパッチ適用を試みた。
詳細な分析により、共通の失敗モードが明らかになった。一見成功したように見えるパッチの多くは、根本原因に対処することなく、特定の攻撃文字列をブロックする限定的な入力チェックやアドホックなエスケープシーケンスに依存していた。S1またはS2に分類されたパッチの3分の1以上が、セキュリティーの観点から「脆弱」と評価された。これは、入力ベクトルが変更された場合、または保護されたコードパスが別の入力経路から到達可能になった場合に、根本的な脆弱性が再発する可能性があることを意味する。
この報告では、LLMによって生成されたパッチが、ローカルパーサーの再実装や許可リストロジックの拒否リストロジックへの変換など、意図しない形でアプリケーションの動作を変更し、本来の緩和策の範囲を超えて機能を変更してしまうシナリオも記録されている。パッチによって元の脆弱性が未解決のまま残され、新たな脆弱性が導入された事例も確認されており、慎重なレビューなしに自動修正を導入するとリスクが悪化する可能性があることが強調されている。
これらの調査結果を受けて、1Passwordは、最先端モデルの開発者からのフィードバックを伝えている。パッチ生成が検証を上回っており、検証は単なる検査ベースではなく実行ベースで行う必要があり、最終レビュー担当者はドメインエキスパートであるべきだというものだ。Off-by-1 Labsも同様に、熟練した人間の監視を維持し、テストスイートを改善し、自動パッチを受け入れる前に不変条件と実行動作を検証するためにLLM以外のツールやAIハーネスを統合することを推奨している。
防御担当者を支援するため、研究チームはFLAWEDツール、データセット、および詳細な研究論文を公開した。これにより、実務担当者は実験を再現し、以前に修正された脆弱性に対するLLMパッチ適用を評価し、自動パッチ適用がどの程度信頼できるかを示すコードベースの領域を特定できる。これらの資料は、組織がAI支援による修復ワークフローの導入を検討する際に、人的労力の優先順位付けやガバナンス上の意思決定に役立つことを目的としている。
出典：1Password
この製品の詳細については、1Password製品ページをご覧ください。
