大手パスワード管理ソフトウェア開発企業である1Password（ワンパスワード）は、Security Comprehension and Awareness Measure（SCAM）と呼ばれる新たなベンチマークを開発した。このツールは、フィッシング詐欺などの一般的なサイバー脅威をAIモデルが識別・回避する能力をテストするために設計されている。SCAMの開発は、AIエージェントが私たちの日常生活やワークフローにますます統合され、それがもたらす潜在的なセキュリティーリスクへの対応として進められている。
SCAMベンチマークは、1Passwordの調査で、AIモデルはフィッシングサイトを効果的に識別できるものの、回避に失敗することが多いことが判明したことを受けて作成された。例えば、AIエージェントはフィッシングメールを正しく識別したにもかかわらず、フィッシングリンクを開いて機密情報を入力してしまうことがある。メールの閲覧、リンクの開封、フォームへの入力といったAIエージェントの自律的な機能を考えると、この問題は特に懸念される。
この問題に対処するため、1PasswordのSCAMベンチマークは、メールの読み取りやパスワードの入力といったタスクを実行する際にAIモデルが安全を維持できるかどうかをテストする。このベンチマークでは、AIエージェントが潜在的な脅威を人間のユーザーに伝え、最終的にサインインの決定を承認する能力も評価する。これは、1Passwordがエージェントの信頼性を高めるための幅広い取り組みの一環であり、企業や個人がAIベースのツールを安全に導入できるようにするためのツールとベストプラクティスの作成も含まれている。
1Passwordのテストでは、AIモデルはどれもそのままでは十分に安全ではなく、安全性スコアは35%から92%の範囲にとどまっていることが分かっている。しかし、各モデルに1,200語のセキュリティースキル（行動を起こす前に脅威について考える方法をモデルに教えるドキュメント）を付与したところ、全てのモデルで改善が見られた。重大な失敗は65件から2件に減少し、このアプローチがAIエージェントのセキュリティーを大幅に強化する可能性を示したという。
出典：1Password
この製品の詳細については、1Password製品ページをご覧ください。
