AIの「空気を読む」能力を測る新評価基盤「NARU Bench」が登場
AIによる動画理解技術は目覚ましい進歩を遂げていますが、日本語特有の「空気を読む」といったハイコンテクストな要素を捉えることは、いまだ大きな課題です。
2026年7月8日、InfiniMindと東京大学は、この課題に挑むための新たな日本語動画AI評価基盤「NARU Bench（Narrative And cultural Reasoning Understanding）」を共同でリリースしました。このベンチマークは、政府主導の「GENIAC（Generative AI Accelerator Challenge）」の一環として開発され、AIが人間レベルの動画理解に到達するまでのギャップを可視化することを目的としています。
なぜ「NARU Bench」が必要なのか
日本の動画コンテンツ市場は巨大であり、その内容は非常にハイコンテクストです。明示的な発話だけでなく、場の雰囲気、間接的な表現、人間関係の機微を通じて多くの意味が伝えられます。しかし、既存の動画ベンチマークにはいくつかの盲点がありました。
-
英語への偏重: 多くのベンチマークが英語コンテンツ中心であり、非英語圏、特に日本の文化的な推論能力はほとんど検証されていませんでした。
-
短尺・検索への偏り: 長尺動画のベンチマークであっても、多くは明示的な情報の検索能力を測るにとどまり、時間を通じた一貫した物語理解は問いませんでした。
-
ローコンテクストな前提: 暗黙の社会的手がかりや文化に根差した意味の理解を測ることが困難でした。
「NARU Bench」は、これらの課題に対応するため、長尺の物語追跡とハイコンテクストな文化的推論という、特に難しい領域を実際の日本語動画で評価します。
「NARU Bench」の概要
このベンチマークは、155本の日本語YouTube動画から作成された1,481問の多肢選択問題で構成されています。対象となるコンテンツはインタビューや対談形式の番組など、30分から240分にわたる約147時間分です。すべての質問と選択肢は日本語で記述されており、正答するには動画を実際に視聴する必要があります。テキスト情報だけでは答えられないように設計されている点が特徴です。
ベンチマークは以下の2つの主要なトラックと9つのタスクタイプに分かれています。
物語理解力（745問）
物語理解力では、登場人物や事物の変化、逐次的・話題的な流れ、筋書きや対立の進展、そして動画全体を通じたテーマの展開など、物語の一貫した理解を測ります。
文化的理解力（736問）
文化的理解力では、日本語の会話における「相槌」の意味合いの識別、「空気を読む」能力、間接的なコミュニケーションにおける「本音と建前」の区別、文化固有の言及や慣習の認識、さらに繊細な感情の動きの分析といった、日本文化に根差した推論能力を評価します。
既存モデルの評価結果
1,481問のベンチマーク全体で複数のモデルが評価されました。4つの選択肢がある場合、ランダム回答の正答率は25%ですが、多くの有力なオープンウェイトモデルは、この水準をわずかに上回るにすぎないという結果が出ています。
テストされた中で最も強力な汎用オープンウェイトモデルでも33.9%にとどまりました。InfiniMindのDeepFrame 8Bは32.1%を記録し、はるかに大きなQwen3-Omni 30Bに匹敵する性能を示しています。さらに、InfiniMindのDeepFrame Platformは、動画全体にわたる検索とエージェント的推論を組み合わせることで、全システム中最高の55.3%を達成しました。これは最良の単体モデルの約1.6倍にあたります。しかし、それでもなお、人間並みの信頼できる理解には大きな隔たりがあることが示されています。
この結果は、「NARU Bench」がいかに難易度が高く、一般的な動画QAでは表面化しない物語理解や文化的推論の失敗を明らかにする上で重要であることを示しています。
今すぐ試す
「NARU Bench」は、Hugging FaceとGitHubで公開されており、lmms-evalと直接統合されているため、簡単に実行可能です。
データセットとコードは以下のリンクからアクセスできます。
データセット（質問、選択肢、メタデータ）はCC BY-NC-SA 4.0ライセンスのもとで、評価コードはApache-2.0ライセンスのもとで公開されています。
共同開発と今後の展望
「NARU Bench」は、InfiniMindと東京大学が共同で開発しました。これは、日本のAI基盤モデル開発を強化するための政府主導の取り組みであるGENIACの一環として構築されたものです。
今後の展望としては、YouTubeにとどまらず日本のテレビや放送メディアへのソースデータの拡充、自動化パイプラインと人手による検証の継続的な改善、そして構築手法や包括的な評価をまとめた論文の公開が予定されています。
「NARU Bench」は、実際の日本語動画を理解する必要があるマルチモーダルモデルの研究開発において、重要な評価基盤となるでしょう。
InfiniMindは、大規模映像基盤モデルやエンタープライズ向けAI検索プラットフォームの開発・提供を手がけており、GoogleやNVIDIAなどの大手プラットフォームスタートアッププログラムにも採択されています。日本を拠点に、映像基盤モデルのグローバル・スタンダード確立を目指しています。
関連リンク: https://infinimind.io/ja/company/news/2026/narubench-release
