多模态大模型掉进真实世界，会"失聪"。
你把它放在厨房：背后有人说话、金属碰撞、蒸汽嘶嘶——画面里啥也没有，但声音已经把关键信息全透露了。此时最强模型也开始"失灵"：看得懂动作，听不懂发生了什么；能描述现象，推不出原因。
问题不是模型不会"看"，而是还不会真正"听"。
声音，从来不是配角
而在人类的日常认知里，声音从来不是配角：
它提供空间线索（声源左 / 右、远 / 近、是否移动）
它揭示画面外事件（镜头外的对话、敲门、摔落、报警）
它承载因果与意图（某个动作触发了某个声音；某个声音提示下一步行为）
但长期以来，第一人称视频理解基准高度"视觉中心化"：音频存在，但缺乏系统评测；听觉重要，却很少被认真考察。第一视角世界，一直处在"半静音"状态。现有第一人称视频问答 / 理解基准，长期偏"视觉中心"，即使出现音频也常被当作辅助信息，缺少对"声音理解与推理"的系统评测空白。
现在，这个空白终于被补上了。
EgoSound：让模型真正学会"听"
来自复旦大学，上海创智学院，INSAIT，华东师范大学，南开大学的研究团队，提出了首个系统评测第一人称声音理解能力的基准：
EgoSound: Benchmarking Sound Understanding in Egocentric Videos
这是首个专门面向 MLLMs 的第一视角"声音理解"评测体系。目标很明确：
让模型在真实世界中，能听见、理解、推理，并解释发生的一切。
不仅"看见世界"，更要"听懂世界"。
从"看见发生了什么"到"听懂隐藏线索"
以往的 egocentric VideoQA，更像一个"静音观察者"。它擅长回答：画面里有什么？人在做什么？却很难处理：谁在说话？为什么说？这个声音意味着什么？声音与动作如何形成因果链？
EgoSound 关注的不是"视频里有什么"，而是：当声音成为关键证据时，模型还能不能答对？
一个基准，四大核心贡献 1. 首个第一人称声音理解 Benchmark
EgoSound 融合了两类互补数据：
Ego4D：覆盖大量日常第一人称活动
EgoBlind：聚焦更依赖听觉理解 / 交互 / 导航的场景
这使得评测既包含"视觉主导"的常见第一视角，也包含"声音主导"的现实难例。
2. 七大任务体系：从感知到推理
EgoSound 系统拆解了第一人称声音能力边界，覆盖 7 类任务：
Sound Characteristics（声音特征）
Counting（计数）
Temporal Attribute（时序属性）
Spatial Location（空间定位）
Sound Source Identification（声源识别）
Inferential Causality（因果推理）
Cross-Modal Reasoning（跨模态推理）
覆盖"听到→理解→推断"完整链路。
3. 高质量大规模 OpenQA 数据集
最终数据规模为：900 段严格筛选视频 +7315 条验证后的开放式问答（OpenQA）。
强调"开放式"意味着它更接近真实问答，不是靠选项"蒙对"，更贴近真实场景。
4. 全面模型评测与基线建立
研究团队评测了多款 SOTA MLLMs，并进行系统分析，给未来方法研究提供清晰靶点。
为"听觉推理"量身打造的数据构建流程
为了确保问题真的依赖声音，研究团队采用多阶段筛选机制：
定位关键的人 - 物交互片段
再生成交互片段的"音频中心"描述
构建并筛选高质量 OpenQA
并借助多个强模型辅助标注。最终保证：每条问题都绕不开"听觉线索"。
实验结果：模型仍然"听不懂世界"
评测结果非常直观，最强模型与人类差距超过27 个点说明：当前模型还无法稳定把声音转化为可靠认知。
人类平均准确率：83.9%
当前最佳模型：56.7%（Qwen3-Omni-Thinking-30B）
三个关键发现（1）空间 / 时序 / 因果最难：
模型往往能描述看得见的内容，却难以稳定回答"声音来自哪里""什么时候发生""为什么会这样"。
（2）跨模态对齐仍是瓶颈：
声音线索经常在画面之外，模型需要建立"听到—看到—推断"的链条。
（3）第一人称的真实复杂度被低估：
人与物的交互、遮挡、镜头抖动、声源离镜头远近变化，让声音推理更贴近真实但也更难。
结语：真实世界从不静音
如果说过去的多模态模型更像一个擅长"看图说话"的解说员，那么 EgoSound 希望推动它成为真正的第一人称智能体：
既能看，也能听；不仅能描述，更能定位、解释与推断。
毕竟，真实世界从不静音
论文标题：
EgoSound: Benchmarking Sound Understanding in Egocentric Videos
Paper：
https://www.arxiv.org/abs/2602.14122
Github:
https://github.com/groolegend/EgoSound/
Huggingface:
https://huggingface.co/datasets/grooLegend/EgoSound
Project page：
https://groolegend.github.io/EgoSound/
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 � �
感兴趣的小伙伴欢迎关注 � � 了解详情
� � 点亮星标 � �
科技前沿进展每日见
瑞和网配资提示：文章来自网络，不代表本站观点。