视频理解,而不仅仅是VLM:利用SAM 3构建基于证据的视觉记忆
作者探讨了如何通过将视频转化为结构化、可查询的证据,然后由语言模型解释,从而提高视频问答的准确性和可信度。他们提出了“扎根视觉智能”(Grounded Visual Intelligence)的概念,即通过感知模型观察、测量工具进行测量,最后由LLM解释并附上引用。文章详细介绍了两种感知路径(SAM 3和Grounded DINO + SAM 2)在处理相同视频时产生的相似证据图,并讨论了如何通过静态证据浏览器验证这些证据。最终,作者强调了在视频分析中保留证据的重要性,以便系统能够展示其工作的能力。