Exploring Multimodal LMMs for Online Episodic Memory Question Answering on the EdgeAuthors:Giuseppe Lando, Rosario Forte, Antonino FurnariDeep-Dive Summary:探索用于边缘端在线情景记忆问答的多模态大语言模型作者Giuseppe Lando, Rosario Forte, Antonino Furnari意大利卡塔尼亚大学数学与计算机科学系摘要本文研究了利用多模态大语言模型MLLMs进行实时在线情景记忆问答的可行性。虽然云端卸载很常见但对于可穿戴助手而言它会引发隐私和延迟问题因此我们研究了边缘端的实现。我们将流式约束集成到问答流水线中该流水线由两个异步线程组成描述符线程Descriptor Thread负责连续将视频转换为轻量级文本记忆以及问答线程QA Thread负责根据文本记忆进行推理以回答查询。在 QAEgo4D-Closed 基准测试上的实验分析了 MLLMs 在严格资源限制下的性能结果显示其效果可与云端方案相媲美。具体而言在消费级 8GB GPU 上运行的端到端配置实现了 51.76% 的准确率首个 Token 响应时间TTFT为 0.41s。扩展到本地企业级服务器时准确率提升至 54.40%TTFT 为 0.88s。相比之下云端方案的准确率为 56.00%。这些具有竞争力的结果突显了基于边缘的方案在隐私保护情景记忆检索方面的潜力。1 引言随着 Ego4D 等长篇第一视角视频数据集的出现情景记忆检索问题受到了关注。其中一个变体被表述为第一视角视频问答VideoQA问题。特别是自然语言查询NLQ任务要求模型根据自然语言问题从长视频中检索相关片段这需要精细的时间定位和跨长时间跨度的多模态推理。虽然最初定义在离线设置中查询时视频完整可用但此类方案的存储和计算成本随视频长度线性增长不适合现实的流式传输场景。同时多模态大语言模型MLLMs在视频理解方面展现了令人印象深刻的零样本能力。然而这些模型通常在离线设置下运行推理延迟高。为了解决这些限制研究转向了在线视频问答Online Video Question Answering, Online VQA即系统以流式方式处理视频且预先不知道问题。这对于可穿戴助手和第一视角生活记录系统尤为重要因为延迟和资源约束起着核心作用。最近的工作研究了在线情景记忆视频问答OEM-VQA证明了片段级文本记忆足以在 QAEgo4D-Closed 基准上取得竞争性准确率且每分钟视频仅需几 KB 存储。图 1提出的基于边缘的 OEM-VQA 系统高级概述。用户佩戴智能眼镜将视频连续流式传输到本地单元GPU。视频由描述符线程连续处理为文本记忆M MM允许用户提出问题这些问题被送入 QA 线程该线程利用文本记忆进行回答而不存储原始视频帧。许多当前的部署隐含地假设将计算卸载到云端这涉及上传原始帧牺牲了隐私。在医疗或家庭监控等场景中这往往是不可接受的。因此本文研究了在严格隐私保护制度下原始视频不离开本地基础设施仅保留轻量级文本记忆时在现实流式约束下可实现的性能。2 相关工作2.1 情景记忆问答情景记忆EM检索旨在回答有关第一视角视频流中过去事件的问题例如“我把钥匙放哪了”。除了最初的离线基准最近的方法开始针对在线机制系统必须处理连续流并在不存储完整视频的情况下回答查询。2.2 流式多模态大语言模型将标准 MLLM 扩展到流式视频具有挑战性主要方法包括KV 缓存管理通过控制 KV 缓存占用空间如滚动缓存或磁盘卸载来支持流式传输。视觉 Token 压缩减少视觉输入的冗余如基于相似度丢弃 Token。文本记忆将视觉流转换为基于语言的记忆。这种范式避免了视觉嵌入的长期存储通过生成片段级的文本日志仅依靠文本回答查询。本文采用了这种轻量级范式。3 方法我们在严格的流式传输机制下解决 OEM-VQA 问题。系统必须遵守两个关键的时间约束记忆生成约束系统编码每个视频片段的时间必须少于片段的时长实时吞吐量。响应延迟约束收到查询后必须以极低的延迟生成答案。系统通过描述符线程在s ss秒内将视频片段转换为文本记忆随后通过 QA 线程在t r t_{r}tr秒延迟内回答问题。流水线概述如图 2 所示。图 2流式 OEM-VQA 框架概述。架构分为两个异步线程描述符线程处理s ss秒的连续流视频片段( c k ) (c_{k})(ck)生成文本描述( d k ) (d_{k})(dk)并填充记忆M MMQA 线程在用户查询时激活利用M MM和推理模型在T a n s T_{\mathrm{ans}}Tans时间内得出答案。3.1 描述符线程视频流表示为帧序列v ( f 1 , f 2 , … , f N ) ( 1 ) v (f_{1},f_{2},\dots ,f_{N}) \quad (1)v(f1,f2,…,fN)(1)流被处理为不重叠的片段序列C ( c 1 , c 2 , … , c K ) ( 2 ) C (c_{1},c_{2},\dots ,c_{K}) \quad (2)C(c1,c2,…,cK)(2)每个片段c k c_{k}ck时长固定为s ss秒。描述符必须在片段时长内完成处理T d e s ( c k ) s ( 3 ) T_{\mathrm{des}}(c_{k}) s \quad (3)Tdes(ck)s(3)生成的文本记忆M MM为描述序列M ( d 1 , d 2 , … , d K ) ( 4 ) M (d_{1},d_{2},\dots ,d_{K}) \quad (4)M(d1,d2,…,dK)(4)生成描述后原始帧会被丢弃确保了轻量化和隐私性。3.2 QA 线程QA 线程仅依靠M MM回答问题q qq且需满足响应预算t r t_{r}trT a n s ( M , q ) t r ( 5 ) T_{\mathrm{ans}}(M,q) t_{r} \quad (5)Tans(M,q)tr(5)在 QAEgo4D-Closed 设置中答案a aa从四个候选项中选择a ∈ { A , B , C , D } ( 6 ) a \in \{A,B,C,D\} \quad (6)a∈{A,B,C,D}(6)预测答案由推理模型R RR产生a R ( M , q ) ( 7 ) a R(M,q) \quad (7)aR(M,q)(7)3.3 提示词设计有效的提示词Prompt设计至关重要图 3。描述符提示词指示模型以第一人称叙述场景并包含 Ego4D NLQ 指南中的模板问题如物体位置、最近动作作为软监督。推理提示词连接累积的记忆M MM、问题q qq和候选项要求模型严格根据历史记录选择正确选项。图 3采用的提示策略概述。描述符提示包含1) 任务描述2) 详细说明3) 问题模板4) 上下文学习示例。查询时使用推理提示。4 实验设置实验在 QAEgo4D-Closed 基准上进行500 道多选题。4.1 部署场景消费级边缘设置配备单块 GPUNVIDIA RTX 3070, 8GB。企业级设置功能更强的本地服务器NVIDIA L40S, 48GB。4.2 流式约束设置s 15 s s 15ss15s片段时长和t r 1 s t_{r} 1str1s响应时间上限。4.3 模型与设置采用 Qwen3-VL 系列模型使用 FlashAttention-2 以提高吞吐量。4.4 实时约束下的配置选择我们在消费级 GPU 上通过网格搜索FPS、分辨率、Batch Size、量化模式寻找满足15 s 15s15s预算的配置。如表 1 所示最终选择非量化模式下的 FPS2、原生分辨率和 Batch Size1。表 1消费级 GPU (RTX 3070, 8GB) 的配置选择。描述符为 Qwen3-VL-2B。红色标注为超过 15s 预算的配置。QuantFPSResBSTime/Clip (s) ↓Tok/s ↑Peak Mem (GB) ↓Full Prec.1384×38418.78±2.4823.75±1.934.23±0.011448×44827.55±1.6541.58±6.764.64±0.012Native19.50±1.7823.12±1.484.47±0.02…………………4 bit1768×1024122.19±9.9614.34±0.732.58±0.03在企业级设置中表 2由于内存充足我们选择了 Qwen3-VL-8B 辅以 Batch Size 2。表 2企业级设置 (L40S, 48GB) 的配置选择。SizeBSTime/Chip (s)↓Tok/s↑Peak Mem (GB)↓2B25.89±1.0450.25±11.288.51±0.124B46.19±0.7554.40±5.5919.96±0.028B29.31±1.3931.42±0.8623.03±0.014.5 首个 Token 响应时间 (TTFT)如表 3 所示在 RTX 3070 上仅 2B 模型可行。在 L40S 上虽然 8B 模型 TTFT 较高0.88s但仍符合t r 1 s t_r 1str1s的响应要求。表 3不同部署设置下的 TTFT。GPUModelTTFT (s)↓RTX 3070 (8GB)Qwen3-VL-2B0.41±0.27L40S (48GB)Qwen3-VL-8B0.88±0.574.6 主要结果如表 4 所示2B2B 配置是唯一能在 8GB GPU 上端到端运行且满足实时约束的选择准确率 51.76%。8B8B 配置在企业级硬件上达到了 54.40% 的最高准确率。表 4QAEgo4D-Closed 测试集主要结果。DescriptorReasonerOn EdgeAccuracy (%)↑2B2BYes51.76 ± 0.918B8BNo54.40 ± 0.885 结论本文解决了直接在边缘硬件上部署隐私保护、实时的在线情景记忆视频问答OEM-VQA的挑战。实验证实轻量级多模态大语言模型可以在严格资源约束下有效完成此任务。在消费级 GPU 上的 51.76% 准确率和 0.41s 延迟表明实时 OEM-VQA 无需依赖云端即可实现。这为未来边缘侧自主可穿戴助手的研发提供了关键洞察。Original Abstract:We investigate the feasibility of using Multimodal Large Language Models (MLLMs) for real-time online episodic memory question answering. While cloud offloading is common, it raises privacy and latency concerns for wearable assistants, hence we investigate implementation on the edge. We integrated streaming constraints into our question answering pipeline, which is structured into two asynchronous threads: a Descriptor Thread that continuously converts video into a lightweight textual memory, and a Question Answering (QA) Thread that reasons over the textual memory to answer queries. Experiments on the QAEgo4D-Closed benchmark analyze the performance of Multimodal Large Language Models (MLLMs) within strict resource boundaries, showing promising results also when compared to clound-based solutions. Specifically, an end-to-end configuration running on a consumer-grade 8GB GPU achieves 51.76% accuracy with a Time-To-First-Token (TTFT) of 0.41s. Scaling to a local enterprise-grade server yields 54.40% accuracy with a TTFT of 0.88s. In comparison, a cloud-based solution obtains an accuracy of 56.00%. These competitive results highlight the potential of edge-based solutions for privacy-preserving episodic memory retrieval.PDF Link:2602.22455v1部分平台可能图片显示异常请以我的博客内容为准