11月18日,格灵深瞳的Glint Lab和LLaVA-OneVision开源团队的LMMs-Lab凑到一块,发布了LLaVA-OneVision-2.5。这东西有意思的地方不在于参数多大,而在于它把实时看视频流和事后翻长视频这两件事,塞进了同一个模型里,2B和4B版本还已经在RK3588加RK1828这种边缘盒子上跑通了。

首先,它直接打破了过去现场部署要两套模型的惯性。之前做工业或者城市管理项目,实时预警要一套轻量模型,事后回溯分析又得换另一套长视频模型,中间还要做数据对齐,运维成本高,现场工程师调起来也麻烦。现在同一个模型,既能盯着实时画面抓异常,也能事后从几小时的录像里定位目标事件,不用来回切换。这种变化不是小优化,是直接降低了现场部署的门槛。很多之前嫌多模态大模型部署太麻烦的中小项目,现在不用再为不同场景单独定制算法,直接一套东西就能覆盖大部分需求。

其次,全帧率流式理解这个点,对物理AI场景的价值比很多人想的要实在。过去大家为了让模型能在边缘设备上跑,普遍做法是隔几秒抽一帧,很多转瞬即逝的动作刚好落在两帧间隙里,真到工业巡检、轨交运维这类场景里广州域名网,漏了关键动作就是实打实的业务风险。这次它把看和算分开,只对画面变化的区域投入计算,静止重复的部分不再反复处理,计算量不会跟着帧率暴涨,还能保证每一帧都不丢信息。我自己做产业调研的时候见过不少项目,就是因为抽帧漏掉关键细节,最后算法上线实际能用的场景大打折扣,这个问题现在算是找到了一个可行的解法。

第三,这次在RK3588加RK1828边缘盒子上的实测,是真正把多模态能力往普惠方向推了一步。2B、4B的参数量,本身就是面向边缘设备设计的,测试用1080p 60fps约720帧的视频跑下来,首个观察窗口结束后,2B和4B版本平均在每个1秒窗口结束后0.70秒、0.82秒给出判断,平均1秒内就能完成,还能一边生成文字结果一边继续处理后续画面。这个表现意味着很多不需要高端算力集群的业务现场,不用花大价钱升级硬件,现有存量的边缘盒子就能直接把多模态视频理解能力用起来。再加上所有推理都在本地完成,不用把大量视频传回云端,既省了带宽成本,也满足了很多行业数据不出场的合规要求。

可以说这次合作,给行业指了一条路,端侧多模态不是非要堆大参数、堆昂贵算力,把核心能力做轻做稳,能实实在在解决现场问题,它的商业化空间才会真正打开。