华生&福尔摩斯 bob视频智能分析技术在公安领域

成娟娟

如何将视频监控由被动防御向主动防御过渡，对海量数据进行智能分析，一直是bob研发的努力方向。华生是福尔摩斯的医师、助手，更是伙伴、知己，他熟悉福尔摩斯经常出现的热切表情和锐利目光，对他的洞察力很有信心；而福尔摩斯也十分信任华生，两人是亲密无间的好友，联手侦破无数疑案。bob在视频图像智能分析的研发与工程应用方面，一直有独到开创，让监控人员从繁琐操作、海量信息中解脱出来，并帮助用户更高效、更精确地管理监控目标，与公安用户共启万物智慧新时代。

从“看得见”到“看得清”，再到“看得懂”，这是人们对监控需求的演进。随着视频监控技术的不断发展，我们已经进入“看得懂”阶段。

图：bob视频智能分析系统，可实现特定目标的快速定位、查找和检索

传统视频监控系统是通过人员监控和录像来实现安全防护，通常存在以下几种情况：

1. 当监控点过多时，人员监控无法顾及所有监控场景；
2. 监控人员要24 小时在岗，很难保证，工作强度大；
3. 录像往往是事件发生之后回放取证：损失产生不可挽回；
4. 人工回放录像取证的方式效率低，高体育成果只能靠人海战术才能产生价值。

针对视频设施应用存在的问题，公安部已经明确要求：各级公安机关要围绕视频监控技术的深度应用，服务公安实战，提升打防绩效。对监控建设应用的要求，从以硬件建设为主的第一阶段，向以智能应用为主要特征的第二阶段过渡，解决视频调阅慢、分析难的问题，从海量视频中发现重要而有价值的线索，快速识别定位目标，挖掘其行动轨迹，从而缩短办案时间，降低办案人员的工作强度，提高各部门联合作战效率。

bob视频智能分析系统对实时、历史视频的有效信息，如人、车、物、行为等进行结构化提取，并进行智能分析，实现特定目标的快速定位、查找和检索。系统具有一套标准化的案件视频采集和研判流程，获取已知信息、梳理重点信息、推断残缺信息、扩展关联信息，以“人员、车辆”等信息为要素建立视图信息数据仓库，基于大数据智能搜索引擎实现搜索、比对、轨迹描述、案件串并等功能，服务于公安治安防控、案件侦查、情报研判等警务工作，为预防打击违法犯罪、减轻民警工作量，达到事前智能预测布控、事后快速响应破案，维护社会稳定提供有力的支撑平台。

构建大数据智能分析引擎

在视频图像监控应用中，涉及的数据信息类型很多，包括各类非结构化、结构化、半结构化信息。非结构化数据主要包括视频录像和图片记录，如监控视频录像、报警录像、摘要录像、车辆卡口图片、人脸抓拍图片、报警抓拍图片等；结构化数据则包括报警记录、系统日志记录、运维数据记录、摘要分析结构化描述记录以及各种相关的信息数据库，如人口信息、地理数据信息等；半结构化数据则如人脸建模数据、指纹记录等。

所有这些数据作为一个整体，整合形成视图信息数据库，包括案件库、警情库、线索库、车辆信息、人脸信息、MAC 信息、出行信息、旅馆住宿信息、网吧上网人员、手机信息、话单信息等。视图信息数据库是视频监控系统大数据基础。

智能化业务呈现

车辆分析

系统通过智能分析算法，实现复杂场景中同时检测多个目标，并精确区分行人、自行车、摩托车（电瓶车）、三轮车、机动车。对于机动车，可提取车牌号、车辆类型、车身颜色、品牌、型号、车款信息和车辆特征等结构化信息。并对车辆标志物进行精准标记，如年检标、遮阳板、纸巾盒、挂件、摆件、安全带等。

基于视图结构化提取的车辆和标志物等关键信息，集成车管所车辆信息库，结合卡口系统、车辆识别系统、城市各个停车场系统和视频监控系统，全面掌握车辆信息、车主信息、车辆活动信息等，还原车辆经过的轨迹历史信息，并结合周边摄像机历史视频的调控与融合，深度挖掘出有用信息。

对嫌疑车辆的快速“以图搜图”应用，能够对输入的目标车辆（车牌无损、无牌）进行特征识别，通过车辆特征对卡口抓拍的图片进行检索，大幅提高利用效率。

图：bob视图大数据智能分析引擎架构图

人脸识别

通过深度学习人脸识别技术，对实时视频场景（历史视频或图片）中的人脸进行抓拍、截取人脸图片，并提取对应的人脸特征。基于与已经建立的人脸模板大库，如全国人口库、常住人口库、居住证人口库、及各种系统( 警综、信综、出入境、人口库、追逃库、犯罪人员库等) 人员库的特征比对，相似度超过设定好的阈值时，系统自动发出警告，推送给警务平台。为反恐维稳、网上追逃、身份确认、事前预防、事中记录、事后取证等应用场景提供有力的情报支持。

图：目标人员挖掘比对技术应用

◆ 黑名单实时布控
系统前端采集的人脸图像与黑名单人员实时比对，一旦达到预警限值，其报警信息实时精准推送到报警平台或相应的手机等智能移动警务终端，信息及时有效地直通各警种。基于海量的抓拍人脸大数据，后端人脸服务系统实现目标人员的历史轨迹分析，并根据近期行踪推测出可能出现的位置，并与酒店入住或者其他身份信息登陆系统等进行有效联动。实现对目标人员的可视化的实时预警、事前预防、联动布控。

◆ 目标人员智能挖掘
基于人脸大数据及其他大数据的碰撞分析，如手机热点数据、出行数据，对于在同一时间段内同一场景出现多次的人员（如医院号贩子）、频繁出行敏感地带的人员（如缅甸、越南）、一周内往返海关多次的人员（水客）等未能及时标注的可疑人员，系统主动挖掘研判，并行进重点监控。当其出现频次超过一定数量时，系统主动预警。

行为分析

根据视频区域内监测到的目标人物的运动方向、运动时速、人群数量等，通过智能视频行为分析系统的精准算法，实现精准的行为识别，基于预先定义的各种行为规则，实现异常智能预警，如目标移动检测、群体事件检测等。

◆ 目标移动监测
在运动目标检测及跟踪的基础上，根据目标的运动轨迹及运动方向判断其移动范围是否在用户设定的合理范围内，包括绊线检测、入侵检测、逆行检测、徘徊检测等。

绊线检测即在摄像机监视的场景范围内，根据监控需要设置检测线，并制定穿越检测线的非法方向，当有移动目标按照禁止穿越方向穿越用户设定的检测线时进行告警。

入侵检测即在监控场景视频中设定检测区域，对目标进入、离开或突然出现在该区域的事件进行检测并及时告警；逆行检测即在监控场景中设定检测区域及正常运动方向，对区域内目标不按正常方向运动的事件进行检测；徘徊检测是在视频中设定检测区域，对同一目标在该区域内运动超过一定时间的事件进行检测。

目标移动监测是应用最广的智能视频分析功能之一，适合于政府机关、大使馆、高安全周界、军事禁区、监狱、看守所、重要物资仓库、银行、博物馆等需要对可疑目标重点防范的场所。

◆ 群体事件检测
检测用户所设定区域中人群流量、人员密度，判断是否密度超标（如人群拥挤）或人群突然聚集或发散，并按用户设定阈值报警或联动。

流量检测是在视频中设定一个或多个检测区域（或检测线），对单位时间内按指定方向进入或离开该区域（或穿越检测线）的目标数量进行统计。流量统计可以应用于博物馆、商场、监狱、景区对进出人数进行统计。人员密度检测是在视频中设定检测区域，对该区域内的目标稠密程度或目标数进行估计。并针对不同防区设置不同报警规则、密集度报警阈值和密度超标的持续时间阈值，实现不同应用场景定制化预警。可用于广场、政府机关门口、文化与宗教聚集地、学校等场所，观测人群密度或人数的动态变化，结合地点、时间等信息判断是否存在异常聚集情况，及时启动疏通引导机制。

图侦分析

图侦智能分析主要包括视频摘要、图像增强、浓缩播放、视频检索、3D 测量等。

视频摘要，是以自动或者半自动的方式，通过分析视频的结构和内容存在的时空冗余，从原始视频中提取有意义的片段，将它们以某种特点的方式重新组合成紧凑的、能够充分表现视频语义内容的浓缩视频。实现使视频数据有效的表示和快速的访问，减小视频存储、分类和索引的代价，提高视频的使用效率、可用性和可访问性。

图像增强，对照度较低的夜间视频/ 图片进行增强处理，对因抖动、雾霾等造成模糊的图片进行去抖、去雾处理，使得图像更清晰。

也包括对指纹、虹膜、掌纹、人脸等生物特征的增强处理。

浓缩播放，实现慢速播放关注区域内的视频内容，快速播放非关注区域的视频内容。通过设置关注区域（支持不规则区域）和非关注区域的慢放和快放倍数，可自动控制视频的播放速度、提高视频浏览的效率，实现对重点关注区域目标的检测。

视频检索，可以快速检索人、车类别，检索目标的运动方向，以及目标所在区域，或者可以直接使用目标的一张样本照片进行以图搜图。目标的3D 测量功能，通过参照物标定，来计算出被测量目标的高度和宽度。如测量嫌疑人员的身高，实现迅速特征标注。

bob智能分析技术在公安领域的应用，通过提取监控视频中的海量结构化数据信息，帮助民警识别画面中“人”“车”的特征，从而综合更丰富的情报信息掌握锁定目标身份。基于海量的视图信息数据库，借助大数据智能分析、研判能力，业务可以直接关注目标价值信息，与日常警务应用深度融合，在更多的业务环节中发挥重要价值，真正做到系统管用、民警爱用、功能实用，通过向体育要警力，降低民警的工作量，提高民警的工作效率，实践了真正意义的有效智能防控。