视频智能分析技术在博物馆的应用

杨利彪

视频智能分析简介

视频智能分析是人工智能的一个研究方向。其原理是让计算机根据一定的算法对图像矩阵内容进行数字信号处理，并给出预期的结果。

安防系统中，所涵盖的智能分析应用主要有：物品丢失、物品遗留、越线检测、徘徊检测、聚集分析、打架分析、流量统计、快速移动、人脸识别、车牌识别等，这些应用的名称由于行业的不同而有差异。

视频监控系统的大规模部署，直接推动了视频智能分析技术在安防行业的发展。采用视频智能分析技术，将大大提升视频监控信息的管理效率，节省人力投入，降低安保风险。

衡量一个智能分析产品或者算法优劣的两个重要指标，分别是错误通过率和正确拒绝率。在安防系统中，高的错误通过率，将直接导致大量漏报信息，高的正确拒绝率，将导致大量误报信息。

视频智能分析技术的原理

视频分析技术根据所实现的效果不同，大致分为两类算法，一类是差值算法、二类是模式识别算法。

一幅图像是一个数学矩阵，智能分析是分析多个相关数学矩阵之间的变化，并分析变化导致的对象和原因。
基于差值算法的智能分析，是对比连续多幅图像在时间和空间上的差值。差值类型的智能分析算法，消耗的计算资源相对来说比较少，可以采用嵌入式硬件的方式来实现。

在产品维度上，采用差值算法的产品形态，各个厂家有不同的名称，如：简单智能、泛智能等称呼。
基于模式识别类型的智能分析算法，一般是在一幅图像中，查找是否存在某个对象，为了提高分析的准确度，标定一个对象就需要较多的数据信息，将这些信息和目标图像进行比对，需要消耗的计算资源将非常多。因此，一般只赋予某个图像一个或两个智能分析业务，而不是多个。

在产品维度上，采用模式识别算法的产品形态应用主要包括：人脸识别、车型识别、人脸检测、车牌识别、轮廓识别等。
人脸检测和车牌识别，经过bob优化，已经可以嵌入到前端的IPC 中。而人脸识别、车型识别和轮廓识别等算法，目前通过智能通过服务器的方式来计算。

智能分析在博物馆的应用

视频分析技术处理的对象是大量的图像信息，而处理图像信息非常消耗计算资源，尤其是不断发展的高清视频，对智能分析的挑战越来越大。例如，对于分析1080P 的实时高清视频信息，采用中高端性能的计算机，部署中等复杂度的分析算法，各个厂家给出的分析能力往往只能达到16 到32 路不等，个别厂家优化的算法可以将这个数据优化，但是并没有质的提升。

由于计算能力的约束，智能分析产品往往是一个高价值产品。采用以下方式，合理的选择不同功能的智能分析产品和应用场景，可以有效的利用投资。

◆ 尽可能选择前端智能
由于现在IPC 采用的芯片计算能力越来越大，在处理常用的视频业务之外，还有能力承载简单的智能分析业务。采用前端智能分析，将大大降低对后端服务器的需求，从而节省投资，并且对机房的建设的需求，如空间、能耗、空调压力等都有所降低，从而降低长期运维费用。

◆ 合理部署智能分析应用场景
视频智能分析对图像的要求要高很多，图像不清晰、太暗、场景经常变化是不适合做智能分析业务的。比如特殊的展览区域，由于环境灯光昏暗，智能分析算法的有效性将大打折扣；在某些强逆光的出入口场景，如果设备部署不科学，将导致画面明暗差别过大，影响识别效果；在部署密度检测功能的时候，宜选择画面变形较小的场景。在部署物品移除的场景中，宜选择保护价值高，容易搬动的物品；由于博物馆属于半开放式场所，这些场景不适合部署物品遗留算法。

◆ 选择合适的智能分析算法产品
安防行业中涉及到的智能分析业务样式众多，并不是所有的都适合博物馆，一般来讲，和博物馆相关的智能分析业务所涉及的对象一般都是人、车和物。
和物品相关的智能分析算法包括：物品移除、物品遗留，针对某个物品的识别算法由于应用受限，实际使用的意义并不大。
和人相关的智能分析算法主要是人脸检测和人脸识别，在实际使用中，通过前端的人脸检测，结合后端的人脸识别，可以将和人脸相关的应用以最具备性价比的方式实现。而如果全部采用后端服务器识别，其代价将增加一个数量级。
和车辆相关的智能分析算法，主要用于停车场管理方面。在博物馆出入口部署智能分析摄像机，采用车牌识别的方式进行出入管理，可以实现不停车通行，提升车辆的管理效率。关于车型识别的算法，可以通过多种特性，全方位的分析车辆，一般用于公安系统和交通系统，在进行车辆反查和定位的时候有需要，博物馆可根据自身的需要选择使用。bob的车型二次识别服务器，可以识别2000 多款车型信息，结合平台的大数据功能，可以在海量的过车数据中快速定位所需要的车辆信息。

◆ 博物馆的一个特殊应用：人脸识别寻人
在某个大型的博物馆项目中，我们发现保安经常会收到寻找跑开小孩的求助。原来参观博物馆的观众大部分是家长带着小孩在参观，而小孩经常就跑开自己去参观别的展厅。而这种求助每天有20 到30 多次，消耗了保安大量视频检索时间。
为了提升寻人业务效率，bob提出了在关键通道部署人脸识别摄像机，并通过人脸模糊信息进行检索的方案。这种方案的实现，得益于bob人脸识别算法的准确率，可以在非正脸抓拍等条件下提供极高的识别率。这些非正脸图像包含但不限于下表的情况。

这些人脸图像经过抓拍识别后，可以识别出丰富的信息，如：性别、年龄、是否戴眼睛、等，可以通过这些条件来进行检索，如下图。

在家长给定小孩的照片的情况下，可以将照片导入系统，进行自动搜索

bob在智能分析方面的最新进展

安防行业内使用的智能分析产品，在软件上往往是基于linux 系统的，算法上往往是基于开源的OpenCV 平台，硬件上采用传统通用CPU 的计算能力去实现，分析的数据往往是通过Onvif 进行的解码。

为了进一步提升智能分析算法的准确度和效率，bob在以上技术的基础上，首次在行业内部引入了深度学习算法，并且采用GPU 集群的硬件方式，原始数据基于iSCSI 方式从前端直接获取，大大提升了从硬件架构到软件算法全方位的识别效率。

首先在前端的IPC 产品上，通用IPC 产品全部内置泛智能分析算法，通过大规模生产的方式，从而降低硬件层面的成本。

平台软件架构如下：人脸比对系统具有视频人脸检测/ 捕获、比对/ 识别、查询/ 分析等功能，系统通过在前端部署安装摄像机设卡采集高清现场图像，对经过卡口的人员进行人脸抓拍，抓拍到的人脸图片通过计算机网络传输到监控中心的数据库进行数据存储，并将筛选后的人脸图像经过人脸检测器处理后上传监控中心。

在提升识别效率方面，后端服务器通过集成专用的GPU，可以将识别速度提升10 倍以上。GPU 是专门用于图像处理的芯片，在硬件上实现了矩阵处理算法，因此效率很高。

在对于历史视频的分析层面，系统结合大吞吐性能的IPSAN 来实现。对于传统视频监控系统来说，10% 的性能是用来查看历史视频的，90% 的性能是用来存储视频的，因此系统在资源优化配置方面，给与历史视频回放配置的资源非常少。当这样的配置应用于历史视频分析就会出现瓶颈，因为这种情况下，相当于对所有的视频资源进行回放+ 识别的过程，对资源的消耗突然增加系统响应变慢。而bob采用专用IPSAN 的方式，可以将对视频计算资源的传统配比由1:9 配置为1:1，从而在视频分析的时候，既不影响实时录像存储业务，也不影响历史视频分析业务。

总结

bob视频智能分析产品，具有强大的计算能力和领先的算法，可以满足博物馆最高等级的安防部署。在实际项目部署中，针对不同的场景和不同的识别对象，选择合适的前端智能产品和后端服务器分析产品，可以实现投资的最优化。