文／自贡市张亮陈小松 摘要：随着视频图像智能化分析和视频结构化描述技术的发展，视频大数据系统显著地提升了视频实战应用的效率和成 效。目前，全国各地机关正在如火如荼建设基于分布式数据库Ｈａｄｏｏｐ的视频大数据系统，本文结合大数据 应用实践。围绕视频大数据运维管理系统的设计进行探讨。 ￣７－－．－：视频图像大数据Ｈａｄｏｏｐ运维管理系统 １引言 随着视频监控系统的不断建设．监控数据量呈现指数 发人员还是运维管理人员．想要熟练的使用大数据方面的 类数据库产品，都存在一定的技术门槛。这就需要对相关 人员进行专门的培训，甚至需要多次的业务培训Ｉ。这些人 员对于关系型数据库Ｏｒａｃｌｅ、Ｍｙｓｑｌ等可能非常熟悉，可 以熟练的通过关系型数据库的各种客户端或者命令，对数 据库进行各种操作，查看数据库中的表结构及表中的各种 数据，执行各种ｓｑｌ语句等。 级的爆炸式增加，特别是随着基于深度学习的视频智能分 析技术的快速发展，有关车辆、人脸／人像等的结构化描述 信息呈现指数级的爆炸式增加。同时，视频大数据具有有 别于互联网大数据的特点，如视频大数据的海量循环覆写、 模糊查询、百级甚至千亿级记录查询的近实Ｂ－，ｔ１］Ｊ－，＂延要求等。 关系型数据库已经远远不能满足监控系统大容量、高效快 速的业务需求，近年来发展起来的大数据技术的出现为解 决这个问题提供了可能，成为替代现有产品的不二选择。 目前，大数据领域相关产品大多都是开源的，也有越 因此，通过对视频安防监控领域需要的大数据技术和 功能的研究．建设统一大数据管理平台，有效整合各类信 息资源，通过可视化、图形化方式对大数据平台资源进行 管理，填补大数据方面数据管理平台缺失的空白，是亟需 来越多优秀的大数据相关产品不断的开源出来。在使用开 源的大数据产品时，对于产品的使用管理和维护优化也可 能存在一系列问题。在大数据平台使用过程中，对于数据 的管理，要么是专业人员以命令行的方式进行管理，要么 是管理功能分散存在各个部件之中不能统一，并没有一个 专门的对大数据平台上的数据进行管理的软件或平台。大 解决的问题。针对视频监控的视频大数据运维管理平台对 一线运维管理人员来说是十分必要的。 ２视频大数据平台技术路线分析 目前行业内，使用开源的Ｈａｄｏｏｐ平台主要为 ＨＤＰ、ＣＤＨ两种，ＨＤＰ是由Ｈｏｒｔｏｎｗｏｒｋｓ公司发行的 Ｈａｄｏｏｐ版本，ＣＤＨ是由Ｃｌｏｕｄｅｒａ公司发行的Ｈａｄｏｏｐ 版本。ＣＤＨ版本基于原生Ａｐａｃｈｅ Ｈａｄｏｏｐ版本进行改 进，添加了补丁和自行开发的组件，更加稳定易用。ＣＤＨ 通过ＣＭ（Ｃｌｏｕｄｅｒａ Ｍａｎａｇｅｒ）进行可视化安装，采用 数据平台产品的使用人员想要了解或者管理平台之上存储 的数据，只能求助于专业人员，这无疑对机关公共安 全视频监控系统的运维造成诸多不便和隐患。 同时．对于没有接触过大数据技术的人员，不论是研 ＣＨＩＮＡ ＳＥＣＵＲＩＴＹ ＰＲＯＴＥＣＴＩｏＮ ＣＥＲＴＩＦＩＣＡＴＩＯＮ ２０１８年第１期 ２１ ｐａｒｃｅｌ包方式安装，便于后期升级维护。由于ＨＢａｓｅ不 支持ＳＱＬ方式的查询，但是使用ＨＢａｓｅ提供的ＡＰＩ，对 开发人员的要求比较高，为了能让ＨＢａｓｅ支持ＳＱＬ访问， ·搜索集群为ＥＳ集群。 ● 数据汇聚为Ｋａｆｋａ和Ｓｐａｒｋｓｌｒｅａｍｉｎｇ协同工作， 实现ＥＳ和ＨＢａｓｅ的数据汇聚，部署在ＣＤＨ５．５集群内。 · ＥＳＳＱＬ为专门开发的ＥＳ集群的ＳＱＬ接口．部 署在ＥＳ集群。 ● 数据抽取ＥＴＬ（“Ｅｘｔｒａｃｔ”、“Ｔｒａｎｓｆ０ｒｍ”、 可以使用ＨＩＶＥ和ＨＢａｓｅ集群的方式，达到使用ＪＤＢＣ访 问ＨＢａｓｅ的目的。ＨＢａｓｅ本身不支持二级索引，但使用 ＨＢａｓｅ的Ｃｏｐｒｏｃｅｓｓｏｒ技术，选择Ｏｂｓｅｒｖｅｒ框架，类似 于Ｏｒａｃｌｅ的触发器，实现了二级索引。 的视频大数据业务应用对于模糊查询的需求比较 多，这并不是Ｈａｄｏｏｐ平台的强项，应用ＥｌａｓｔｉｃＳｅａｒｃｈ （ＥＳ）作为全文搜索的平台。解决模糊查询的问题。ＥＳ 是一个实时的分布式搜索引擎。ＥＳ使用Ｌｕｃｅｎｅ作为内 部引擎，但是在使用它做全文搜索时，只需要使用统一开 “Ｌｏａｄ”的缩写）云采集为Ｆｌｕｍｅ和Ｋｅｔｔｌｅ协同工作， 部署在ＣＤＨ５．５集群内。 ● ＭＲ（ＭａｐＲｅｄｕｃｅ）和Ｓｐａｒｋ者Ｂ音Ｂ署在ＣＤＨ５．５ 集群内。 本文提出的视频大数据运维管理平台是在上述大数据 平台架构基础进行设计的。 发好的ＡＰＩ即可，而不需要了解其背后复杂的Ｌｕｃｅｎｅ的 运行原理。为了让普通的开发人员都能进行开发，在ＥＳ 之上封装了支持ＳＱＬ语句的ＥＳＳＱＬ，开发人员只需要通 过ＳＱＬ语句就能访问ＥＳ集群。 ３视频大数据运维管理平台主要功能设计 视频大数据运维管理平台主要解决以下ｆｏ３题： · 可视化的集群状态监控，能明显减轻运维人员运 维压力。 ● 能实时了解到集群的运行情况，对异常问题及时 大数据平台架构如下图所示： 做出有效的处理。 ● 降低运维人员维护集群的技术要求．对集群的增、 亩 删、改、查都做到了可视化操作。 · 大集群的维护无需投入更多的人力，通过远程操 作的方式就可以维护集群。 视频大数据运维管理平台的主要功能如下图所示： 截据钆＿豫 三 、 ．．～ 盯Ｌ云霍蜒 ．．．．．．．．．．．．．．．．．．．．．．＿／ 图１大数据平台架构 图２视频大数据运维管理平台的主要功能 其中： 视频大数据运维管理平台主要由反应集群概况的仪表 盘、Ｈａｄｏｏｐ集群管理、ＥＳ集群管理、应用管理、系统 ● 分析集群为ＣＤＨ５．５集群。 ２２ ２０１８年第１期 中全防范认证 一圈＿管理等功能模块组成。 ～Ｉｌ ｌｉ：｛ｌ｝ｊ ．．固 ３．１集群概况仪表盘 ＝ 一＝～兰 ｝ 一 １）ＺｏｏＫｅｅｐｅｒ．已用ＣＰＵ、运行状况等相关图表信息。 ２）ＹＡＲＮ：正在运行的应用程序（累计）、失败的应 用程序（累计）、已停止的应用程序（累计）等相关图表信息。 ３）Ｈｂａｓｅ：各个Ｒｅｇｉｏｎ Ｓｅｒｖｅｒｓ总区域、读写请求、 运行状况等等相关图表信息。 ４）ＨＤＦＳ：ＨＤＦＳ容量、已用的ｃｐｕ内核、各个 ＤａｔａＮｏｄｅｓ中总写入的字节等相关图表信息。 ５）Ｈｉｖｅ：已用ＣＰＵ内核、运行状况相关图表信息。 ６）Ｓｐａｒｋ：主机ＣＰＵ、驻留内存等图表信息。 图３运维管理系统总体功能 兰 一一 ■ ３．２．２ Ｈａｄｏｏｐ集群维护 Ｈａｄｏｏｐ集群启动、停止和增加各个部件节点，对 总体功能上： Ｈａｄｏｏｐ的各个部件下的各个节点可以启动、停止和增加 节点。具体业务逻辑如下： １）集群节点增加，各个基本信息验证通过后需要下 载必要的安装包。以便安装部件节点使用。 ２）部件节点增加时，基本信息验证通过后需要安装 对应的包和设置基本配置信息。 １）ＺｏｏＫｅｅｐｅｒ：通过图标动态显示ＺｏｏＫｅｅｐｅｒ集群 已用ｃｐｕ内核信息。 ２）ＨＤＦＳ：显示ＨＤＦＳ的数据总量和配置的容量。 ３）ＹＡＲＮ：通过动态图显示正在运行的应用程序。 ４）Ｏｏｚｉｅ：通过动态图显示每个时间运行的作业。 ５）Ｓｑｏｏｐ：通过动态图显示每个时间触发的导入 操作。 ６）ＥｌａｓｔｉｃＳｅａｒｃｈ：当前ＥＳ总空间、已用空间、乘』 余空ｆ－ａｊ、总表数、总记录数。 ３．２．３平台导入数据量监控 导入数据量通过图表的方式呈现： 通过动态图表分别显示导入到ＥＳ和Ｈｂａｓｅ每个时刻 的数据量，不仅可以显示当前导入数据情况而且可以显示 图４ Ｈａｄｏｏｐ集群管理页面 ３．２ Ｈａｄｏｏｐ集群管理 ３．２．１ Ｈａｄｏｏｐ集群状态监控 能够在页面上显示当前平台安装的部件，同时显示整 个集群的ｃｐｕ、集群磁盘ｉｏ、集群网络ｉｏ和ＨＤＦＳ ｉｏ。 ＣＨＩＮＡ ＳＥＣＵＲＩＴＹ ＰＲｏＴＥＣＴｌｏＮ ＣＥＲＴＩＦＩＣＡＴＩＯＮ ２０１８年第１期 ２３ 过去１小时、３小时、６／Ｊ＼Ｂ￣、１天以来的导入数据情况， 同时显示通过平台导入数据的总量。 ３。２．４任务管理 对平台中运行的ＭＲ任务和Ｓｐａｒｋ任务实时监控，显 示当前平台已经运行和正在运行了ＭＲ和Ｓｐａｒｋ任务。 ３．２．５ Ｈａｄｏｏｐ配置文件 对已安装的各个部件配置进行修改 各个部件根据各 自情况只提供关键信息进行修改，通过键一值对的方式显 示，当配置信息过多需分页显示。 口口口■一‘● “ № Ｈ ｃＰ ■ ＊■■ ㈣ 一 ●： ’ 一 一， ■一 图５ ＥＳ集群管理页面 ３。３ ＥＳ集群管理 ３．３．１ ＥＳ集群维护 在运维系统可以控制ＥＳ集群的停止、启动、删除和 增加节点。 ２４ ２０１８年第１期 １）停止、启动和删除直接通过ｊａｖａ执行远程ｓｈｅｌｌ 脚本来控制，删除时需要在ＥＳ节点表删除该节点的地址 信息。 ２）增加新的节点时需要做ＥＳ基本配置信息的验证， 验证通过该节点才能够加入到ＥＳ集群中，同时对加入集 群成功的节点需在ＥＳ节点表里增加该节点的相关信息。 ３．３．２ ＥＳ集群监控 对ＥＳ集群里每个节点的运行状况都可以监控，具体 功能如下： １）通过图表的方式显示ＣＰＵ、内存、硬盘、ｊｖｍ 信息。 ２）当集群里机器ＣＰＵ、ｊｖｍ使用持续超过警戒值需 要通过邮件的方式通知给相关人员，每一项的阀值在数据 库里进行设置。 符 重垃 童 ｌ 鬻 臻嚣ｉｉ琴鬻 ／ ／ 图６ ＥＳ集群监控页面 ３．３。３ ＥＳ集群配置 在页面输入框显示每个配置信息对应的数据信息并支 持修改，修改后的信息保存成功后直接同步到集群上，修 改的配置信息需要重启ＥＳ部件才能生效。 ３。４应用管理 ３．４．１应用监控 监控在视频大数据集群中实现的所有应用模块的运行 状态。 ３．４．２性能测试 通过选择页面查询条件，测试当前搭建的ＥＳ大数据 平台的搜索性能。传统测试ＥＳ搜索性是直接通过调用ＥＳ 鳓ＩＴ 哪 ■● ｌ■雌 ．Ｉ§＊＿ 圭ｎ 蚺●—■●阻—■■ Ｉ ’ ｌ Ｅ蜘覃ｌ＿ ¨ 哪 ● ２辨１９ ０ｔ”Ｉ ｜＿、ｌｌ。 ·ｌ¨ｆＪ ｊ ０ 图７应用监控页面 ２）对于系统中出现的ｅｒｒｏｒ日志，系统会定时将报错 信息通过邮件的方式发送给相关人员。 ３．５．４邮件管理 可以对系统的邮件新增、修改、删除操作．这里配置 的邮件信息以供系统中发送邮件使用。 图８性能测试页面 提供的接口测试，这种方式对于不熟悉ＥＳ接口的开发人 员编写测试代码不方便，增加编写测试用例难度。 ４结语 本系统投入使用近后将大大提高系统的运维效率。通过 运维管理平台的监测，实现了更加优化的大数据计算性能， 动态调整计算资源，确保重点类型的数据具有足够的处理能 力。保障了视频大数据系统的正常稳定，有效地支撑了构建 在该基础上的视频图像信息实战应用系统的高效运行。 ３．５系统管理 ３．５．１用户管理 管理大数据运维平台和数据平台系统中的用户．新建 用户时可以给用户赋角色．此时用户就会拥有该角色下的 操作权限。还可以对用户的密码、角色进行修改。 ３。５．２角色管理 权限管理显示当前系统中各种用户角色，角色跟系统 操作权限进行绑定，某个角色赋予运维平台系统权１３ＥＢ，－ｊ－， 参考文献 ［１】杨巨龙．大数据技术全解基础、设计、开发 与实践［Ｍ］．北京：电子工业出版社．２Ｏ１５． ［２】朱洁，罗华霖．大数据架构详解：从数据 拥有该角色的用户就可以拥有对应系统权限。角色管理只 控制系统级别，根据需要也可以控制到系统下级菜单，实 现更精细的权限控制。 ３．５。３日志管理 管理人员可以查看大数据平台已安装的部件的运行日 志信息，具体包含以下功能： １）在系统中选择部件名称就可以看到对应部件下的 日志信息。 获取到深度学习【Ｍ】．北京：电子工业出版 社．２Ｏ１６． ［３］王家林．大数据Ｓｐａｒｋ企业级实战［Ｍ］．北京： 电子工业出版社．２０１５． ＣＨｌＮＡ ＳＥＣＵＲＩＴＹ ＰＲ０ＴＥＣＴｌ０Ｎ ＣＥＲＴＩＦＩＣＡＴＩｏＮ ２０１８年第１期 ２５
