燃气用户端气量监控系统

使用的关系型数据库为基础，通过数据抽取、数据清洗和数据转换（ETL）的过程，将实时 业务数据转换进以hadoop生态圈为代表的分布式系统中。系统基于Spark自建分类算法和

预测算法完成用户端的气量监控，并将异常结果返还至客户端。对成都城市燃气公司、华 油天然气股份有限公司工商用户的监控结果表明，该系统具有高效、准确的优点。关键词：燃气用户气量监控分布式系统算法The Gas User Monitoring SystemZhu Lian College of Electronics and Information Engineering, Sichuan University Zhao Yong, Zhang Haijun, Jiang Zhong Yu Chengdu Qianjia Technology Co.,Ltd

Wu Jun Sichuan Huayou Group Co., LtdAbstract: This paper presents a system architecture and corresponding algorithm for monitoring gas

consumption by gas users. Based on the relational database commonly used by gas companies, the system converts real-time business data into a distributed system represented by Hadoop ecosphere through data extraction, data cleaning and data conversion (ETL). The system is

based on Spark self-built classification algorithm and prediction algorithm to complete the

user-side gas monitoring, and return the abnormal results to the client. The monitoring results

of industrial and commercial users in Chengdu City Gas Company and CNGC show that the

system has the advantages of high efficiency and accuracy.Keywords： Gas Customer Gas Monitoring Distributed System Algorithms1引言不断变化，传统靠巡检、稽查的方法很难及时高效地

进行排查。近年来，得益于燃气信息化建设的推进， 燃气的广泛使用给社会生产，人民生活带来了极

燃气公司积累了海量的历史数据，同时，在技术上，

大的便利，与此同时，各类偷盗气现象层出不穷，不 hadoop生态圈提供了一种基于内存的并行计算框架。仅给燃气公司造成了巨大的经济损失，也给社会安全

数据和技术的结合使得大范围实时监控燃气用户用气 埋下了隐患。由于偷盗气行为的隐蔽性和偷盗方式的

行为有了可能。城市燃气2019/10总第536期I 33经萱与管理 Wlanagemein and Adminisinmon本文探讨了用户端燃气气量监控系统的大数据框

构。这种结构由一张事实表和若干张维度表组成。其 中，用气量表作为唯一的事实表，以小时用气总量作

架和监控数学模型，结合系统在成都城市燃气公司、 四川华油集团有限责任公司运行的实际例子，进一步 在模型数据要求、历史数据对比、预警异常处理等方 面进行了阐述。为基本粒度展开，即每一行数据包含24个“小时用气

量”和1个“日用气量”。这种方式免去了实时数据和统 计数据之间的反复换算，有利于数据的上卷和下钻。

维度表由表属性信息、表所属单位信息等附加内容

2 系统框架、数据结构和监控模型概述系统架构基于hadoop生态圈来构建。在HDFS分 布式文件存储基础之上，主要实现了HIVE和SPARK 之间的相互整合。其中，HIVE提供批量数据处理业

组成。维度表和事实表通过表ID相关联。在这种方式

下，维度表和事实表只包含一层连接，大大减小了表 查询时的笛卡儿积，加快了数据获取速度。系统的数据处理流程是通过ETL工具，从燃气公

司的关系型数据库中获取源数据，以维度建模的方 式装载到HIVE数据仓库中，使用SPARK构建计算引

务，实现数据仓库功能。Spark及其弹性分布式数据 集(Resilient Distributed Dataset, RDD )⑴提供了一个 基于内存的、并行的计算框架。通过Kalfka和Pig建立

擎，完成数据分析运算，并将计算结果返回给燃气公 司的关系型数据库，供前端展示使用，见图1。通过

ETL工具，实现了燃气公司数据源到气量监控系统之 间的数据抽取、装载和转换过程。燃气公司现有的数据库结构通常是基于关系型

hadoop生态圈和维度建模的方式，系统具有富冗余、 高纠错、高吞吐、快速响应的优点。监控模型主要是监控燃气负荷的变化。燃气负荷 分解由很多种方式宀叫这里将用户端燃气负荷的变

数据库来进行范式建模，比如成都城市燃气公司基

于Oracle数据库的日常业务处理系统。这种方式能大 大地减小数据冗余，适合具体业务的联机事务处理

化定义为：AS=ASmac+ASmic+ASab其中，dS代表用户端燃气负荷总的变化。ASmac

(OLTP) 0。但是，这种方式不适合数据分析类事务，

联机分析处理(OLAP)包含了很多数据切片、数据 关联查询的工作，范式建模的特点使得数据获取速度 较慢。因此，系统采用维度建模的方式来组织数据结

代表宏观因素引起的变化，这个宏观因素泛指温度、 节假日、特殊事件等所有能够引起若干个用户用气

量变化的因素。ASmic代表用户用气量的正常波动。

并行计算服务鋸敷据仓库小波网络］ft模型參数1表信息维度气量事实表表类型维度 用户信息维度d:ID表号日期总量第仆负荷•…第24h负荷1234471471472472030112010■ • • 20• • • 20…200…2000302130150301150010003021700130时何信息维度图1系统框架和模型结构34 I城市燃气2019/10总第536期

朱 炼等•燃气用户端气量监控系统dSab代表用户用气量异常。模型通过不同的功能模

块来判断引起燃气负荷变化的主要原因。主要的功能 模块有协同过滤模块、紧致型小波神经网络、聚类分 析和泊松分布。协同过滤模块用来查找用气特征极其

测，将预测值与接下来的实际值进行比较，如果两者 差异过大，则通过聚类分析进行自身用气特征比较。

如果仍存在异常则和关联企业进行比较。如果仍存在

异常则将异常抛入到人机交互处理模块。相似的一组用户，组成关联矩阵，以此来判断宏观因

素的变化，以及对历史数据进行排查⑺。紧致型小波

神经网络用来作用户端负荷预测，并将预测值和接下 来的实际值作比较，以此来衡量用气量是否属于正常 波动。一般认为小波神经网络对1D信号具有极强的

逼近作用，具有良好的预测效果吟刃。聚类分析模块

用于用户自身用气量的模式比较，进一步判断异常属 性㈣。泊松分布以概率的形式来判断用户出现零气量

的可能。3 模型监控流程和数据要求监控模型在数据上需要每支表每天的“小时用气

量”和“日用气量”。每个功能模块的数据要求如表

4 功能模块和实例1所示。4.1协同过滤表1监控模块的数据要求功能模块协同过滤小波神经网络数据类型日用气量聚类分析泊松分布协同过滤的作用是形成用气特征极其相似的关联

矩阵和对历史数据进行排查。日用气量小时用气量日用气量首先以成都13家CNG行业为例来说明关联矩阵的 生成，见图3。图3a为13家CNG—年的“日用气量”

一个完整的监控模型流程如图2所示，可根据实 际数据情况进行模块的删减。首先在一个长周期（月/

折线图。从图上可以看出，成都13家CNG企业具有相

似的用气特征。CNG行业总体用气量较为平稳，上半

年）进行协同过滤，生成关联企业矩阵待用。如果存 在历史数据排查异常则将异常抛入到人机交互处理模

年比下半年略高，转折点出现在9月份左右。同时，受春 节等节假日影响显著，出现一个明显的“深V”。图3b展 示了相似程度的热力图。从图上可以看出，13家企业

块。在一个短周期（天），首先进行小波神经网络预

40 000a35 00030 00025 00020 0001500010 0005 00001101201301 天—VI―V2— 3—^4—V5—V6—V7—V8—V9—V10—VII ―V12—V13图3具有相似用气特征的13家CNG企业城市燃气2019/10总第536期| 35经营与管理 Wlanagemein and Adminisiraiioii用气量特征无显著差异。协同过滤模块实现了关联矩

平均误差小于5%的占70%,在5% - 10%之间的占

阵的自动生成，免去了逐一比对的繁复过程。总的来

19%,误差大于10%的占11%。图5b展示了对国营锦

江机电厂的预测模拟。该机电厂短期燃气负荷具有典 型的用气周期，负荷主要发生在工作日，周末有少量

说，这13家企业可以组成一个整体，共同受季节因素 和节假日因素等宏观因素影响。其次以成都6家CNG行业为例来说明协同过滤对

用气。实际值和预测值曲线比较接近。历史数据的排查作用（图4 ）。图4a为6家CNG企业的 用气曲线图。从图上可以看出，2家CNG企业与普遍

4.3泊松分布由于某种原因，用户偶尔会出现零气量，比如小型

的行业用气特征不一致，v5 （红色标注）与行业普遍 特征不同，下半年出现显著的增高，v3（黑色标注）

餐馆不定期的关门。气量预测模型无法预测到零气量

的出现。针对零气量，系统以一定的周期为单位（比 如20d）,建立用户零气量的泊松分布，以此来计算当

全年用气量都很低，并且用气特征完全不匹配。图4b

展示自动分析的图谱，从图上可以看出V5和V3自成 一类，可以作为异常抛出，作进一步处理。天用户出现零气量的概率。比如某企业在20d内平均产 生2次零用气量，建立泊松分布概率表如表2所示。表2某企业零气量泊松分布表零气量次数低于2次4.2预测模型预测模型主要采用的小波神经网络。首先是超 参数的设定，超参数包括输入层节点个数和中间隐含

3次0.0次5次0.00186次层节点的个数。这些参数的设定目前尚没有确定的理 论。通过对成都燃气公司、华油集团等500只燃气表

概率0.70.010.0002进行全参数空间的探索，得出最佳参数估计是输入节

因此，这个企业在一个周期内出现5次以上的零 气量就可以列入到预警管理中。点数量在8 ~ 12之间，隐含节点数量在4 ~ 6之间，并 由此确立网络结构为10个输入节点和5个隐含节点。4.4异常模式识别异常模式采用聚类分析模块，主要是当日异常用图5a展示了抽样训练测试的结果。在测试集上

a0.2误差大于10% 垃比11%b 国营锦江机电厂预測模拟M*0.1-n c

L] 1 1 1

°

误差5 -1占亠\"％

泯整小于5%占比70%r20°1 || 21 31 41-—实际值------预测值5

〔° 误差（%/5

图5小波神经网络预测误差（a ）和预测模拟（b ）36 I城市燃气2019/10总第536期朱 炼等•燃气用户端气量监控系统气量模式和自身固有的模式进行比较。图6a展示了一 优点，适合复杂的数据分析任务。基于模型预测、协

个异常预警的例子，该企业当天的用气量显著小于神 同过滤、聚类分析、泊松分布建立的预警模型可以精 经网络模型的预测值，由此将异常抛入到异常模式识 确定位由偷气行为产生的异常，并且基于预测的方式

别模块中。从图上可以看出(粗线是预警日小时用气

还可以将预测值作为索量的依据。量折线图，细线是正常日小时用气量折线图)，该企 业的用气模式是在上午5点、11点左右存在2个用气高

峰，当天的小时用气量只在8点左右有一个小高峰和 参考文献自身固有模式不一致。相关联的企业也没有出现用气

1高彦杰.Spark大数据处理：技术、应用与性能优化[M].

量显著降低的情况。因此可以作为异常抛出，作进一 机械工业出版社，2014步处理。图6b展示了一个异常排除的例子，该企业当 2数据仓库与数据挖掘原理及应用(第二版)[M].数据

天用气量与神经网络模型预测值的差超过了预设阈

仓库与数据挖掘原理及应用.第2版.2015值，但用气特征与企业自身的用气模式匹配，因此这 3焦文玲.城市燃气负荷时序模型及其预测的研究[D].哈

类异常无进一步处理的必要。尔滨工业大学，20014张少平，徐晓钟,代.关于天然气管网的短期燃气负

5 人机交互处理荷优化预测研究[J].计算机仿真，2016; 33 (3): 305-309

5刘东京，周伟国，张中秀.综合气象指标对燃气负荷的

由于实际的情况多种多样，模型只能从数据的角

影响[J].上海煤气，2018; 1度抛岀预警信号，异常性质还需要进行人工判断和进

6白雪.川渝地区城镇冬季燃气日负荷特性分析及预测方

一步的线下查证。在人机交互模块中包含了可信任企 法研究[D].西南石油大学，2016业名单的录入和修改、查证任务派单、查证结果反馈 7黄涛，黄仁，张坤.一种改进的协同过滤推荐算法[J].

功能。随着查证数量的增加，不断丰富预警信号的相

计算机科学，2016； 43 ( si ) : 400-403关信息，如预警次数、用气性质、用气量、预测值、 8刘丹，张腾飞.基于改进萤火虫算法的小波神经网络短

历史上是否有偷气现象等，可以建立起动态的机器学 期负荷预测方法[J].微型机与应用，2016； 35 ( 23 )：

习模型，对预警信号作进一步的模式识别。56-5徐晓冰，姚莹，王建平.基于小波过程神经网络的短期

6 风速预测[J].电子测量与仪器学报，2013; 27 (10)：

结论944-95010 Jain AK, Murty MN, Flynn PJ. Data clustering： A review.

基于大数据框架和维度建模方式建立起的用户端

ACM Computing Surveys, 1999; 31 (3): 2-323监控系统具有富冗余、高纠错、高吞吐、快速响应的

城市燃气2019/10总第536期| 37