首页 > 论文范文 > 工程工业论文 > 动力工程论文 > 新能源论文 > 综述新能源大数据云平台结构的建立和运行管理

综述新能源大数据云平台结构的建立和运行管理

2020-04-18 435 上传者：管理员

摘要：针对新能源大数据云平台的设计问题，分析了新能源大数据的市场需求主体及数据类型，最终以市场需求为导向设计了数据源层、业务平台层、应用层和用户界面四层新能源大数据云平台结构，并通过数据更新路径、系统维护办法和数据安全体系框架构建，为平台的高效运行管理提出了正确的思路。设计结果为新能源大数据云平台建设提供了技术支撑，为其他云平台建设提供了有效的参考。

关键词：
云平台
大数据
新能源
设计
加入收藏

大数据是结构复杂的大规模数据，具有规模大、种类多、处理速度快、价值密度低等特征，具备挖掘价值的数据集^[1]。随着能源转型的不断推进，新能源大数据在生产运营、经营管理、能源消费各环节的价值逐步体现。

能源大数据在电力规划、发电计划、调度信息、现货交易、发电弃电统计等方面已有大量应用。美国IBM公司分析了超过4PB的气候数据，建模分析风机的选址模型，提高风机的工作效率和使用寿命^[2]。其它研究主要集中于电力大数据的挖掘、分析与处理，但是尚未形成一个健全的电力大数据计算分析平台^[3]。传统的基于Hadoop、Spark、HBase计算框架的电力系统数据分析模式结合数学建模已经不能满足当前结构更加复杂、规模更加复杂的电力大数据的快速处理要求^[4]。专门对于新能源大数据云平台的设计与实现还鲜有研究。

1、新能源云大数据需求分析

随着信息互联网、能源互联网正在融入社会生活的方方面面，新能源大数据资源价值服务于经济、政治、环保、科研、文化发展等社会生活是大势所趋。依托楼宇自动化控制系统、电力数据在线监测系统、生产办公信息系统等仅能对能源数据进行监测和简单分析，难以直接用于新能源数据的集成、分析，无法对能源大数据进行有效整合和深度挖掘^[5]。结合各社会主体的职能，各主体对新能源大数据的需求分析如表1所示。

表1 新能源云数据需求分析表

2、平台结构设计

综合上述功能需求和市场，平台的结构设计分别由数据源层、业务平台层、应用层和用户界面四个层面组成。其组织层面和所属功能如图1所示。

图1 平台结构设计图

2.1 数据源层

数据源层来源于各合作厂商所提供的完整营销、生产等原始且未加工过的数据，通过企业中台和调控云平台将这些数据进行初步整合，由于平台的用户需求和业务属性不尽相同，数据源层应尽量收集足够多的各类用户需求的数据，才能够进行更加细致的大数据处理分析。

2.2 业务平台层

业务平台层为此大数据平台的核心结构层，通过对原始数据进行存储、集成、分析、计算，从而对用户提供服务。此平台层包括数据产品定制发布子系统、设备运行状态信息平台、数据分析与规划服务、消纳预警平台、大数据云管理子系统和数据接口微服务管理子系统组成。对于数据存储，平台同时采用传统关系数据库和分布式文件系统、数据库等不同方式，进行对收集来的数据的存储。数据集成主要工作是对数据源层内海量的数据进行提取、归类、转换，终将数据加载到大数据平台。

数据分析，即应用数据挖掘、人工智能学习等算法，根据不同用户的需求类型，借助流处理、批处理等方式，提取数据流中间的有用信息和统计关系，实现对用户所需各类业务的处理。其中，大数据云管理子系统有着接收用户意见信息和系统内部问题的处理^[6]。大数据云管理子系统和数据接口微服务管理子系统之间可相互进行信息交流，后者可将传输来的数据反馈到数据源层中的调控云平台，从而对反馈后的数据进行分析并改进。

2.3 应用层

主要是负责对用户需求数据产品进行分类和归纳的工作，在此大数据云平台上，应用层包含数据产品商城、备件银行、运维检修商城、信息集成与信息发布、第三方业务搭载平台、线上现货交易平台、集控服务、业务评估服务、热力云服务9个模块。应用层将业务平台层加工整理过的一系列海量数据，根据不同用户的需求，将数据提供给用户，以供用户使用^[7]。

2.4 用户界面

用户界面允许此平台用户选择自己所需要的数据产品，由网站对外门户和手机APP两部分组成，以供用户在不同的网络终端中浏览。其中浏览界面的第一层级为用户产品概览展示，如图2所示，用户可以看到可获取的所有产品。同时为了方便用户挑选，设置了可按主题、年度、层次、来源分组筛选产品，支持自主检索，可按价格、格式、来源、销量等排序方式检索，也可以通过用户类型，智能推荐相关性较大的产品。界面的第二层级为用户所选数据产品详细介绍，例如产品名称、用途、来源、价格、详细介绍。并为客户提供销量、评价、客服的联系方式等信息，支持在线预览功能。详细页界面如图3所示。

图2 用户浏览界面

图3 产品展示详细页界面

3、数据运行管理

平台的高效运行离不开对平台运营产品的有效管理，只有对数据的更新、维护、安全方面进行严谨的管理，才能使平台拥有更高的发展潜力。

3.1 数据更新

数据具有时效性，不同时间阶段的数据会发生价值变化，云平台数据更新要以新数据项替换数据文件或数据库中与之相对应的旧数据项或记录，目的是为了保证数据具有时效性，保证平台产品质量的不断提升。云平台数据更新路径如图4所示。

图4 云平台数据更新路径结构图

云数据库通过云服务中心收集来自企业中台、调控云平台等来源的数据，将数据配置到不同的终端服务器，终端服务器根据分析策略对数据进行分类，将识别出的新数据产品提交给云数据库，更新数据库索引列表；将识别出的与“云数据库相关文件”整合，替代云数据库中旧数据，更新云数据库索引列表。

3.2 系统维护

为了清除云平台运行过程中发生的故障和错误，维护人员要对系统进行必要的修改与完善。云平台所囊括系统可以分成两类，硬件设备和软件系统。硬件设备：按照功用可分为网络设备、安全设备、主机设备、存储设备等，按照体系可分为网络、主机系统、存储/备份系统、终端系统、安全系统、以及机房动力环境等。软件系统：包括内部办公系统、门户网站、面向公众的应用系统以及计算机数据库、有关的数据库软件、操作系统、网络抗病毒、虚拟软件等有关基础环境的一系列软件。

3.3 数据安全

把控好数据的安全问题，是决定平台产品价值的关键要素。敏感信息的安全性如果无法得到保障，企业将会面对极大的风险；数据一旦泄露，更会给平台带来不可估量的损失和影响。

大数据易成为网络攻击的显著目标，为保障数据安全问题，平台首先应建设完善的安全体系，包括平台的管理措施、人员的权限设定、突发事件应急方案等；其次也应加大数据安全技术研发，可与高校合作研发、与其他数据平台联合研发、委托相关机构研发等；然后还要加强对重点领域敏感数据的监督，保证数据不涉及机密、隐私问题或对机密、隐私问题加密、脱敏处理；后运用大数据技术应对高级可持续攻击，依靠平台优势，打造平台防御框架。

4、结语

通过对新能源大数据云平台需求侧的深入分析，设计了数据源层、业务平台层、应用层和用户界面四层新能源大数据云平台结构，提出数据更新路径、系统维护办法和数据安全体系框架构建，为平台的高效运行管理提出了思路。设计结果为新能源大数据云平台建设提供支撑，为其他云平台建设提供参考。

参考文献：

[1]邱立新,李筱翔.大数据思维对构建能源-经济-环境(3E)大数据平台的启示[J].科技管理研究.2018(16):205-211

[2]陈超.电力大数据质量评价模型及动态探查技术研究[J].现代电子技术.2014,37(4):153-155.

[3]黄彦浩,于之虹,谢昶.电力大数据技术与电力系统仿真计算结合问题研究[J].中国电机工程学报,2015(1).

[4]陈云.分布式电力大数据计算分析平台设计与实现.电子科技大学.2016,35(1):13-21.

[5]刘春雨.用户侧能源管理系统大数据平台的研究.[J]现代建筑电气.2019,10(5):1-5.

[6]叶文芳,潘国峰,华中.基于云分支服务器的数据更新系统的设计与实现[J].电视技术,2016(11).25-29.

[7]吕登龙,朱诗兵.大数据及其体系架构与关键技术综述[J].装备学院学报,2017(1).91.

杨照光,杨云,王文涛,等.新能源大数据云平台设计研究[J].电力系统装备,2020,(3):161-163.