国家电网用电信息采集系统数据处理性能提升方案V11

  1)采集系统数据量急剧增长、数据类型多样、业务应用深化创新，对数据存储、查询、统计、分析及价值数据挖掘提出更高要求；

  用电信息采集系统是智能用电建设的数据源，是大营销体系建设的基础，是促进“三集五大”体系建设的源动力，用电信息采集系统的基本应用、高级应用和深化应用等功能，都是建立在数据采集的基础上。归根结底，采集数据是落脚点，是用电信息采集系统建设过程转化为应用成效的关键，业务应用同时也决定了采集系统数据的构成。数据大致上可以分为两大类：一是基础档案及业务数据，二是采集或计算数据。

  随着采集终端大范围普及以及采集数据的激增、更多业务系统的接入需求及业务复杂性的增加，用电信息采集系统数据库性能日显不足。当前数据库系统所采取的物理化视图、数据表拆分、多级数据缓存、数据压缩、SQL优化、使用临时表等技术方法和增加采集系统服务器数量的方式只能起到适度缓解的作用；由于Oracle RAC采用的是共享（Share Disk）结构，不具有可扩展优势，存在I/O的读写瓶颈，难以解决用电采集海量数据存储、计算统计及查询等瓶颈问题。鉴于Oracle在事务一致性处理方面有很强优势，针对事务密集性的任务（如档案源数据管理等），仍由Oracle数据库来支撑。而大量的数据存储、统计、分析、计算及查询等则由云计算平台来完成，形成一个互补兼容的体系架构。并且云计算技术拥有非常良好的可扩展性，可以很好的满足未来几年的用采系统数据爆发式增长的应用需求。

  以采集系统建设规模中等数据量的省级集中的网省公司为例，假设终端投运数为120万台，覆盖用户数为1200万户，数据采集相关的基础档案如运行电能表为1200万只，计量点数为1200万个，采集测量点关系表为1200万行，按照一个测量点平均对应3个任务计算，则采集对象任务表为3600万行。而采集数据的存储与读取一般涉及几张表的关键字段的连接，因此，采集覆盖规模庞大的数据量基数已决定了采集系统数据存储与读取的效率，将直接引发采集系统数据库整体性能的下降。

  此外，国家电网公司对采集系统深化应用的工作要求，已不仅局限于营销系统的专业业务应用，而是站在促进公司“三集五大”体系建设，加强专业数据间的高效协同的高度推动采集数据的深化应用，推进与其它系统平台的数据接口，比如与安质部国网电能质量在线监测系统、运检部供电电压自动采集、省级计量中心生产调度平台、配电自动化、电能服务管理平台等系统的集成和信息共享，增强采集数据的支撑作用，必将推动采集数据挖掘向着更广、更深的业务领域拓展。

  变电站、线路、变压器、客户、计量点、运行表、终端、采集关系等基础档案类数据及终端调试涉及测量点参数等、费控业务涉及购电单、购电参数、有序用电涉及方案及控制命令

  日冻结表码数据（正向有功总、尖、峰、平、谷、反向有功总、尖、峰、平、谷、正向无功总、反向无功总、需量表码等13个主要数据项）

  随着采集系统的建设，基本应用已不足以满足更多、更广的业务需求，高级功能的应用对数据的深度挖掘与深化应用已成必然趋势。

  主站标准化设计中高级应用、有序用电涵盖了配变监测分析、线损分析、重点用户监测、重要信息推送、数据修复、有序用电指标管理、有序用电任务编制与执行、有序用电分析等功能模块，是采集系统数据高端应用的重要支撑。比如将采集的功率与功率因数数据应用于变压器负载分析、负荷预测、变压器经济运行衡量指标及功率因数越限统计，实现台区超载监控分析；将电压曲线数据应用三相电压不平衡分析、电压合格率数据分析等，实现客户侧供电质量监控与评价，为生产、配电等部门优化配网结构，提高配网供电质量提供决策依据；将采集客户的负荷数据应用于负荷预测和有序用电方案编制，制定合理的限电计划，实现区域负荷的合理调控。

  3)终端数量及采集频率的剧增，采集数据量由TB级向PB级发展，导致数据采集入库、分析、存储的压力剧增；

  5)面临数据高性能存储和高可扩展性挑战，对系统的健壮性、灵活性、简单性、可扩展性以及安全性提出了更高的要求；

  7)电力业务向智能化、精细化方向发展，对数据处理复杂性、实时性提出更高要求，跨业务、跨平台的数据挖掘能力要进一步提升，迫切地需要进行技术架构优化和性能提升；

  现行各网省公司电力用户用电信息采集系统主站均符合国家电网公司电力用户用电信息采集系统主站软件标准化设计（2012年修订版）规范要求，考虑功能特点、业务需求、界面布局等因素，将主站功能划分为基本应用、高级应用、运行管理、有序用电、统计查询、系统管理六部分功能，个别省网公司依据自身业务特点及实际的需求，在二级菜单或三级菜单内添加个性化功能模块。

  根据业务应用需求分析可了解到，不论是基本应用、高级应用还是深化应用最终都需要采集数据的支撑。归根结底，采集数据是落脚点，是采集系统建设过程转为应用成效的关键，业务应用同时也决定了采集系统数据的构成。数据大致上可以分为两大类：一是基础档案及业务数据，二是采集或计算数据。

  前者最重要的包含变电站、线路、变压器、客户、计量点、运行表、终端、采集关系等基础档案类数据及终端调试涉及测量点参数等、费控业务涉及购电单、购电参数、有序用电涉及方案及控制命令等。后者最重要的包含日冻结表码数据（正向有功总、尖、峰、平、谷、反向有功总、尖、峰、平、谷、正向无功总、反向无功总、需量表码等13个主要数据项）、曲线表码数据、日/月电量数据、功率/电流/电压/功率因素等负荷数据、电压越限统计数据、终端剩余电量数据、终端停上电事件等。

  在现行采集系统采集压力情况下，业务应用需求及数据重要性优先级决定了主站前置机通信及数据存储与读取的周期与频度，尤其是性能较低的情况下，势必影响到部分高级功能的应用，下面主要从采集覆盖规模、数据项总数、单表数据量、整体数据量等多角度分析数据存储与读取的压力。

  （三）业务深化应用的复杂性导致采集数据项繁多，数据库日增量庞大，进而影响采集数据的存储与读取效率

  对于电能示值日冻结表，一个测量点一条记录，那么该表每日数据增量为1200万条，月数据量增为1200*30=3.6亿条，年数据增量为3.6*12=43.2亿条；对于总电能示值曲线数据表，假设采集正向有功总、无功总、反向有功总、无功总等四个数据项，那么每日数据增量为：1200*4=4800万条，月数据量增为4800*30=14.4亿条，年数据增量为14.4*12=172.8亿条。此外，采集任务涉及采集数据项已不仅局限于电量表码，还扩展到功率、电流、电压、功率因素等负荷数据及终端停上电事件等。功率、电流电压曲线数据表均与总电能示值曲线数据表保持同数据量级，可测算整体年数据量级已达数百亿。

  随着国家电网公司对用电信息采集系统数据要求的提升，业务系统部署的全方面推进及业务应用的不断深化创新，采集系统逐渐呈现出覆盖规模庞大、采集数据项复杂、存储数据时间长、业务多样化等特点（如山东、浙江、江苏等覆盖用户数已达1000-2000万的级别），从而面临着海量数据存储慢、重点数据分析实效差、系统整体性能直线下降等难题。同时，随着深化采集系统应用工作的大力开展，对用电信息采集的数据需求更广、数据挖掘更深、在线分析时效性要求更高。为了充分的发挥用电信息采集系统基础支撑作用，满足采集数据深化应用工作和对数据存储、查询、统计、分析及对价值数据深入挖掘的需求，通过领先的技术方法提升用电信息采集系统数据处理性能已势在必行。

  用电信息采集系统发展的新趋势,以采集系统全覆盖为支撑，深入挖掘采集系统数据，深化应用采集系统功能，加强与营销、配电等相关系统集成，实现电费以采集系统全覆盖为支撑，深入挖掘采集系统数据，深化应用采集系统功能，加强与营销、配电等相关系统集成，实现电费抄核自动化、线损管理精细化、互动服务智能化、费控功能实用化的“四化”目标，全方面推进营销发展方式转变，全方面提升公司供电服务水平。

  探讨和研究用电信息采集系统海量数据处理和性能提升已经迫在眉睫，云计算技术对于海量数据的处理已经在互联网领域、智能交通领域、安防视频监控领域得到验证，所以探讨和研究基于云计算平台的用电信息采集海量数据存储与处理技术，解决现行用电信息采集系统现存问题，符合国家电网技术发展的方向，是建设统一坚强智能电网的重要组成部分，是智能用电服务环节的技术基础。对推动智能用电建设有重要意义。

  9)电力业务的不断深化导致计算资源趋于紧张。任务更复杂，涉及的数据量更大，现有资源没办法保证在规定的时间内完成；

  11)现有系统架构在横向线性扩展能力不够，海量数据解决能力已显瓶颈。现有系统基于Oracle RAC的数据库集群方式，由于其采用共享存储，需要在节点间频繁的复制状态和共享数据块，节点的增加只能加剧数据交换，对于性能的提升则非常有限，且成本高昂。

  用电信息采集系统的基本应用，最重要的包含：基本应用、运行管理、统计查询等，涵盖了数据采集管理、档案管理、时钟管理、计量在线监测、运作状况管理、现场管理、时钟管理、预付费管理、接口管理、日冻结等采集数据查询等功能模块，支撑了用电信息采集系统基础业务，比如采集任务设置、数据召测、客户/终端/电能资产表等基础档案管理、终端运行管理、终端设备正常运行状态、终端工况管理、数据异常处理、终端校时等，从而促进采集数据在预付费管理、自动化抄表业务的应用，推动着采集系统核心业务发展。

  根据《国家电网公司关于加快用电信息采集系统深化应用的意见》（国家电网营销[2013]101号）文件精神，2013-2015年采集系统深化应用工作总体目标除了涵盖远程自动抄表、费控功能应用外，还包含了线损监测、反窃电监测、分布式电源监测、双向互动服务、市场及需求侧管理应用、辅助业扩报装、故障抢修业务、辅助电能质量监测与可靠性统计应用等方面，明确了公司三年内采集系统深化应用的方向和具体目标。

  上表列举了10项典型业务，其重要性优先级是根据现阶段的基本应用和深化应用方向大体确定，其中优先级为高的代表无论采集系统性能高低，尤其是系统性能直线下降不足以满足全部应用需要取舍时需优先保证的业务，而优先级为一般的代表在一定阶段重点应用的业务，且可能随义务应用方向的多样化逐渐转变为高优先级。

  基于用电信息采集系统的基本应用、高级应用以及进一步深化应用的工作要求，现阶段至2015年末，业务应用需求可概括为：需首先满足采集系统基础业务需求，如基础档案的管理、终端运行管理、采集任务设置等，支撑全面自动化抄表、预付费与费控管理工作。然后挖掘采集数据价值，扩大数据应用场景范围，应用于配变监测分析、线损分析、有序用电、供电质量监测、反窃电分析等高端业务，促进采集系统应用效益最大化。

  采集系统功能的扩展应用及数据挖掘必然影响主站软件中部分复杂度较高、展示信息量较大的功能，前台读取数据时，将海量采集数据与基础档案表的组合连接，必定导致数据库整体执行效率降低。同时终端采集的数据通过前置机解析后,写入以海量数据为基础的数据库的效率也将大幅度的降低，影响存储执行时间和存储的频度。因此，深化采集系统应用的过程实际是通过领先的技术方法持续提高海量数据处理性能的过程。所以，要求我们利用当前很成熟的云计算技术解决用采集系统海量数据存储、查询、分析、统计等数据处理问题。

  数据基数较大，日增长量较大，且需对原始数据进行大量计算，占用系统资源较多