云计算的基础就是大数据。工业和信息化部赛迪研究院认为,“十二五”期间为我国大数据云计算起飞阶段。2011、2012、2013年,中国云计算的市场规模为315亿元,600亿元和1174亿元,增长速度惊人。
工信部也表示,将持续加大对大数据产业的扶植力度,通过相关规划。对大数据发展进行部署,推动开展大数据标准化需求分析,标准化体系框架和相关标准研制,支持关键技术产品开发和产业化。
数据存储和处理滞后
在电力行业,智能电网建设带来信息采集点越来越多,常规的调度自动化系统数十万点,而配用电、数据中心将达到百万甚至千万级。“国家正在大力推进智能电网的工作,前端的智能电表安装很快,但后端数据整合还远跟不上。”国家电网智能电网研究院首席科学家栾文鹏坦言。
智能电网实时数据以及沉淀的历史数据,是电网企业实现精益化管理的基础。现有实时数据库存在缺陷。目前这些数据大多采用关系型数据库进行存储,随着智能化的不断提升,电力行业对数据库处理能力、存储空间、查询能力等方面提出了越来越高的要求。
“电力行业数据的特点是,电力周期差别大。电力高频设备切换,基本上在几微秒一级,如继电保护,20毫秒到30毫秒之间,需要做每小时、每天、每周、每年的负荷预测,包括做发电容量预测,有可能做几十年。还有电力资产,如VRT、发动机,生命周期就在80年到一百年过程。这个数据有非 常大的跨度、特点、区别。这样对于电力行业大数据整合,提出很多挑战。”栾文鹏表示。
目前,国外的信息公司有一些成功的案例可供借鉴。如谷歌公司的分布式数据库技术,能可靠处理PB以上级别的数据,能支持千台服务器以上的集群,并能实现适用性广泛、可扩展、高性能和高可用等4个目标。IBM智力问答机器人Watson,收集了2亿页知识文本数据,可在1秒内完成对大量非结构化信息的检索。
对于国内的企业,如何应对挑战,专家表示,要把大数据工作列为各公司的基础工作,纳入工作计划安排。要有一个技术后台。大数据工作涉及到数据的采集、存储、输送、加工、利用等多个环节,每个环节都需要强有力的技术支撑。制定规划,发展大数据工作要保持一定数量的资金和技术装备投入。