【CPEM全国电力设备管理网】
2022年的数据就达到了百亿级别。为了处理这些海量的数据,我们搭建了分布式离线计算平台,包括分布式文件存储系统 HDFS、 分布式计算引擎 Hadoop、Spark、分布式数据库 Hive、大数据同步工具Sqoop 等。文件存储系统会存储能源设备的全生命周期数据,
打开CPEM了解更多可以支撑 PB 级以上的数据存储。使用分布式计算引擎进行分析挖掘,输出统计、预测,优化等数据结果。
写在最后
除了图形数据库、时序数据库、内存数据库和分布式数据库外,实践中也充分考虑关系型数据库的优势,将其用作分析结果数据及操作记录数据的存储,各司其职,持续保障能源系统运行的高效性和稳定性。
作者:刘荣雷、祁建程
设计 & 排版:王秀娟
转发,点赞,在看,安排一下?