北极星

搜索历史清空

  • 水处理
您的位置:环保环境监测评论正文

大数据推动“智慧环保”落地

2016-11-30 11:32来源:中国科技报关键词:环保智慧环保环保大数据收藏点赞

投稿

我要投稿

海量数据带来挑战

环保大数据到底是什么数据?在清华大学软件学院大数据中心总工程师王晨看来,环保大数据包含了大量未开发的环境信息资源,包括环境舆情、互联网公开的数据;审批附件、图片等非结构化数据;生态物联网的建设带来海量半结构化数据等。

然而,海量的环境数据也给传统数据平台带来巨大挑战。王晨表示,“十三五”期间,环保数据量还将呈爆发式增长,这给计算资源和存储资源的扩展性和高可用性带来挑战。另外,生态监测网实时数据也给数据平台带来性能挑战。而非结构化数据、时间序列数据、关系型数据等多类型数据,也增加了数据处理及分析的复杂性。

来自重庆市环境保护中心的王陆潇博士则指出,环保行业广泛使用地理信息系统(GIS),尽管GIS软件已实现关系数据库管理系统的性能扩展,能够同时管理图形、属性数据、高程数据等,并已实现了多比例尺空间数据的存储,但该数据存储模式已经触碰到瓶颈,并且会导致地理信息系统空间数据自动综合能力与效率低下。此外,GIS的客户机服务器架构决定了数据共享、数据存储、同步性更新及更新效率等能力较弱。

而从政府顶层设计层面来看,环境大数据也面临重重难点。清华大学环境学院环境管理与政策教研所主任常杪表示,地方政府在环境大数据建设中会面临规划设计、设备技术选型、数据收集等难点。

以规划设计为例,“规划设计并不是对现有业务系统的简单加和,而应当在需求明确的情况下,融合现有的传感技术、互联技术、数据挖掘技术等,开发出能经济、有效解决实际问题的系统。”常杪表示,如何设计出能集成海量、多源、异构数据且实现数据动态更新的数据中心框架,如何实现数据标准统一,以完成环境数据的统一规划、集成和管理,提高数据产品加工和服务能力等,都是规划设计的难点问题。

如何“慧”集数据

预计未来5年,环保监管数据将实现精准化,“智慧环保”将使得环境管理更精明,居民更有获得感、资源利用更高效、生态环境更宜居。

环境保护部信息中心总工程师、环境信息化分会秘书长魏斌指出,数字变革和数字颠覆对人类的发展影响远远超出我们的想象。信息技术不断突破原有技术架构和发展模式,步入体系化创新和群体性突破的新阶段。

而对于环境信息化建设,魏斌指出,其建设和发展模式亟待改变,信息碎片化、应用条块化、服务割裂化等问题都需要从根源上加强统筹,实现信息共享,系统互联互通。

那么,如何充分挖掘数据的价值,从而为“智慧环保”服务呢?

以大气环境监测领域为例,中科宇图资源环境研究院院长刘锐提出一种基于多源数据融合的监测方法——首先搭建集成工作站、服务器等硬件支撑平台以支撑项目的建设和运营,其次根据数据资源的来源和分析需求,智能利用跨领域研究实践的技术优势,以互联网全域数据为基础,基于Hadoop的分布式存储及计算框架,研究大气环境监测预警大数据应用关键技术,建立大气数据分析环境和联合监测环境。

刘锐还提出了机器学习的概念,基于大数据技术的预报预警模型,机器学习通过模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

另外,李华表示,大数据支撑环境是应用成败的关键,基于大数据基础服务可提供用户大数据采集、存储、计算能力;通过太极环保大数据平台则可以实现大数据的分析挖掘与可视化,具备一站式数据应用能力。

据介绍,太极环保大数据基础平台集成开源Hadoop技术大数据基础平台,性能优于开源Hadoop方案,通过内存计算、高效检索、执行优化等技术,快速提升企业和机构构建与处理海量数据的能力;采集交换平台则在传统ETL基础上支持Hadoop、Hbase、实时流、网络爬虫等数据的采集、转换,有效解决大数据时代针对文本、音频、视频、传感检测数据、网站数据的收集、转换和存储。

在王晨看来,环保大数据管理系统研发的要点还包括高吞吐量、事务处理模型全局一致、专业化查询和分析引擎、系统易管理和维护、容错和故障恢复等,“效能+易用性”才是关键所在。

延伸阅读:

中国智慧环保行业市场调研及投资前景分析

城市水务离“智慧”还有多远

原标题:大数据推动“智慧环保”落地
投稿与新闻线索:电话:0335-3030550, 邮箱:huanbaowang#bjxmail.com(请将#改成@)

特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。

凡来源注明北极星*网的内容为北极星原创,转载需获授权。

环保查看更多>智慧环保查看更多>环保大数据查看更多>