登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2019年以来,深水集团、杭州水务集团、重庆水务集团、苏州水务集团、郑州供水等众多大、中型水务企业相继启动了数据治理和大数据中心建设项目,水务行业如此密集地开展数据治理和数据中心建设,智慧水务的建设重心逐步发展变化:由建设营收、GIS、SCADA等MIS系统为主的业务数据化,逐步转变至以数据治理和大数据为主的数据业务化;由偏向于数据的生产转为更注重数据资源的管理和数据资产化,水务行业数字化转型迎来新的发展阶段。
图1 数据治理及大数据中心建设是热点
在杭州水务集团、郑州供水、苏州水务集团、江苏中法水务等多家水务企业的数据治理及大数据中心建设工作中,数据仓库建模方法论是一致的,但由于水务行业特性、业务场景的不同,在不同的水务企业,基于大数据的数据仓库建设无法按照统一的项目流程、开发模式进行,更多的是需要根据具体的业务场景结合新的技术体系进行灵活调整,以满足水务企业的实际情况和具体需求。
图2 某水务集团数据仓库工作历程
在实际数据仓库建设中,考虑到底层建设的工作量大,过程时间长,内容比较抽象、不易理解等特点,我们先对水务企业现有的数据资源进行盘点和评估,科普大数据中心建设知识,梳理各条业务线的大数据应用场景,确定数据入仓的范围,挑选各部门需求程度最高的大数据应用场景进行优先建设,一方面能快速看到数据仓库建设成果,另一方面也可以及时发现和调整建设过程中出现的问题,总结经验,为其他大数据应用场景建设打下基础,提高数据仓库建设效率,降低成本。
在数据仓库建设过程中,各水务企业数据仓库建设流程也会有所区别,但主要流程和重点环节基本一致,主要流程和重点环节介绍如下:
图3 数据入仓流程图
一、元数据采集:制定出各信息化系统的元数据清单
根据前期的需求调研,确定本次入仓的信息化系统,并向系统维护人员收集系统操作手册、数据字典等文档以及系统数据库相关信息。通过数据采集工具对各系统数据库的表和字段进行采集,结合各系统文档,确定数据库中所有表和字段的中文含义及字段的数据类型,形成元数据清单。
以营销管理系统数据入仓为例,需要明确哪张表是客户表,哪张是收费表,以及表中每个字段的中文含义。有些系统文档由于没有及时更新,与现有系统数据有不一致情况,则需要信息管理部门与系统开发厂家支持,获取比较准确的元数据清单。
图4 数据采集范围
二、数据筛选:在元数据清单基础上筛选出需要入仓的数据,制定入仓清单
针对元数据清单进行进一步的数据筛选,去除临时表和空表等无用表,确定核心数据表和维度表,提供给信息管理部门进行确认,形成最终入仓的数据表清单。
经过第一步元数据采集,形成元数据清单的过程,可以比较容易的识别出临时表和空表,重点放在空表是否确实为无用表上即可。
三、数据入仓:根据各数据表实际情况,制定出入仓方案,通过专用ETL工具将数据抽取至镜像数据仓库
根据待入仓的数据表清单,以及每张表的实际情况,制定出源数据和镜像数据仓库表之间的字段的映射关系,确定出每张表的入仓策略和抽取规则,是实时抽取还是定时抽取,是全量出抽取还是增量抽取,将规则配置入ETL工具,执行数据入仓。
将数据汇入镜像数据仓库时,因为数据通常来自多个系统多个数据库最终进入同一仓库中,镜像数据仓库对于数据表的命名有专门的原则和规范,与源数据库的表名会有所不同,需要将表名之间的映射关系做好记录,同时制定好每张表的同步规则,如考虑业务系统晚上使用较少,数据同步时间一般放在晚上,错峰同步;
以营销管理系统为例,系统中的组织机构表、客户表等数据不多、变化较小的表可以全量同步,而像抄表数据、收费数据等数据量较大的表可以使用增量同步。
四、数据质量检查:制定数据质量检查规则,定时进行数据质量检核,提升企业数据质量
根据元数据清单以及业务含义,定义出数据质量检查规范、评分标准、及每个字段检查规则,如户号是否唯一,手机号是否为11位数字,身份证号是否为国家规定的15位和18位规则,抄表读数是否为合理的数字范围等。
经过数据质量检核清洗,形成数据质量报告,并将报告结果和未通过检核的明细记录反馈至源系统,形成闭环,PDCA持续提升源数据库的数据质量。通过数据质量检核的数据,进入标准化数据仓库,供主数据管理和数据集市使用。
五、建立数据集市:从业务角度对入仓数据进行梳理,制定数据资产目录以及主数据和业务模型等数据标准,最终形成数据集市
对数据入仓清单进行专题数据识别,划分数据分类与主题,形成数据资产目录,制定出主数据和业务模型等相关数据标准。
制定数据资产目录主要是为了让非技术人员了解企业有哪些数据,因此在制定过程中一般从业务角度进行分类制定,方便业务人员理解。制定数据标准时,一方面需要考虑与现有系统的兼容性,另一方面应重点考虑未来的扩展性和统一性,方便企业对数据的应用,也为新系统建设提供指导。
六、数据应用:建设数据仓库最终是为了更好的应用数据,充分发挥数据在生产运营、营销客服、管理管控中的最大价值
通过数据仓库,水务企业可以拆掉“烟囱”,打破各系统中的数据壁垒,实现真正全面数据共享,同时也让水务企业的分析统计维度获得全面的提高,为企业管理带来新的视角和手段。
数据共享不仅让水务企业内部与外部、部门与部门间的数据获取与共享更方便更快速,也让每一位员工能够获取更全面的信息,提高工作效率,如客服人员不再只能查询营销管理系统内的用户信息,还能知道用户所属的二次加压泵房的工作状态、最近一次水箱清洗的时间、最近一次水质检查结果、附近管网情况、是否有抢修停水情况发生、当天附近是否还有其他用户来电反应相同事件、用水由哪几个水厂提供、附近是否有工作人员可以快速上门、用水由哪几个水厂提供等,真正实现从水源到龙头的管理。
同时通过基于AI算法的客户画像功能,可以识别出更多客户特征,方便业务人员为客户提供更为精细化有针对性的服务,如独居老人关怀、重点用户识别、异常用水分析、工作质量分析、客户服务分析等,支撑精准服务、个性化和主动服务,持续提升客户体验和获得感。
随着《关于加快推进国有企业数字化转型工作的通知》、《关于加快构建全国一体化大数据中心协同创新体系的指导意见》等众多利好政策的推出,数据作为重要的生产要素将逐步成为水务企业的经营理念——凭数据工作、凭数据决策、凭数据指挥。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
6月29日,在海南自由贸易港建设纵深推进的关键时期,海南省水利水务发展集团有限公司(以下简称“海南水发集团”)正式揭牌成立。省国资委党委书记、主任马咏华,省水务厅党组书记钟鸣明,省国资委党委委员、副主任吴亚梅,海南水发集团党委书记、董事长史利,省委组织部、省国资委、省水务厅有关处室
在日前落幕的第二十三届“深圳(湾区)知名品牌”评选活动中,深圳市清泉水业股份有限公司(以下简称“深圳清泉”)凭借其在水处理领域的技术突破与行业引领力,从数百家参评企业中脱颖而出,荣获“深圳知名品牌”称号。这一荣誉不仅是对深圳清泉品牌实力的权威认证,更彰显了深圳在培育具有国际竞争力
近日,中国市政工程华北设计研究总院有限公司(以下简称“华北院”)与绵阳市水务(集团)有限公司(以下简称“绵阳水务”)在华北院总部正式签署战略合作协议。双方将围绕智慧水务、数字孪生、绿色低碳转型等领域开展全方位合作,共同推动水务行业高质量发展。华北院党委书记、董事长吴凡松,绵阳水务
6月29日,在海南自由贸易港建设纵深推进的关键时期,海南省水利水务发展集团有限公司(以下简称“海南水发集团”)正式揭牌成立。省国资委党委书记、主任马咏华,省水务厅党组书记钟鸣明,省国资委党委委员、副主任吴亚梅,海南水发集团党委书记、董事长史利,省委组织部、省国资委、省水务厅有关处室
2025年10月30日-11月1日国家会展中心(上海)崧泽大道333号展会规模:25000平方米主办单位:联合国人居署上海市住房与城乡建设管理委员会执行单位:东浩兰生会展集团上海现代国际展览有限公司东浩兰生会展集团上海建智展览有限公司一、总体情况上海国际城市与建筑博览会(以下简称城博会)作为“世界城市日
基本信息中文名称:2025深圳国际水务科技博览会(IWTE2025)英文名称:ShenzhenInternationalWaterTechnologyExpo2025展会时间:2025年11月24-26日展会地点:深圳会展中心(福田)展会规模:展览面积50000平米,展商1000余家,展位2000个,专业观众35000人次组织机构组织单位《给水排水》杂志社亚太建设科
北极星碳管家网获悉,6月4日,武汉控股水务环境公司迎来好消息:14点20分,佛祖岭供水加压站分布式光伏项目成功并网发电;15点13分,高新六路供水加压站分布式光伏项目紧随其后,也顺利并网发电,标志着公司在抢抓进度、落实绿色低碳转型与冲刺“双过半”目标上取得关键性进展。在“双碳”战略目标引领
注:板块及分会场持续更新中,请以正式通知为准。组织机构01主办单位青岛市人民政府02支持单位世界水理事会(WWC)国际水协会(IWA)中国工业节能与清洁生产协会河海大学膜材料与膜应用国家重点实验室03承办单位青岛市科学技术协会青岛市商务局青岛西海岸新区管理委员会水资源高效利用与工程安全国家工程研
“十年磨一剑,一朝试锋芒。”2025年高考战鼓擂响,莘莘学子正式迎来重要的“人生大考”。作为全国水务行业头部企业,广东粤海控股集团下属粤海水务积极践行“品质粤海,幸福生活”的使命担当,以“中国水安全专家”的专业精益服务,全力保障广东、广西、江苏等多省区高考期间供水安全稳定,为高考学子
当地时间5月28日,英国最大水务公司泰晤士水务28日被英国水务监管局处以1.227亿英镑(约11.88亿元人民币)罚款,创英国水务行业罚款最高纪录。英国水务监管局称,此次罚款中,1.045亿英镑(约10.11亿元人民币)因泰晤士水务污水处理基础设施缺陷,其余罚款则因违反股息支付规定。英国水务监管局首席执行官
5月13日,2025全球水奖(GlobalWaterAwards)颁奖盛典在法国巴黎举行。威立雅凭借卓越创新实力与全球项目实践,荣膺“年度最佳海水淡化公司”(DesalinationCompanyoftheYear)桂冠!喜上加喜,来自中国的项目—武汉南湖生态活水项目尾水再生利用工程(以下简称武汉南湖尾水再生工程),从全球众多优秀
“决胜下半年,临高为先锋。我宣布临高县2025年下半年第一批集中开工项目,开工!”7月1日上午9时,在海南临高县金牌港区污水处理厂及配套管网工程现场,临高县委书记唐守兵为全县重大项目集中开工作动员讲话。当天,由武汉城投水务集团承接的海南省临高县金牌港区污水处理项目开工建设。临高县是海南
当哈萨克斯坦的雪山融水与成都都江堰的岷江清流在数字大屏上同频闪烁,一场跨越丝路的绿色对话正在上演……近日,四川省邀请中亚国家优秀大学生开启访川之旅,由26名中亚优秀大学生组成的“丝路生态观察团”6月30日下午受邀走进中国铁工投资集团运营的成都市都江堰蒲阳污水处理厂。全流程透明:污水变
在日前落幕的第二十三届“深圳(湾区)知名品牌”评选活动中,深圳市清泉水业股份有限公司(以下简称“深圳清泉”)凭借其在水处理领域的技术突破与行业引领力,从数百家参评企业中脱颖而出,荣获“深圳知名品牌”称号。这一荣誉不仅是对深圳清泉品牌实力的权威认证,更彰显了深圳在培育具有国际竞争力
近日,中国市政工程华北设计研究总院有限公司(以下简称“华北院”)与绵阳市水务(集团)有限公司(以下简称“绵阳水务”)在华北院总部正式签署战略合作协议。双方将围绕智慧水务、数字孪生、绿色低碳转型等领域开展全方位合作,共同推动水务行业高质量发展。华北院党委书记、董事长吴凡松,绵阳水务
2025年10月30日-11月1日国家会展中心(上海)崧泽大道333号展会规模:25000平方米主办单位:联合国人居署上海市住房与城乡建设管理委员会执行单位:东浩兰生会展集团上海现代国际展览有限公司东浩兰生会展集团上海建智展览有限公司一、总体情况上海国际城市与建筑博览会(以下简称城博会)作为“世界城市日
基本信息中文名称:2025深圳国际水务科技博览会(IWTE2025)英文名称:ShenzhenInternationalWaterTechnologyExpo2025展会时间:2025年11月24-26日展会地点:深圳会展中心(福田)展会规模:展览面积50000平米,展商1000余家,展位2000个,专业观众35000人次组织机构组织单位《给水排水》杂志社亚太建设科
近日,新疆环保集团与苏伊士环境科技(北京)有限公司(简称“苏伊士科技公司”)围绕污染治理技术及合作方向、环保产业合作、技术创新及战略协同等开展座谈交流,并在污水处理、固危废处置及资源化利用、循环经济等领域达成合作意向,共同为新疆生态文明建设注入新动能。新疆环保集团党委书记、董事长
日前,郑州航空港经济综合实验区第三水厂及配套管网工程(一期)净水厂工程施工总承包中标结果公示。中国建筑第二工程局有限公司中标,中标价(含税):427689558.91元。第三水厂总规模为60万m3/d,一期规模20万m3/d。水厂采用“预臭氧+折板絮凝平流沉淀+后臭氧+上向流活性炭滤+砂滤+超滤膜”的处理工艺
2025年年初,上实环境西岑污水处理厂正式投入商业运行。该厂总投资7.19亿元,占地44.85亩,出水水质执行地表水准Ⅲ类标准,是全国出水标准最优的地埋式污水处理厂之一。流线造型的“水立方”正式投运,不仅标志着长三角生态绿色一体化发展示范区基础设施升级迈出关键一步,更以科技赋能生态治理,为区
注:板块及分会场持续更新中,请以正式通知为准。组织机构01主办单位青岛市人民政府02支持单位世界水理事会(WWC)国际水协会(IWA)中国工业节能与清洁生产协会河海大学膜材料与膜应用国家重点实验室03承办单位青岛市科学技术协会青岛市商务局青岛西海岸新区管理委员会水资源高效利用与工程安全国家工程研
风景如画的取水泵站、古色古香的“园林式”水厂、植被丰茂的全地埋式污水处理厂#x2026;#x2026;不同的是厂站内外各有千秋的怡人美景,相同的是“中国水安全专家”标准化、精细化、智能化的高质量管理运营#x2014;#x2014;2025年,粤海水务进一步锚定“成为一流全产业链水务环保综合服务商”的发展愿景,面
近日,中国市政工程华北设计研究总院有限公司(以下简称“华北院”)与绵阳市水务(集团)有限公司(以下简称“绵阳水务”)在华北院总部正式签署战略合作协议。双方将围绕智慧水务、数字孪生、绿色低碳转型等领域开展全方位合作,共同推动水务行业高质量发展。华北院党委书记、董事长吴凡松,绵阳水务
2025年10月30日-11月1日国家会展中心(上海)崧泽大道333号展会规模:25000平方米主办单位:联合国人居署上海市住房与城乡建设管理委员会执行单位:东浩兰生会展集团上海现代国际展览有限公司东浩兰生会展集团上海建智展览有限公司一、总体情况上海国际城市与建筑博览会(以下简称城博会)作为“世界城市日
企查查显示,近日,四川淼威水务有限公司成立,法定代表人为卢康,注册资本2亿元,经营范围包含天然水收集与分配;自来水生产与供应;污水处理及其再生利用;工程管理服务;水环境污染防治服务;水资源管理等。企查查股权穿透显示,该公司由宁德时代旗下雅江县斯诺威矿业发展有限公司、天齐锂业旗下四
近日,中环水务所属中节能淇县水务有限公司获评国家生态环境部“环保设施向公众开放单位”。截至目前,中环水务已有2家单位获评国家生态环境部“环保设施向公众开放单位”,在2025年世界环境日、世界水日、中国水周期间,共接待参访公众近1000人次。此项荣誉的获得,既是对淇县公司多年生态文明宣传教
“十年磨一剑,一朝试锋芒。”2025年高考战鼓擂响,莘莘学子正式迎来重要的“人生大考”。作为全国水务行业头部企业,广东粤海控股集团下属粤海水务积极践行“品质粤海,幸福生活”的使命担当,以“中国水安全专家”的专业精益服务,全力保障广东、广西、江苏等多省区高考期间供水安全稳定,为高考学子
风景如画的取水泵站、古色古香的“园林式”水厂、植被丰茂的全地埋式污水处理厂#x2026;#x2026;不同的是厂站内外各有千秋的怡人美景,相同的是“中国水安全专家”标准化、精细化、智能化的高质量管理运营#x2014;#x2014;2025年,粤海水务进一步锚定“成为一流全产业链水务环保综合服务商”的发展愿景,面
5月15日,由锦尚新能源集团、天合光能、阳光电源联合主办的「绿电赋能碧水新生——清洁能源点亮低碳水务新时代」交流会在宜兴圆满收官。这场聚焦水务行业绿色转型痛点,通过「光伏+储能」技术与水务场景的深度融合,为水务场景提供了可复制的碳中和解决方案。环保同行:光伏如何重构水务行业「碳轨迹」
2025年5月13日,在太湖之滨的江苏宜兴,水务领域迎来一场里程碑式的合作——富兰克水务(集团)与全球水泵行业领军企业格兰富集团正式签署关于二次供水系统开发的战略合作协议,双方就二次供水系统领域全流程的供应链管理服务展开合作。这一合作标志着我国本土水务企业与跨国技术巨头的深度融合,为全
4月28日,云南水务公告,于2025年4月28日,卖方大理水务产业投资有限公司(公司非全资附属公司)(作为卖方)与买方(大理创新建设开发有限公司)订立交易合同,据此,卖方同意出售及买方同意收购大理第四水厂,代价为人民币8995.26万元。基于公司战略发展及内部管理的需求,公司已决定进行出售事项。董事认
4月9日,湖南省益阳市安化县城乡供水一体化特许经营项目举行签约,中国水务投资集团有限公司所属安化水务有限公司正式揭牌成立。中国水党委副书记、总经理何刚信,湖南省水利学会理事长钟再群出席仪式,湖南省水利工程管理局局长谢石,安化县委书记石录明等出席活动并讲话。中国水华中区域总部临时党委
日前,长治市水务投资建设开发有限公司正式挂牌成立。长治市水务投资建设开发有限公司是经市委、市政府批准组建成立的国有独资市属骨干企业,现有市水利建筑工程有限公司、市水利勘测设计研究院有限公司等子公司。围绕“做强做大水务企业”的总体目标,该公司确立了“厚植水务、聚焦民生、适度多元”的
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!