登录注册
请使用微信扫一扫
关注公众号完成登录
我要投稿
2019年以来,深水集团、杭州水务集团、重庆水务集团、苏州水务集团、郑州供水等众多大、中型水务企业相继启动了数据治理和大数据中心建设项目,水务行业如此密集地开展数据治理和数据中心建设,智慧水务的建设重心逐步发展变化:由建设营收、GIS、SCADA等MIS系统为主的业务数据化,逐步转变至以数据治理和大数据为主的数据业务化;由偏向于数据的生产转为更注重数据资源的管理和数据资产化,水务行业数字化转型迎来新的发展阶段。
图1 数据治理及大数据中心建设是热点
在杭州水务集团、郑州供水、苏州水务集团、江苏中法水务等多家水务企业的数据治理及大数据中心建设工作中,数据仓库建模方法论是一致的,但由于水务行业特性、业务场景的不同,在不同的水务企业,基于大数据的数据仓库建设无法按照统一的项目流程、开发模式进行,更多的是需要根据具体的业务场景结合新的技术体系进行灵活调整,以满足水务企业的实际情况和具体需求。
图2 某水务集团数据仓库工作历程
在实际数据仓库建设中,考虑到底层建设的工作量大,过程时间长,内容比较抽象、不易理解等特点,我们先对水务企业现有的数据资源进行盘点和评估,科普大数据中心建设知识,梳理各条业务线的大数据应用场景,确定数据入仓的范围,挑选各部门需求程度最高的大数据应用场景进行优先建设,一方面能快速看到数据仓库建设成果,另一方面也可以及时发现和调整建设过程中出现的问题,总结经验,为其他大数据应用场景建设打下基础,提高数据仓库建设效率,降低成本。
在数据仓库建设过程中,各水务企业数据仓库建设流程也会有所区别,但主要流程和重点环节基本一致,主要流程和重点环节介绍如下:
图3 数据入仓流程图
一、元数据采集:制定出各信息化系统的元数据清单
根据前期的需求调研,确定本次入仓的信息化系统,并向系统维护人员收集系统操作手册、数据字典等文档以及系统数据库相关信息。通过数据采集工具对各系统数据库的表和字段进行采集,结合各系统文档,确定数据库中所有表和字段的中文含义及字段的数据类型,形成元数据清单。
以营销管理系统数据入仓为例,需要明确哪张表是客户表,哪张是收费表,以及表中每个字段的中文含义。有些系统文档由于没有及时更新,与现有系统数据有不一致情况,则需要信息管理部门与系统开发厂家支持,获取比较准确的元数据清单。
图4 数据采集范围
二、数据筛选:在元数据清单基础上筛选出需要入仓的数据,制定入仓清单
针对元数据清单进行进一步的数据筛选,去除临时表和空表等无用表,确定核心数据表和维度表,提供给信息管理部门进行确认,形成最终入仓的数据表清单。
经过第一步元数据采集,形成元数据清单的过程,可以比较容易的识别出临时表和空表,重点放在空表是否确实为无用表上即可。
三、数据入仓:根据各数据表实际情况,制定出入仓方案,通过专用ETL工具将数据抽取至镜像数据仓库
根据待入仓的数据表清单,以及每张表的实际情况,制定出源数据和镜像数据仓库表之间的字段的映射关系,确定出每张表的入仓策略和抽取规则,是实时抽取还是定时抽取,是全量出抽取还是增量抽取,将规则配置入ETL工具,执行数据入仓。
将数据汇入镜像数据仓库时,因为数据通常来自多个系统多个数据库最终进入同一仓库中,镜像数据仓库对于数据表的命名有专门的原则和规范,与源数据库的表名会有所不同,需要将表名之间的映射关系做好记录,同时制定好每张表的同步规则,如考虑业务系统晚上使用较少,数据同步时间一般放在晚上,错峰同步;
以营销管理系统为例,系统中的组织机构表、客户表等数据不多、变化较小的表可以全量同步,而像抄表数据、收费数据等数据量较大的表可以使用增量同步。
四、数据质量检查:制定数据质量检查规则,定时进行数据质量检核,提升企业数据质量
根据元数据清单以及业务含义,定义出数据质量检查规范、评分标准、及每个字段检查规则,如户号是否唯一,手机号是否为11位数字,身份证号是否为国家规定的15位和18位规则,抄表读数是否为合理的数字范围等。
经过数据质量检核清洗,形成数据质量报告,并将报告结果和未通过检核的明细记录反馈至源系统,形成闭环,PDCA持续提升源数据库的数据质量。通过数据质量检核的数据,进入标准化数据仓库,供主数据管理和数据集市使用。
五、建立数据集市:从业务角度对入仓数据进行梳理,制定数据资产目录以及主数据和业务模型等数据标准,最终形成数据集市
对数据入仓清单进行专题数据识别,划分数据分类与主题,形成数据资产目录,制定出主数据和业务模型等相关数据标准。
制定数据资产目录主要是为了让非技术人员了解企业有哪些数据,因此在制定过程中一般从业务角度进行分类制定,方便业务人员理解。制定数据标准时,一方面需要考虑与现有系统的兼容性,另一方面应重点考虑未来的扩展性和统一性,方便企业对数据的应用,也为新系统建设提供指导。
六、数据应用:建设数据仓库最终是为了更好的应用数据,充分发挥数据在生产运营、营销客服、管理管控中的最大价值
通过数据仓库,水务企业可以拆掉“烟囱”,打破各系统中的数据壁垒,实现真正全面数据共享,同时也让水务企业的分析统计维度获得全面的提高,为企业管理带来新的视角和手段。
数据共享不仅让水务企业内部与外部、部门与部门间的数据获取与共享更方便更快速,也让每一位员工能够获取更全面的信息,提高工作效率,如客服人员不再只能查询营销管理系统内的用户信息,还能知道用户所属的二次加压泵房的工作状态、最近一次水箱清洗的时间、最近一次水质检查结果、附近管网情况、是否有抢修停水情况发生、当天附近是否还有其他用户来电反应相同事件、用水由哪几个水厂提供、附近是否有工作人员可以快速上门、用水由哪几个水厂提供等,真正实现从水源到龙头的管理。
同时通过基于AI算法的客户画像功能,可以识别出更多客户特征,方便业务人员为客户提供更为精细化有针对性的服务,如独居老人关怀、重点用户识别、异常用水分析、工作质量分析、客户服务分析等,支撑精准服务、个性化和主动服务,持续提升客户体验和获得感。
随着《关于加快推进国有企业数字化转型工作的通知》、《关于加快构建全国一体化大数据中心协同创新体系的指导意见》等众多利好政策的推出,数据作为重要的生产要素将逐步成为水务企业的经营理念——凭数据工作、凭数据决策、凭数据指挥。
特别声明:北极星转载其他网站内容,出于传递更多信息而非盈利之目的,同时并不代表赞成其观点或证实其描述,内容仅供参考。版权归原作者所有,若有侵权,请联系我们删除。
凡来源注明北极星*网的内容为北极星原创,转载需获授权。
近日,北控水务集团轻资产科技平台公司——北水未来科技公司(简称“北水科技”)、北水云服公司(简称“北水云服”)在京揭牌成立。近年来,水务企业在轻资产业务方面的加速布局日益受到重视,多家公司也已在这一领域取得了显著的进展。北控水务2024年是北控水务集团正式开启轻资产转型“元年”。为锚
【开篇语】水,是生命之源、生产之要、生态之基。我国水资源总量排名世界前列,但人均水资源占有量仅为世界平均值约四分之一,由于整体时空分布不均衡,不少地区面临着水资源短缺的问题。当前,深入贯彻习近平生态文明思想,牢固树立绿水青山就是金山银山的理念,将节约用水贯穿于经济社会发展的全过程
北极星水处理网对65家水务上市公司2023年总市值进行了汇总,发现有39家企业市值上涨,25家企业市值下滑,1家企业市值无变化。市值超百亿的有8家企业,其中重庆水务、首创环保、碧水源位列前三。2023年65家水务上市公司总市值排行榜如下:据北极星水处理网统计,截至2023年12月29日股市收盘,65家水务上
2020年9月,习总书记在第75届联合国大会上郑重提出,“我国CO2排放力争于2030年前达到峰值,努力争取2060年前实现碳中和”。水务行业作为能耗较密集的行业,对电力、化学药剂的消耗都直接或间接促使大量温室气体排放。因此,尽快通过技术创新、能源高效清洁利用、智能生产等手段实施低碳变革,降低行业碳排放
导读:2020年9月,习总书记在第75届联合国大会上郑重提出,“我国CO2排放力争于2030年前达到峰值,努力争取2060年前实现碳中和”。水务行业作为能耗较密集的行业,对电力、化学药剂的消耗都直接或间接促使大量温室气体排放。因此,尽快通过技术创新、能源高效清洁利用、智能生产等手段实施低碳变革,降低行业
近年来,安徽省合肥市瑶海区对二十埠河、小板桥河、南淝河等河流深入实施水环境整治行动,以系统治理和生态修复为本,促进水质净化和生态恢复,巢湖流域水环境得到不断改善。南淝河初期雨水截留调蓄项目由中建新疆建工(集团)有限公司与中建环能科技股份有限公司共同承建,位于合肥市瑶海区滨河路与郎
7月27日,安徽舜禹水务股份有限公司(下简称“舜禹股份”)正式登陆深交所创业板,成为今年合肥新增的第7家上市公司。舜禹股份成立于2011年,是一家注册于合肥市长丰县双凤经济开发区的国家高新技术企业,主营业务包括二次供水和污水处理业务。经过多年发展,公司积累了丰富的研发经验和客户资源,凭借
今年3月,中共中央、国务院印发了《数字中国建设整体布局规划》,明确指出建设数字中国是数字时代推进中国式现代化的重要引擎,成为智慧水务发展的强烈助力。目前我国智慧水务行业正处在快速发展期,越来越多的水务企业陆续瞄准市场,通过多种方式布局智慧水务领域,成立下属智慧水务科技公司成为一个
近日,安徽舜禹水务股份有限公司(以下简称“舜禹股份”)成功在深圳证券交易所创业板上市。舜禹股份首次公开发行的41,160,000股人民币普通股(A股)的申请已经通过深交所创业板上市委员会审议,并获得中国证券监督管理委员会的注册批准(证监许可〔2023〕1173号)。舜禹股份的成功上市标志着其在水务
位于福建漳州的角美城市污水处理厂二期扩建工程是一个“地下式污水处理厂+地上绿色公园”的综合性市政工程,厂区设施全部建于地下,既能有效降低空气污染,又能提升地上空间综合价值。据报道,该项目总投资6.8亿元,投用后,预计达成每日处理污水量达十万吨,可承担全区95%以上的污水处理任务。目前,
住建部数据显示,2016年以来,我国污水处理厂建设不断加快,污水处理能力日渐增强,污水年处理量、污水处理率持续稳步增长。近两年,多省号召全面推进污水处理工作进程,相关行业进入爆发期,但新的问题随之而来——能源消耗。2018年全国用电调查显示,污水处理厂电力资源消耗总量占据全国总电量的3%。
沂水荡荡、运河潺潺,苏北古城邳州因水而兴,水域面积占市域面积的近20%,悠悠大运河、清清大沂河、弯弯六保河共同勾勒了一幅水乡图景。自2019年投入邳州水务服务事业以来,粤海水务坚定践行“供水为民,利兴发展”的国企担当,重点围绕邳州城乡供水一体化项目,高质量建设运营邳州市土山水厂,持续投
3月1日上午,福州水务集团有限公司与上海威派格智慧水务股份有限公司举行交流座谈会暨战略合作协议签约仪式。上海威派格公司总经理柳兵,公司华南大区总经理王江江,研究院副院长丁凯,福建分公司总经理李晓东,投资经理徐芙蓉,解决方案中心副总监,研究院解决方案专家滕立勇、张璐怡,华南大区解决方
【开篇语】水,是生命之源、生产之要、生态之基。我国水资源总量排名世界前列,但人均水资源占有量仅为世界平均值约四分之一,由于整体时空分布不均衡,不少地区面临着水资源短缺的问题。当前,深入贯彻习近平生态文明思想,牢固树立绿水青山就是金山银山的理念,将节约用水贯穿于经济社会发展的全过程
岁月,是一本厚厚的相册,那些属于一群人、一座城、一个时代的难忘故事,总会在其中留下来自记忆的经典照片。而这一张,无疑亦是其中之一。由粤海水务负责运营管理的东江-深圳供水工程(以下简称“东深供水工程”),是党中央为解决香港饮水困难而兴建的大型跨流域调水工程。60年前的今天,该工程正式
北极星水处理网获悉,经过一年多的建设,天津市宝坻区潮新污水处理厂近日已正式投入使用。据了解,潮新污水处理厂位于潮阳街道污水处理厂西南侧,日处理规模为2.5万吨,能够满足潮白河以南、高铁枢纽站区域内10平方公里范围10万人口的日常污水处理需求。该污水处理厂采用全新智慧水务控制系统,利用互
1月18日,广西钦州市水务综合提升项目(钦州市智慧水务一期)公开招标,招标人为钦州市开投水务有限公司,预算金额285.215133万元。
2024年1月16日,陕西渭南城区雨污水泵站扩容改造及仓程路雨污分流工程EPC总承包及监理标段发布招标资格预审公告,项目总投资额约18000万元。本项目共划分为二个标段,其中第一标段为EPC总承包标段;第二标段为监理标段。工程规模:①城区雨污水泵站扩容改造工程主要对中心城区4座雨污水泵站进行提升改
近日,国家市场监督管理总局致函湖北省人民政府,批准依托武汉市城投集团公司所属水务集团筹建国家计量数据建设应用基地(城市水资源),这是目前国内首个获批的国家城市水资源计量数据建设应用基地。◎依托智慧水务平台构建的全市供排水调度指挥服务系统“筹建国家计量数据建设应用基地(城市水资源)
近日,住房和城乡建设部科技与产业化发展中心发布2023年智慧水务典型案例,合计典型案例19项,包括常州排水“源网站厂”一体化数字运营平台、智慧水厂生产运营管理系统项目、六安城市水管家集控系统研制及示范应用等。关于发布2023年智慧水务典型案例的通知有关单位:为深入探索智慧水务建设运营模式,
12月28日,泉州市2023项目奋战年四季度重大项目暨重点招商项目举行视频连线开竣工活动。本次视频连线集中开工的项目是德化县城区水环境综合治理工程。德化县城区水环境综合治理工程总投资7.79亿元,是城建环保重大项目,主要包括污水厂改扩建,建设智慧水务平台和各类管线30多公里、智能截流井40座等。
12月15日,由中国科学院城市环境研究所、厦门市生态环境局、中华环保联合会联合主办的第四届海峡城市环境论坛在厦门国际会议中心盛大开幕。论坛以“科技赋能减污降碳推动绿色产业高质量发展为主题,汇聚了中国工程院院士杜祥琬、陶澍、贺泓、任洪强,美国国家工程院院士裴有康,国际木材科学院院士金永
北极星水处理网获悉,据中国南水北调集团官网消息,2024年3月27日,中国南水北调集团有限公司召开中层以上管理人员大会。中央组织部有关负责同志宣布了党中央关于中国南水北调集团有限公司董事长、党组书记调整的决定:汪安南同志任中国南水北调集团有限公司董事长、党组书记,免去其中国南水北调集团
近日,北控水务集团轻资产科技平台公司——北水未来科技公司(简称“北水科技”)、北水云服公司(简称“北水云服”)在京揭牌成立。近年来,水务企业在轻资产业务方面的加速布局日益受到重视,多家公司也已在这一领域取得了显著的进展。北控水务2024年是北控水务集团正式开启轻资产转型“元年”。为锚
今年3月,中共中央、国务院印发了《数字中国建设整体布局规划》,明确指出建设数字中国是数字时代推进中国式现代化的重要引擎,成为智慧水务发展的强烈助力。目前我国智慧水务行业正处在快速发展期,越来越多的水务企业陆续瞄准市场,通过多种方式布局智慧水务领域,成立下属智慧水务科技公司成为一个
据鄂州市纪委监委网站4月25日消息,鄂州市水务集团有限公司党委委员、副总经理肖斌涉嫌严重违纪违法,目前正接受中共鄂州市城控集团纪委和梁子湖区监委审查调查。据官网显示,鄂州市水务集团有限公司前身为鄂城县城关镇水厂,始建于1963年。2014年8月,在原市玉泉自来水有限责任公司基础上组建成市水务
12月30日,郑州水务集团有限公司正式揭牌。自2020年起,水务行业集团化、规模化的趋势愈发明显,包括万家寨水务、陵水县黎族自治区水务集团、宁波市水务环境集团、杭州市水环境发展集团、福建省水务集团、东莞市水务集团供水有限公司在内的地方水务集团相继成立,它们注册资本动辄几亿、几十亿,企业通
时间来到9月初,水务上市公司2022年中期业绩披露完毕,北极星水处理网整理了58家水务上市公司2022年中期业绩数据。看完只能说,在整体经济下行及疫情影响的大的态势下,诸多水务项目放缓,大部分水务企业出现了业绩下滑,区别只是有的下滑一点点,有的下滑很多点……真正“逆风飞扬”的企业可谓寥寥。
近年来,随着国家智慧城市、水十条等多个与水环境相关的政策出台落地,以及物联网与工业互联网先进技术的发展,智慧水务产业潜在需求巨大。研华作为物联网智能系统及嵌入式平台产业的实力企业,以数据采集及全面感知构造工业物联网基础,提供整体架构解决方案。DeviceOn/BI正是研华打造的智慧水务云端
2022年全球水奖获奖结果公布!2022年5月17日,备受全球水圈高度关注的2022年全球水峰会(GlobalWaterSummit)在西班牙马德里隆重举行。本次水峰会的会议以“低碳水未来”(Water-PositiveZeroCarbon)为主题,吸引了来自全球70个国家1000多位工业企业、政府和国际水务公司高层领导者的积极参与,演讲嘉
据北极星水处理网统计,2022年4月开标亿级水处理项目19个(含部分预中标,不含上个月已统计的预中标,不含供水),数量上较前几个月比明显下滑,19大项目涉及14大省份,总投资额263.75亿元。4月,站在风口上的EOD项目继续稳居C位,几个大单接踵而至,在投资总额上弥补了落地订单数量不够多的遗憾。据北
盐湖提锂火了!在水务企业2021业绩整体表现不尽人意之时,很多企业开始将目光瞄向新的领域,而盐湖提锂这个站在“最强风口”上的赛道成为了如碧水源、巴安水务、久吾高科等膜分离技术企业的新的选择。那么,龙头企业们纷纷布局的“盐湖提锂”究竟是什么?他们为什么选择了这个赛道?盐湖提锂站上新风口
4月结束,水务上市公司2021年业绩披露完毕,北极星水处理网整理了56家水务上市公司2021年业绩数据,与大家共同关注水务行业发展态势及水务企业的“命运沉浮”。营收百亿级水务企业凤毛麟角据北极星水处理网统计,56家水务企业中,营收超百亿的仅3家,可谓凤毛麟角,分别为北控水务(278.8亿港元)、首
请使用微信扫一扫
关注公众号完成登录
姓名: | |
性别: | |
出生日期: | |
邮箱: | |
所在地区: | |
行业类别: | |
工作经验: | |
学历: | |
公司名称: | |
任职岗位: |
我们将会第一时间为您推送相关内容!