有了可靠的数据质量识别技术 ， 我们就可以在数据仓库层面游刃有余地解决数据质量问题了 ， 这也就是我们所说的末端数据治理 。
具体的末端数据治理技术架构如下图所示 。


文章图片

文章图片

图 企业末端数据治理技术架构
从上图可以看出 ， 所谓的末端数据治理 ，是指数据被集成到原业务系统外的某个区域（一般指数仓的ODS层 ， 即数仓的操作数据存储层）后集中进行质量识别、处理的过程 。此模式适用于金融、保险等服务型企业以及战略管控型或者财务管控型的大型企业集团（央企或者大型国企）的顶层数据分析情况 ， 金融、保险公司没有物资类数据 ， 战略管控型或者财务管控型的大型企业集团（央企或者大型国企）大部分数据来源于二、三级单位上报的数据 ， 本部系统比较简单 ， 数据量较少、较单一 。
综上 ， 可以看出源端数据治理是直接针对业务系统数据源头质量的影响 ， 末端数据治理属于针对数据汇集后的数据质量的影响 。事实证明 ， 两种数据治理模式对数据质量的影响都无法达到最彻底的程度 ， 如源端数据治理很难通过正则表达式等的校验方式发现例如错别字等的问题 ， 末端数据治理也很难通过纯AI等的检测方式发现工业企业特有的物资类数据的深层次质量问题 。
因此 ， 中翰软件源端+末端数据治理的方案现阶段得到了很多工业企业的认可并选用 ， 具体如下图 。


文章图片

文章图片

图 源端+末端数据治理模式
工业企业数据治理经验证明 ， 纯源端数据治理模式可以实现70%左右的数据质量的解决 ， 侧重在数据仓库端解决数据质量的末端数据治理模式只可以实现50%左右数据质量的解决 ， 源端+末端的数据治理模式可以实现95%左右数据质量的解决 。（山东中翰软件有限公司）
来源：中国发展网

• 爱立信起诉苹果公司5g专利费用纠纷电信企业再次起诉
• 人类与AI如何共处？诺奖科学家、将棋天才、“低欲望社会”提出者的不同解答
• 2022首场工业数字化供需对接大会举办
• 九部门：严打平台企业超范围收集个人信息行为
• “亚洲锂都”积极推进“5G+工业互联网”赋能产业转型升级
• 中国百年矿业学府与智能工业新势力的完美结合
• 上市企业“海选”数字转型解决方案，这条“开放式创新”的路走对了
• 工信部公示工业互联网试点示范项目 浪潮云洲多个项目入围
• 签约！国内领军企业落户马鞍山
• 和数研究院被授予首批苏州工业园区“区块链重点企业”