彭健恩
摘 要:数据质量管理是信息系统管理的重要内容之一,决定一个信息系统项目的成败,良好的数据质量有助于得出正确的企业决策信息,正确的企业决策信息能帮助企业在激烈的市场竞争中突围而出。本文先简单介绍数据质量管理和目前数据管理方法,再从如何解决现今数据质量管理中存在问题阐述了笔者对于数据质量管理的未来发展方向——数据质量认证的探讨。
关键词:数据质量管理 数据质量标准 数据质量认证 未来发展
中图分类号:F22 文献标识码:A 文章编号:1672-3791(2017)10(b)-0242-03
数据质量管理(Data Quality Management),是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
数据质量管理是螺旋上升管理过程,其最终目标是通过提升数据可靠性来提升数据使用价值,并最终为企业获得经济效益。
目前数据质量管理常用MTC-DQM来做数据质量管理,其方法与步骤如下所述。
熟悉六西格玛管理的人应该知道,六西格玛强调以事实驱动管理,但事实必须以数据来支撑。反映到六西格玛管理方法,MTC-DQM推荐采用十步数据质量管理方法,见图1。
总的来说就是通过不断对数据循环检查整改纠正数据错误、改善数据错误管理措施,最终使数据质量螺旋上升。
1 现今数据质量管理中存在的常见问题
目前大多数企业采用MTC-DQM来做数据质量管理,其实质是做数据质量控制管理,管理思路是通过技术手段寻找出问题然后整改,然后通过改善管理,最后使数据质量“完美化”,这样的管理方法较适合于信息系统刚开始进行数据质量管理的阶段,随着信息系统的数据质量不断改善达到一个较高水平的时候就会存在以下问题。
(1)数据质量控制缺乏统一数据质量标准管理。
通常信息项目建设需求分析阶段,没有提出数据质量要求或数据质量要求很笼统,所以自然就没有统一的数据质量标准,而数据质量控制工作常在系统已建设完毕才开始,数据质量标准往往很不明确。由于数据质量标准不明确,初期数据质量整改会很顺利,但一段时间后就会容易出现盲目数据整改,越整改问题越多的现象,数据质量水平呈现出像波浪起伏一样的不稳定状态。
(2)数据质量管理通常是对全库数据定期检查来实现,容易造成资源浪费。
目前数据质量管理在实际中都是通过执行周期性检查来进行质量控制。所以常对早已验证过无问题的数据反复校验检查,导致数据质量检查花费时间过长和消耗资源过多,而且数据量越大,花费时间和消耗资源就会直线上升。这样既降低数据质量检查效率,又浪费资源,是数据质量控制急需改进的缺点,但目前只能在技术层面上做一些改进,效果也并非理想。
(3)数据质量控制使用的检查、整改、验证技术、方法以及工具缺乏认证。
现在市面流行数据质量检查、整改技术、方法以及工具都是各软件公司根据工作经验积累做出来的,并没有验证过这些技术、方法以及工具是否通用,导致使用这些技术、方法以及工具反复多次检查、整改后仍然不能确定数据是否质量合格,更严重时会出现同一数据经不同数据检查工具校验得出不同结论的情况。
(4)数据质量控制过度偏重于数据质量检查、整改,轻视数据录入时的质量管理。
数据质量控制往往过度偏重于数据质量检查和数据质量整改,基本一提起数据质量控制就出现管理部门如何编写更完善的检查脚本,执行部门如何执行整改脚本,却没有针对其他环节的管理,如加强数据标准管理、数据录入管理,加强数据整改后验证管理等。
2 数据质量未来发展方向——数据质量认证
在现今社会信息化越来越重要,企业决策信息的准确性取决于企业数据的准确性,数据质量有必要提升到一个新的高度。但系统数据规模不断膨胀,每次全面的数据检查花费的时间由原来的小时级发展到现在的日级,未来很可能会达到周级、月级,其耗费的资源更是增长的令人难以忍受。传统的数据质量管理方法(数据质量控制)日益无法适应新的需求。针对现今数据质量管理存在的问题,应当转变思路由寻找问题数据转变为寻找正确数据,由数据质量控制转变为数据质量认证。
数据质量认证就是管理确认系统数据是否符合数据质量要求的全过程,其管理思路是寻找信息系统数据中哪些数据的数据质量是符合数据质量要求的。其管理过程是先确立数据质量标准,再通过标准技术和管理手段在信息系统数据中进行数据认证找到符合数据质量要求的数据,然后对不符合数据质量要求的数据进行改良再认证不断循环该过程,最终使信息系统数据完全符合数据质量要求。其管理目标是为信息系统提供可靠的数据同时减少资源的浪费,最终为企业决策信息提供坚实的数据基础同时提升资源使用效率,见图2。
数据质量认证应以下三点为基础。
(1)建立以已确认的信息系统需求为中心数据质量认证标准。
在质量管理中,提出满足要求的产品就是合格的产品,同样满足要求的数据就是合格的数据,数据质量管理就是满足要求的数据管理过程。数据质量要求应是通过用户确认同意的系统需求。系统数据通过校验是否满足数据质量要求,即可认证数据是否合格可用。只要系统需求不变更,数据没有更改,下次就无须再次校验,当系统需求变更或数据更改时,只需按系统需求变更或数据更改的内容,针对涉及变更范围的数据重新认证,这样就可以最大限度节省校验时间,亦可大量节省校验花费的资源。
(2)统一数据质量管理所使用技术、方法以及工具。
通过统一数据质量管理所使用技术、方法以及工具,建立如同ISO一样的标准体系。这样数据质量认证能够规范化、标准化,从而实现对数据质量的规范化、标准化,使数据质量由不可控变为可控,有效避免出现同一数据经不同数据检查工具校验得出不同结论的情况。
(3)建立全面数据质量管理。
近来随着信息化的深入发展,尤其是大数据时代的来临,数据质量方面的工作也由原来的对数据质量的检查和整改发展到建立全面数据质量管理(Total Data Quality Management,TDQM),建立科学、完整的数据质量评价和管理体系,就必须推行全面数据质量管理(TDQM)来提升数据质量。为了高水平的数据质量,必须从产生数据的源头抓起,对数据运行的全过程进行监控,密切关注数据质量的水平变化,以管理为切入点,强化全面数据质量管理的思想观念,为数据在其生命周期每一个阶段尤其是数据产生阶段就能够保证正确,就必须做好全面数据质量管理。由此可见数据质量认证必须建立在完善的全面数据质量管理之上,全面数据质量管理将为数据质量认证提供坚实的理论基础和技术支持。
3 结语
数据是每个企业最具价值的无形资产,企业的业务绩效直接与数据质量存在着直接联系,高质量的数据可以使企业拥有在任何时期立于不败之地的竞争力。因此,在信息系统数据质量未来发展方向中,数据质量管理既是一个管理体系保证企业数据的可用性,同时数据质量管理也是一项投资,应以最小资源花费代价得到最多的可用数据,企业才能通过数据分析、数据挖掘提炼出对企业有帮助的决策信息,最终使企业竞争力得到提升。而只有数据质量认证才能满足这样的要求,而传统的数据质量控制是达不到的这样效果的,因此数据质量认证才是未来的数据质量管理发展方向。
参考文献
[1]江疆,黄剑文,杨秋勇.基于广东电网大数据的数据质量管理方法[J].现代计算机,2016(7):88-91.
[2]商广娟.有效的数据质量管理体系——21世紀管理的基石[J].航空标准化与质量,2005(2):18-22.
[3]谷斌.信息系统建设中的数据质量管理体系研究[J].情报杂志,2007(5):65-67.endprint



