数据质量管理的数据质量管理评估维度

kuaidi.ping-jia.net  作者:佚名   更新日期:2024-07-23
数据质量管理的MTC-DQM 数据质量管理的方法与步骤

熟悉六西格玛管理的人应该知道,六西格玛强调以事实驱动管理。但事实是用数据说话。映射到六西格玛管理方法,MTC-DQM推荐采用十步数据质量管理方法。1. 定义和商定问题、时机和目标,以指导整个数据质量管理的工作。2. 收集、汇总、分析有关形式和信息环境。设计设计捕获和评估的方案。3. 按照数据质量维度对数据质量进行评估。4. 使用各种技术评估劣质数据对业务产生的影响。5. 确定影响数据质量的真实原因,并区分这些原因的影响的数据质量的级别。6. 最终确定行动的建议,为数据质量改善制定方案,包括数据级和组织级的。7. 建立数据错误预防方案,并改正当前数据问题。8. 通过改进组织管理流程,最大限度控制由管理上的缺陷造成的数据质量问题。9. 对数据和管理实施监控,维护已改善的效果。10.沟通贯穿管理始终,循环的评估组织管理流程,以确保数据质量改善的成果得到有效保持。

软件质量的度量有26个度量方法,每个度量都可以成为一个指标,也可以成为一个维度。

由于数据清洗(DataCleaning)工具通常简单地被称为数据质量(Data Quality)工具,因此很多人认为数据质量管理,就是修改数据中的错误、是对错误数据和垃圾数据进行清理。这个理解是片面的,其实数据清洗只是数据质量管理中的一步。数据质量管理(DQM),不仅包含了对数据质量的改善,同时还包含了对组织的改善。针对数据的改善和管理,主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容;针对组织的改善和管理,主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。
任何改善都是建立在评估的基础上,知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。 完整性 Completeness:完整性用于度量哪些数据丢失了或者哪些数据不可用。
规范性 Conformity:规范性用于度量哪些数据未按统一格式存储。
一致性 Consistency:一致性用于度量哪些数据的值在信息含义上是冲突的。
准确性 Accuracy:准确性用于度量哪些数据和信息是不正确的,或者数据是超期的。
唯一性 Uniqueness:唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。
关联性 Integration:关联性用于度量哪些关联的数据缺失或者未建立索引。 配置管理 Config Management:此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范,即数据的计划、产生、变更直至消亡的过程中,与数据相关的计划、规范、描述是否收到控制。评估指标包括:评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。
培训 Training:此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要;受训的知识和技能是否经过审核和确认,受训的内容是否与企业文化和价值观一致;培训流程是否合理完善等;
验证和确认 Verify & Validation:此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品(数据)满足指定的要求、是否通过“确认”流程保证工作产品(数据)在计划的环境中满足使用的要求;“验证”和“确认”的流程是否完善;
监督和监控 Monitoring:此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度,会导致数据质量低下。监督和监控的流程是否完善。



  • 数据质量管理的数据质量管理评估维度
    答:评估指标包括:评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。培训 Training:此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要;受训的知识和技能是否经过审核和确认,受训的内容是否与企业文化和价值观一致;培训...
  • 数据治理之数据质量评估维度及方法
    答:数据质量评估的维度包括数据完整性、监控覆盖率、任务准确性、告警响应度、任务性能和稳定性、时效性,这些关键性能指标如同数据健康的体检指标。5. 数据质量校验方法 数据质量的校验方法包括完整性、准确性、一致性等方面的检查,以确保数据的健康和准确性。6. 定制化的监控规则 定制化的监控规则是数据质量...
  • 数据质量与数据质量八个维度指标
    答:数据的质量可以通过八个维度进行评估,每个维度都反映了数据的不同方面。这八个维度包括:准确性、真实性、完整性、全面性、及时性、即时性、精确性和关联性。内部数据通常在准确性、真实性和完整性方面表现较好,而全面性、及时性、即时性、精确性和关联性则取决于企业对数据的管理和技术手段。外部数据...
  • 数据治理周周谈(三):数据质量管理
    答:时效性:数据在时间变化中的正确程度。可访问性:数据能被访问的程度。国际数据管理协会(DAMA)在其发布的《DAMA数据管理知识体系指南》提出了其数据质量评估框架:对于数据质量的评估指标在国家标准、国际实践中存在一定的差异,企业应根据自身业务实际情况,在内部管理要求下建设适合的数据质量评估体系、维度...
  • 数据质量与数据质量八个维度指标
    答:数据质量与数据质量八个维度指标 数据的质量直接影响着数据的价值,并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题,还会影响着企业经营管理决策;错误的数据还不如没有数据,因为没有数据时,我们还会基于经验和基于常识的判断来做出不见得是错误的决策,而错误的数据会...
  • 数据质量有几种维度?分别是什么?
    答:真实性 数据必须真实准确的反映客观的实体存在或真实的业务,真 实可靠的 原始统 计数据是企业统计工作的灵魂,是一切管理工作的基础,是经 营 者进行正确经营决策必不可少的第一手 资料。及时性数据的及时性(In-time)是指能否在需要的时候获到数据,数据的及时性与企业的数据处理速度及效率有直接的...
  • 数据质量的八个指标
    答:数据全面性的另一个维度是数据整合,来自不同公司的数据聚合可以拓宽视角,但过度追求可能带来管理上的困扰。我们需要找到平衡,数据关联性是关键,确保各个数据集之间的紧密联系,避免数据割裂和孤岛,使其发挥最大价值。总的来说,数据质量的八个指标环环相扣,每一个都至关重要。只有在实践中不断优化...
  • 质量管理的三个维度
    答:质量管理存在着三个维度,分别是维度一:态度;维度二:制度;维度三:技术。这三个维度相辅相成,在不同的产品及不同的管理模式,这三个维度发挥着不同的作用,因此我们无法严格区分哪个维度更重要的,换句话说我们无法区分我们可以忽略哪个维度。以下是我帮大家整理的质量管理的三个维度内容,仅供参考,...
  • 质量管理的三个维度
    答:1. 态度维度:代表人物是美国ITT公司的P.B.克劳斯比,他强调“第一次就把工作做对”是最经济的做法,并提倡零缺陷作为质量的唯一业绩标准。他认为,建立零缺陷和始终保持正确态度是实现目标的关键。只有当每个员工都持有零缺陷的心态,并致力于一次性做对工作,质量管理的成效才能达到最佳。然而,即使员工...
  • 什么用于提供数据的质量,即数据
    答:确定需要做数据质量监控的数据指标项,通常会对数据运营和相关管理报告至关重要的数据项。评估需要使用的数据质量维度及其权重值。对于每个数据质量维度,定义表示标准质量和质量差数据的值和范围。特别需要注意的是:同一个指标名称,可能会有不同的度量规则,因此需要执行许多不同的数据质量评估。反复查看并...