在全球数字化转型的浪潮下,数据逐渐成为推动经济和社会发展的核心资源之一,是重要的生产要素。随着大数据、人工智能和物联网等技术的迅猛发展,数据产品和服务的应用范围不断扩大,涵盖了从金融到医疗,从制造业到零售业等多个行业领域,数据产品质量对其在场景中的应用效果影响愈加重要。
2021年发布的《“十四五”大数据产业发展规划》,强调推动数据产品化、加强数据产品质量评测体系建设的重要性。《关于构建数据基础制度更好发挥数据要素作用的意见》鼓励企业积极参与数据要素市场建设,加强数据质量的建设与治理。2024年国家发展改革委、国家数据局等部门联合印发了《国家数据标准体系建设指南》,要求建立数据质量管理标准,规范数据全生命周期质量的管理、管控与评价,包括数据质量评价指标、评价方法等标准。
以上政策都强调了提高数据质量水平,建立数据产品质量评价标准体系,是促进数据要素市场有效流通的重要内容。
现有数据质量评价标准基础指引
目前,各地发布了数据质量评价相关标准,用以规范数据质量评价。其中,国家标准《信息技术数据质量评价指标》(GB/T 36344-2018),规定了数据质量评价的相关指标,包括规范性、完整性、准确性、一致性、时效性和可访问性等指标。金华市发布地方标准《公共数据质量评价规范》(DB3307/T 137-2024),规定了公共数据质量评价的评价指标体系框架、评价指标以及评价程序的要求,适用于公共数据平台上公共数据的质量评价,主要包括基础质量、使用成熟度、服务保障、共享成效等维度的质量评价指标体系。浙江省信息产业质量协会发布团体标准《产业数据仓 数据质量评价规范》(T/ZXCH 0013-2022),规范了产业数据质量评价指标框架,包括数据唯一性、数据时效性等指标,同时也提出了指标的计算方式等内容。
通过数据质量评价标准的制定,规范化数据质量评价体系和完善评价要求,有效促进数据质量的提升。一方面,有助于促进数据要素的高效流通,另一方面,能够为企业战略决策提供可靠依据。这有助于确保企业在数字化转型过程中充分利用高质量的数据资源,实现更加精准、高效的运营管理。
数据产品质量评价标准及技术体系建设难题
尽管当前已经发布了相关数据质量评价标准,但在建设全面的数据产品质量评价体系方面仍面临诸多挑战。
一是缺乏全面、系统化的数据产品质量评价体系,目前的数据产品质量评价大多集中在传统的数据质量维度(如准确性、完整性等),而忽视了对数据产品的其他关键质量属性的评估,如数据产品生产质量、数据产品应用效果等,这导致现有的评价过程未能实现一个从“数据资源”到“数据产品”演进的系统化、多维度的数据产品质量评价框架。
二是自动化与智能化水平不足,当前的数据质量评估高度依赖人工操作,尤其是在面对多源异构数据和海量信息时,这种模式不仅效率低成本高,还容易引入主观偏差。随着数据量的增长和技术复杂度的提升,传统的人工评估方式越来越难以满足高效、准确的要求,亟需引入更先进的自动化工具和智能算法来辅助或替代人工劳动。
三是多场景下的差异化评价需求,不同数据产品质量评价场景对评价维度各有侧重,这些差异贯穿于数据产品的整个生命周期。为了确保数据产品在不同环节中的适用性和可靠性,需要实现数据产品治理开发运营中的质量全周期闭环管理,同时也要实现在数据产品进行流通交易前的质量评估。
数据产品质量评价未来发展趋势与创新方向
促进数据产品质量评价标准体系多元化发展。数据产品的质量评估要实现多维度评估,构建一个多维度、综合性的评估框架,不仅应涵盖传统的数据质量维度,还应扩展至数据产品生产质量和数据产品应用质量等多个方面进行全面考量。此外,评估不仅要满足基础的技术和质量要求,还需结合具体的业务需求、数据应用场景定制化设定评价指标,确保评估结果能够真实反映数据产品在特定领域的有效性。最后,针对不同行业和应用场景的特点,建立灵活且针对性强的评价指标体系,以适应多样化的需求和挑战。
数据产品质量评价智能化与自动化。数据质量评价的发展趋势正朝着智能化与自动化的方向迈进。利用机器学习与AI算法,自动检测数据质量问题并识别潜在风险,提升数据质量管理效率。建立全面的自动化数据质量评估平台,涵盖元数据采集、数据监控、质量评估与数据修复等功能。通过评估结果实施数据去重、纠错和修复等质量控制措施,提升数据的质量和决策支持能力,推动科学、高效的决策过程。
推动多场景数据产品质量评估应用与闭环管理。实现数据产品质量在多场景下的有效管理,一是数据产品上架和流通交易前,进行数据质量评估,确保数据可靠性和交易透明度。二是定期开展数据质量监测,及时发现并反馈质量问题,针对性地进行数据治理,确保评估、反馈和优化形成闭环管理。同时,基于质量评估结果,为数据产品定价提供依据,并增强买家对数据的信任,降低交易风险,提高供需匹配效率。
国网浙江“三个探索”构建电力数据产品质量评价标准及技术体系
在数字化转型的浪潮中,浙江省新型重点专业智库国网浙江省电力有限公司经济技术研究院支撑国网浙江省电力有限公司不断提升数据治理能力,深入推进数据主人制,建立涵盖数据主人认定、数据主人工单管理、数据问题管理等多个数据质量管控内容的机制,积极提高数据治理能力,发挥数据作为生产要素的放大、叠加、倍增作用,助推数字化转型。同时,为进一步提高数据产品质量,积极应对数据质量管理的新挑战,探索构建全面的数据产品质量评价标准体系以及自动化的评价技术工具。
一是探索构建多维度的电力数据产品质量评价标准体系。浙江省新型重点专业智库国网浙江省电力有限公司经济技术研究院支撑国网浙江省电力有限公司创新构建多维度的质量评价标准体系,不仅包括数据产品数据样本质量,同时还包括数据产品数据目录质量、数据产品生产质量、数据产品应用效果质量等多个维度,涵盖完整性、时效性、目录规范性、目录完整性、质量管理、数据安全、市场应用等多个评价指标。
二是探索研究电力数据产品质量评价工具。为实现更高效的数据产品质量评估,研究设计数据产品质量评价工具,实现对数据产品质量的自动化评价管理。包括质量标准管理、评测任务管理、评测结果管理等多个方面,涵盖元数据采集、质量标准管理、质量评测等功能,满足对数据产品的自动化管理与评估。此外,将数据产品质量评测得到的问题数据进行派单整改,实现对数据产品质量的闭环管理。
三是探索实现智能化、自动化数据质量评价与监测。初步开展大数据AI智能推荐数据产品质量评价规则研究,以期实现对数据产品评价规则的高效选取。同时,利用人工智能技术包括机器学习、深度学习等技术,对评价规则进行自动化检测并协助评估指标得分。此外,对问题数据实现全面监测与记录,并进行智能整改,以提高数据产品质量。(钱江晚报潮新闻客户端 通讯员 袁翔 俞楚天 张一泓 孔俊 李静 任红 董海燕供稿单位:浙江省新型重点专业智库国网浙江省电力有限公司经济技术研究院)
评论