9.6 数据中台五要素
数据中台的五要素是数据、业务、算法、应用和组织,这五要素是做好数据中台的基本要求,也是帮助企业合理运用数字化平台的重点。
9.6.1 数据
9.6.1.1 构建数据资产管理体系
1) 梳理数据来源
数据有四大来源,即IT系统数据、外部系统数据、互联网补录数据及数据融合,下面分别进行详细介绍。
- IT系统数据
这里的IT系统是指企业内部的信息化管理系统。企业数字化转型需要将内部多个IT系统内的数据进行打通和梳理。
- 外部系统数据
外部系统数据是指企业的供应商、合作商、集成商等合作伙伴的数据。汇集这些数据可以帮助企业形成全域数据中心,以全景数据的角度考量整个企业的运营、管理情况。
- 互联网补录数据
如果企业的内外部系统无法完全满足业务需要,可以进行补录网络上公开的数据,行业内常称其为“填数据”。比如针对某个产品使用属性进行标注,以一定的合法技术手段获取网络公开数据,丰富用户数据。
- 数据融合
以合法、合理的方式与其他数据供应商合作,或者通过各种合法合规的数据市场进行数据融合。从运营商数据到线上店铺数据,再到工商数据,任何组织都可以通过合法合规的渠道获得数据。
2) 创建数据管理条例
数字化转型企业都应该建立一套数据驱动业务的条例,详细规定数据出处、数据使用对象、数据审批流程、数据应用方等,以便有效管理数据,让企业达到数据赋能业务的目的。
3) 打造数据目录,管理数据资产
数据目录可帮助不同部门共享数据。在维护数据目录时,CDO等数据治理团队负责人可建立业务便捷使用机制,评估上游数据的治理情况,记录下游数据分析应用的使用情况,同时跟踪数据在不同产品方面的流转。打造数据目录可以帮助数据管理团队更好地识别潜在的数据质量问题。
4) 建设合规数据
企业应分门别类地对数据进行存储管理,如主数据管理、遗留数据整理,从不同类别的数据中提取共同特性,比如保障数据隐私、出具数据定义、监管数据资源。同时,数据来源是多样的,意味着数据的使用面临着风险。如果数据管理不善,在使用数据的过程中会面临违反合约、侵犯隐私等风险。企业业务线越复杂,需要考量的数据安全使用问题就越多。因此,对数字化转型企业来说,有必要设立数据风险控制职位甚至部门,对数据丢失、数据隐私保护、企业数据声誉等环节加以管理。
5) 建立数据管理委员会
建立数据管理委员会表明企业重视数据资产管理。数据管理委员会的任务是创建数据资产管理体系,以一套规范性的体系来监督、管理数据资产的应用情况,即监控数据赋能业务的进程、价值等,从而为企业数字化转型提供有针对性的建议。
6) 出台数据资产管理办法
企业数据多样,也是公司的重要资产,数字化转型企业需要运用一定的数据管理办法加以管理。
9.6.1.2 建设数据质量体系
1) 整理业务规则,统一数据定义
在企业数字化转型过程中,对数据的共同理解与解释至关重要。数据质量问题通常是指同一数据集被解释为不同事物,或者不同数据集被解释为相同事物。无论是业务还是技术元数据,根据业务属性明确数据定义对于提高数据质量相当重要。企业可令数据治理团队运用一定的数据管理应用程序完成业务规则的梳理和数据定义的统一。
2) 跟踪外部数据来源
面对竞争激烈的市场环境,企业数据应用的方向不再局限于内部数据,更多着眼于第三方数据,这成为构成分析解决方案的要素之一。无论是合作伙伴数据、供应商数据还是互联网开放数据,都可以提升企业获取新业务价值的资源。
3) 确认影响业务的关键数据指标
在商业场景中,业务需求、业务流程、业务绩效等是关键数据指标。为了衡量一款产品及服务是否能够满足市场需求,必须采用一定的企业绩效指标。不完整、不准确的数据可能导致客户投诉,因此客户流失率、KPI等数据指标的梳理及确定至关重要。
4) 分析关键业务的数据质量
在确定了企业内部影响业务的关键数据指标后,数据治理团队还需要了解企业内支持关键业务流程的系统及程序的数据质量。在梳理过程中,数据治理团队可以采用数据分析工具预测数据分析模型,在较短时间内了解数据质量。也可以创建针对数据存储库运行的脚本,解决高级别的跨应用数据分析需求。
5) 创建数据自动化管理调控体系
数据治理团队应建立自动化管理体系,把关数据治理到数据应用的整个流程,在绩效考核、分析决策、基础数据质量之间建立明确的自动化反馈机制,以业务结果反馈数据治理效果。
6) 检测数据质量对业务的影响程度
凭借专业的数据质量分析工具,数据治理团队能够测试数据质量,识别异常数据,以便开展有针对性的数据处理工作。通过业务影响程度测量数据质量,可以帮助企业有效筛查无价值数据,提高数据质量。
另外,数据质量的检测应该是长期存在于数据应用过程中的。一旦企业决定进行数字化转型,就必须定期评估数据质量对业务结果的影响,并且随着新业务场景的出现,对数据质量评估的重点和方法作出相应调整。
7) 听取、沟通业务需求,有针对性地治理数据
数据治理团队在对数据进行清洗治理时,首先不要妄图通过数据治理立即解决所有问题,而是应该认真听取业务部门对数据的需求,通过有效沟通,确定行动计划,探索数据内部潜在的问题,为分析决策提供支撑。
8) 创建数据质量动态感知台,监控数据治理进程
数据治理团队一般会通过定期会议或者小组讨论等形式同步各自的数据处理进度。但是定期的会议汇报无法随时了解数据治理进程,因此数据治理团队可以创建数据质量动态感知台。数据质量动态感知台可以根据KPI和关键业务操作流程制定数据质量的绩效。在某些需要调整的地方,数据业务分析师可以与CDO沟通调整治理路线和重点。
9) 建立学习—分享—培训机制
数据治理团队中各成员分工不同,所处理的数据模块也不相同,每个人遇到的数据质量问题都不同,而个人解决起来困难重重。因此团队负责人需要建立一套学习—分享—培训机制,团队成员可以将发现的数据问题及时共享给团队其他成员,一起讨论数据治理的解决措施,帮助团队成员提升自身能力。
10) 避免“IT怪圈”
数据治理团队如果没有完全打通企业的内外部数据,业务部门的需求便不能随时得到满足,数据治理团队就会进入IT怪圈。业务场景是瞬息万变的,用户的需求需要随时被满足,技术部门疲于应付前端业务部门低端的需求,导致业务需求响应慢,结果并不令人满意,甚至延误了商机。如此循环下去,技术部门将陷入IT怪圈,无法抽身。
9.6.2 业务
数字化业务是通过数字技术颠覆、重塑整个商业体系,从而创造新的业务形式,即智能商业。
1) 强化数字化业务逻辑能力
企业具备清晰的数字化商业业务逻辑,可以大大提高数据信息的应用效果,而这也是技术进步的主要来源。
2) 确立数字化业务单元
在企业领袖的带领下,数字技术架构师建立数字化的业务单元架构,提高企业的数字业务能力。
9.6.3 算法
1) 了解算法的分类
建设数据中台需要根据行业的不同特点构建应用算法。常用的算法大致可以分为三类:数据统计、数据挖掘和人工智能。数据统计包含常用的统计学算法;数据挖掘对数据进行关联分析,常用的有聚类分析、相关性分析等;人工智能的核心是机器学习。人工智能包含统计学、概率论、基本数据挖掘算法等基础内容,通过重新组织不断改善自身的性能。
2)算法在组织架构中的汇报关系
算法模型应服务于业务,而不是服务于技术。所有的算法信息应该向业务部门汇报,而不是向传统的IT部门汇报。算法团队可以与业务部门合作,研究使用哪些算法来驱动公司发展。同时,算法团队需要对现有的算法进行编目,确定现有算法如何工作。
3)制定一套完整的工作流程
企业要制定一套关于算法的完整工作流程。
- 算法团队应该将人员、流程、数据、技术整合成一个可以协同、有效合作的单元,以便将算法应用在不同的业务上。
- 算法相当于一种无形资产,要形成有效的算法模型管理框架,同时要编制算法目录,盘点现有的算法、外部开源的算法及第三方供应的算法。
- 要形成独有的算法去管理算法市场,对未来要开发的算法进行优先级排序,根据排序配置人员和外部资源,并提前做好预算,占领算法市场的先机。
9.6.4 应用
9.6.4.1 数字化应用的作用
1) 指导企业进行决策
数字化应用系统含有多种应用,有些应用可以帮助企业记录和提取数据,对数据进行分析;有些应用可在用户数据的数量和质量都达到一定程度时进行深度挖掘,企业可以利用这些实时的数据分析与挖掘应用产生的结果进行快速决策。
2) 为企业提供更多销售机会
数字化应用系统能够实时地为企业提供所需的信息,企业可以从不同维度清晰地了解用户细节,将这些结果通过不同的形式展现出来,发现更多销售机会、挖掘更多潜在客户。
3) 提高企业管理效率
数字化应用系统能够实时地为企业提供所需的信息,企业可以从不同维度清晰地了解用户细节,将这些结果通过不同的形式展现出来,发现更多销售机会、挖掘更多潜在客户。
4)降低企业经营成本
企业通过数字化应用系统可以分析客户的购买意向、购买行为、购买频率及可能接受的购买金额,据此将客户进行细分,有针对性地进行产品销售。
数字化应用系统可以对产品相关的数据进行分析,帮助企业了解市场对该产品的需求度,确定产品的研发方向,从而节约开发成本。
9.6.4.2 构建数字化的应用系统
1) 结合六图法构建企业的数字化应用
企业在构建数字化应用系统时可以结合六图法理论,从战略、业务、需求、应用、算法、数据6个角度进行衡量和评估。可以说,六图法便是企业数字化应用系统的构建过程。
2)形成低成本、高效率的应用构建状态
许多企业不敢构建应用系统是因为每个应用的产生成本太高。企业在构建数字化应用系统时要通过数据中台等技术手段,建立应用开发制度,让应用开发流程更加简化、流畅、便捷,节约开发成本。
3) 形成完整的数字化应用体系
企业需要结合自身的经验形成完整的数字化应用体系,加强各个应用之间的联系,从而帮助企业快速高效地生产应用,赋能前端业务。
9.6.5 组织
9.6.5.1 解锁敏捷组织建设方式
1) 数据分析部门转变为跨职能部门
在数字化转型背景下,作为企业数字化的主要实现者,由数据科学家、数据建模师、数据分析师构成的数据分析部门将由独立部门转变为具备多种技能的跨职能部门。由此赋予每个团队专业的数据专家能力,令团队成员能根据任务规划,灵活应对执行过程中出现的问题,及时做出响应,协作完成任务。
2)组织成员需具备业务与数据的双重能力
敏捷组织打破了传统组织模式下各岗位各司其职,对其他岗位职责知之甚少的状况。不同于传统组织成员工作职能固化,敏捷组织成员的工作职能具备一定的交叉性。这对于数据分析人员和前端业务人员来说尤为明显。
只懂营销、不懂数据技术的业务类数据分析师,和只懂技术、不懂业务分析原理的技术类数据分析师,在敏捷组织模式下,均可以通过组织培训、项目经验的积累完成角色互换与交融,真正获得“数据科学家”的能力。
3)构建具备描述、诊断、预测、预警能力的组织体系
敏捷组织特有的灵活性并不意味着组织内部工作会无序、失控,敏捷组织在有效建立各部门的连接与交互能力的基础上,还需要建立一套利于数字化任务快速、有效完成的体系。这便是具备任务描述、诊断、预测、预警的组织体系,可帮助企业在数字化任务实施过程中更为有序、高效、精准。
9.6.5.2 配备数字化专业人才
图9-3 敏捷组织应具备的数字化专业人才
1)数据研发工程师
数据研发工程师需要熟悉大数据开发平台,熟练掌握大数据研发工具,能够运用各种大数据开发技术进行数据开发,并有良好的写代码习惯和一定的架构能力。
2)数据应用工程师
数据应用工程师需要掌握时下流行的前后端开发技术,熟悉大数据环境下的应用开发框架,熟悉大数据应用架构和性能优化等综合技能。
3)数据智能科学家
数据智能科学家需要掌握通用的数据挖掘和分析工具,包括机器学习和深度学习等前沿技术,并能够将其有效应用于业务场景,解决客户的实际问题。
4)数据产品经理
数据产品经理需要掌握数据技术,熟悉客户并对数据有独到的商业理解和思考,最终能以有形或无形的数据产品满足客户利益、数据和商业价值最大化。
5)数据可视化设计师
数据可视化设计师需要掌握数据交互或视觉设计能力,拥有很强的交互体感和极致且成本可控的审美,最终以全流程、高保真交互与视觉体验稿为交付物。
6)数据模型师
数据模型师需要掌握数据技术,理解业务需求并具备全局架构、模型设计、数据研发和运维调优等能力,最终可以低成本、高效率地交付具备高可用性和高扩展性的数据。
除以上人员外,企业还可以根据需要设置数据隐私官、数据管理主管、数据治理经理、数据服务总监、数据分析主管、大数据管理者、主数据管理主管、数据质量负责人、数据内容管理者等。这些人员配置将丰富企业的人才建设,满足企业多方面的用人需求。



