数据仓库的数据来源自各个源业务系统,不同业务系统使用不同的数据库,不同的物理表结构。为了创建统一的数据仓库系统,需要了解各个业务系统的具体情况。
业务调研流程- 明确需求和确认调研系统范围。
- 针对各个业务系统建立畅通的源系统沟通机制,保证仓库建模人员对系统有足够深入的了解。
- 可以提前列举调研提纲,需要确认的问题提前发给对应系统的联络人员,减少沟通次数,提高沟通效率。
- 针对不同业务回复的问题内容,记录问题汇总表以及相关会议纪要,可供其他系统调研人员使用。
- 根据不断确定的系统源数据接入范围,确认每张源表的业务含义,关联关系,以及所属主题域。
- 针对确认的源表做字段级分析,确认数据格式长度,代码值,代码含义,是否转换,增删字段,是否接入。
| 调研内容 | 期望答复/用途 |
|---|---|
| 建立源系统调研的联络窗口 | 建立通畅的调研联络方式频度和沟通方式 |
| 系统的业务部门、应用人员、权限 | 理解源系统数据的部门应用及人员权限 |
| 系统的中英文全称及简称 | 方便理解记忆并辅助模型设计 |
| 系统的上线升级改造情况 | 确认各个数据源的数据范围,表结构差异 |
| 系统的上下游系统关系 | 确认该系统的数据来源及相关影响性 |
| 系统的需求说明文档 | 了解整个系统架构项目背景等信息以及主要功能 |
| 系统的操作手册 | 方便模型人员理解系统功能模块,业务流程 |
| 完整的系统数据库设计 | 理解数据表结构,代码值,主外健等信息 |
| 数据库的字符编码方式、版本 | 针对不同版本和编码方式执行不同卸数脚本 |
| 对应每张数据表的数据条数 | 确认每张表的卸数加载方式全量,增量 |
| 系统整体数据存量、增量、周期频率 | 计算数据仓库存储容量以及方式 |
| 数据库卸数时间 | 确定数据库可以卸数的时间点 |
| 数据库的数据质量调研 | 提前了解源数据质量问题,来觉得是否入库以及补录改造等 |
表级调研
- 获取系统完整的表清单
- 自行猜测确认每张表的含义以及存储内容方式,列出初步清单
- 与业务人员、开发人员确认每张表的具体用途以及存储数据的内容、格式
- 根据沟通内容将表进行分类,包含有临时表、系统表、备份表、客户表、交易表、衍生表等
- 排除系统表、临时表、备份表等无需入库或确认无业务含义表,针对性的对剩余表做分析,理清关联关系
- 根据每张表的业务内容确认主题域,中英文命名,加载方式
字段级调研
- 针对每张表做字段级分析,统一中英文命名
- 确认字段关联代码值以及对应的代码表
- 确认字段存储数据类型,长度,默认值,是否为空,是否主键等信息
- 确认字段转换方法,比如01->1,补零,去空格,截取等。
未完待续.



