数据开发项目流程

业务口径应该由产品经理主导，找到提出该指标的运营负责人沟通。首先要问清楚指标是怎么定义的，比如活跃用户是指启动过 APP 的用户。

技术口径是由建模工程师主导，此时产品经理要和模型设计师沟通整个指标的业务逻辑，另外就是要协调业务方的技术开发人员和我们的建模工程师一起梳理需要采集的用户行为，或者业务数据库层面需要用到表结构和字段。

由产品经理主导设计原型，对于活跃主题，我们最终要展示的是最近 n 天的活跃用户数变化趋势 。此处需要建模工程师、数据开发工程师、后端开发工程师、前端开发工程师、UI 一共参与，一起说明整个功能的价值和详细的操作流程，确保大家理解的一致。

此时主导的是我们的模型设计工程师，一般会采用分层建模的方式把数据更加科学的组织存储。分为 ODS（操作数据层），DWD(明细数据层)、DWS（汇总数据层）、ADS （应用数据层），这是业务对数据分层常用的模型。模型设计工程师要清楚的知道数据来源自那里，要怎么存放。
以用户活跃需求为例，ods 层需要存放 start_log（启动日志），dwd 层需要对数据进行清洗、过滤，dws 层需要对数据进行轻度聚合，ads 层需要得出最终统计指标的结果。

此时主导的是大数据开发工程师，首先要和数据建模工程师沟通好技术口径明确好我们计算的指标都来自于那些业务系统，他们通过数据同步的工具如 flume、sqoop 等将数据同步到模型工程师设计的 ODS 层，然后就是一层一层的通过 SQL 计算到 DWD、DWS 层，一层一层的汇总，最后形成可为应用直接服务的数据填充到 ADS 层。

此时由后端开发主导，后端开发工程师基于产品经理的功能定义输出相应的接口给前端开发工程师调用，由于 ADS 层的数据已经由开发工程师导出到常规的关系型数据库（如MYSQL 等），此时后端开发工程师更多的是和产品经理沟通产品的功能、性能方面的问题，以便给使用者更好的用户体验。

此时主导的是前端开发工程师。原型出来后产品经理会让 UI 设计师基于产品功能的重点设计 UI，UI 设计师经过反复的设计，UI 最终定型后，会给我们的前端开发工程师提供切图。前端开发工程师基于 UI 的切图做前端页面的开发。

此时数据开发工程师、前端开发工程师、后端开发工程师都要参与进来。此时会要求大数据开发工程师基于历史的数据执行计算任务，数据开发工程师承担数据准确性的校验。前后端解决用户操作的相关 BUG 保证不出现低级的问题完成自测。

第九步：测试
测试工程师在完成原型评审后就要开始写测试用例，那些是开发人员自己要自测通过才能交上来测试的，那些是自己要再次验证的都在测试用例写清楚。此时有经验的产品经理会向运营人员要历史的统计数据来核对数据，不过运营人员的数据不一定准确，只是拿来参考。
最终测试没问题产品经理协调运营人员试用，试用中发现的一些问题再回炉重新修改，此时
整个研发过程就结束了。

运维工程师会配合我们的前后端开发工程师更新最新的版本到服务器。此时产品经理要找到该指标的负责人长期跟进指标的准确性。重要的指标还要每过一个周期内部再次验证，从而保证数据的准确性。