一、课程介绍
一个基于规则的大数据用户画像项目
为什么要选这样一个项目：
1、典型的批量计算场景
2、基于规则。涵盖大数据批量处理的各个典型场景
3、可视化。所有控制流程全程可视化
4、可扩展。通过集成更多的计算方式来扩展出更多的业务场景
课程收获：
1、了解一个典型的大数据项目的整体处理流程
2、熟悉大数据组件如何整合工作
3、举一反三，熟悉其他大数据处理流程
二、项目演示
1.什么是用户画像？
对前端数据进行整合梳理，对后端数据挖掘提供支持
2.用户画像整体流程
数据建模——>ETL数据清洗——>基于规则进行大批量计算——>基于数据提供用户画像结果
3.项目整体架构
主要技术栈：SpringBoot + Thymeleaf + Mybatis 前端：EasyUI + Jquery
功能组件：Sqoop + Hadoop + Spark + ElasticSearch
技术体系主要是组织Hadoop进行大文件存储，
Spark进行大规模的批量数据计算(跟大数据风控项目主要注重Flink流式计算正好形成互补),
结合机器学习的推荐系统课程，基本包含了各个主要的大数据场景
三、ETL数据抽取
从外围业务系统抽取数据进入大数据平台的完整过程，通常涉及到两个步骤：即抽取与清洗
如何设计一个完善的数据抽取流程？
1、hdfs文件管理
2、sqoop数据抽取
3、二维表转json（类似数据清洗）
