快速导航
小时级实时数据仓库构建方法及注意知识点
- 小时级实时数据仓库构建的开发流程
- 1、找到数据流（done）
- 2、将数据源进行有序化排序处理，模拟最真实的微博数据流的真实数据的生产过程。
- 3、接收微博数据流数据
- 4、转发到kafka集群
- 5、kafka集群的搭建与运维（done）
- 6、消费kafka形成小时级的微博数据文件
- 7、将小时级文件定期、自动化load到小时级微博数据分区表
- 小时级实时数据仓库构建的详细开发过程
- 1、找到数据流（done）
- 2、将数据源进行有序化排序处理，模拟最真实的微博数据流的真实数据的生产过程。
- 1）将weibo_product表的数据进行部分有序化落地到本地文件当中。
- 2）将本地有序的微博数据，通过模拟数据请求的方式，将数据逐条发送到微博数据接收服务端，从而形成微博数据流。(done)
- 3、接收微博数据流数据(done)
- 4、转发到kafka集群 （done）
- 5、kafka集群的搭建与运维（done）
- 6、消费kafka形成小时级的微博数据文件（done）
- 7、将小时级文件定期、自动化load到小时级微博数据分区表
- Web服务分类-按其依赖度
- 传统服务-重量级服务
- 微服务-轻量级服务
- Restful service
- 不需要依赖服务器端的任何组件，即可通过纯http进行交互。
- 微服务restcontroler和传统controller对比说明
- 相同点
- 都属于controller层。
- 都能起到路径拦截作用
- 区别
- 传统control拦截处理完成后返回的是页面。
- 而restful拦截处理完成后返回的是纯数，一般是纯文本或是json居多。
- 应用场景说明
- 传统的用户页面功能的跳转过程。
- 微服务主做页面的数据交互。
- Curl
- 号称“linux的浏览器”。
- 也称为无头浏览器，即没有界面的意思。
- 数据传输过程当中的常用问题
- 1、少数据
- 2、数据不正确
- 3、数据乱码问题
- 编码和解码问题
- 只要保证编码和解码的一致性、兼容性即可解决。
- 比如：java io,url编码。
- http的传输方式？有什么区别和联系？
- 传统方式
- Get,post,put,delete。
- 最常见的是get,post
- Get,post的区别联系？
- 联系
- 区别
- 1）表现形式：get是放到浏览器地址栏当中显示，post传输的数据实体部分是放到http协议的data字段当中。
- 2）数据内部封装不同：get的是封装到http header当中，而post是header只放url，数据是放到http data当中。
- 3） 大小不一样：get是有大小限制，默认是64K，post是在http data当中，一般是不限制大小的。
- 4）安全性方面：get是放到浏览器地址栏所以安全性较低， 而post是放到data数据体当中，不容易被捕捉的到，安全性较高一些。
- MVC
- Model view controller
- View:视图，是用户与系统交互的界面部分。
- Controller：控制器，也称为拦截器，拦截用户的请求，将对应的请求交给Model去处理，完成后再转发给View端。
- Model：业务模型层
- 模型层：对现实事物的抽象，即Entity类。
- 业务处理层：对模型当中的关系进行计算处理，即Manager。
- Kafka的四种消费方式
- 1） console版
- 2） java版
- 3） scala版
- 4） streaming集成kafka
