大数据项目实战之数据采集

数据源分类

数据日志采集、网络数据采集、数据库采集

HTTP请求过程

常见的请求方法分为两种：GET请求和POST请求。

GET请求：常用于获取数据   明文发送数据【地址中可见的参数】不安全

请求地址的URL链接

HTTP请求头是指在超文本传输协议的请求消息中协议头部分的组件。可查看教材了解请求头详细介绍。

请求体通常出现在POST请求中，用于存放POST请求中的表单数据，而对于GET请求而言，请求体为空。

HTTP响应代码表示服务器返回给客户端的响应状态，例如常见的响应代码200代表服务器正常响应，404代表页面未找到等等。

响应头包含了服务器对客户端请求的应答信息，如Content-Type、Server、Set-Cookie等。可查看教材了解响应头详细介绍。

响应的正文数据都在响应体中，如HTML代码、二进制数据、JSON数据等资源。

Eclipse EE + Maven 3+ + Hadoop环境

为了更好的开发项目，可以如下图所展示的去搭建开发环境

conf/settings.xml

设置阿里云远程公共仓库

https://developer.aliyun.com/mvn/guide

  aliyunmaven

  *

  阿里云公共仓库

  https://maven.aliyun.com/repository/public

设置本地仓库路径

D:项目开发环境repository

 设置jkd

    

    JDK-1.8       

           

        true       

        1.8       

           

           

        1.8       

        1.8       

        1.8       

           

配置eclipse

本项目中小编使用的是eclipse-jee-2021-06-R-win32-x86_64.zip

 

 

 

 

 

编写pom.xml

  4.0.0
  com.csnf.jobcase
  jobcase-reptile
  0.0.1-SNAPSHOT
 
   
        org.apache.httpcomponents
        httpclient
        4.5.4
       
    
        org.apache.hadoop
        hadoop-common
        2.7.4
    
    
        org.apache.hadoop
        hadoop-client
        2.7.4
    
   

后续代码看下篇文章