【爬虫 | 1. Java之入门第一爬】

网络爬虫（Web Crawler），是按照一定的规则，自动地抓取万维网信息的程序或脚本。

JDK (链接: 如何查看自己的版本）IntelliJ IDEAIDEA 自带的 Maven 版本（IntelliJ IDEA Ultimate + version 11.0.11 + Maven）

JetBrains 能很方便地管理多个 IDEA
左上角File -> Project Structure -> Project Settings -> Project
用自带的 Maven 进行管理，主要的东西都在 main 中

JDK，是 Java 开发工具包，主要用于编写Java程序；即想使用Java语言，就需要安装jdkSDK，就是软件开发包，是一个广义的概念，任何编程工具几乎都可以看成是 SDK单说SDK，范围太大，如果是Android SDK，就可以理解是安卓机器的操作系统，类似 Windows 操作系统简言之，JDK是SDK的一种！ 1.1.2 环境配置

建立框架：New Module -> Maven -> GroupId & ArtifactId etc在 pom.xml 中创建依赖关系： Apache HttpClient & SLF4J LOG4J 12 Binding（链接：Maven Repository）在 resources 中创建日志 log4j.properties

    4.0.0

    cn.itcast
    itcast-crawler
    1.0-SNAPSHOT

    
        11
        11
    

    
        
        
            org.apache.httpcomponents
            httpclient
            4.5.13
        
        
        
        
            org.slf4j
            slf4j-log4j12
            1.7.25
            
        

    

# A1: print in the console
log4j.rootLogger=DEBUG,A1
log4j.logger.cn.itcast = DEBUG

log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MM-dd HH??ss,SSS} [%t] [%c]-[%p] %m%n

在 main 中 new 一个 Java Class, 就可以开始写程序啦~ 代码

package cn.itcast.crawler.test;

import org.apache.http.HttpEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class CrawlerFirst {

    public static void main(String[] args) throws Exception {
        // 1. Open a browser, set up a 'HttpClient' object
        CloseableHttpClient httpClient = HttpClients.createDefault();

        // 2. Input the URL, initiate a 'get' request, set up a 'HttpGet' object
        HttpGet httpGet = new HttpGet("https://www.itcast.cn");

        // 3. Enter, use 'HttpClient' to initiate a request, return the response
        CloseableHttpResponse response = httpClient.execute(httpGet);

        // 4. Parse the response, get the data
        // judge whether the 'status code' is 200
        if (response.getStatusLine().getStatusCode() == 200) {
            HttpEntity httpEntity = response.getEntity();
            String content = EntityUtils.toString(httpEntity, "utf8");
            System.out.println(content);
        }
    }

}