Java网络爬虫小案例（详细版）

JDK 1.8

IDEA

IDEA自带的Maven

2.1 new 一个module

file->new->project->选择Maven：自己取名一路next

然后file->new->modele

一个project可以有多个module。project：项目，module：模块

IntelliJ IDEA 中 Project 和 Module 的概念及区别_CG国斌的博客-CSDN博客_idea的project和module

2.2 选择Maven 取名字然后，下一步

结果：

Maven Repository: Search/Browse/Explore (mvnrepository.com)

 点击上面网址搜索jar包。后面有所有需要的jar包代码，也可不去网页下载，翻到后面。

3.1 示例 : httpclient

 点击4.5.2

 复制框框内的代码，粘贴到idea中

 粘贴到 module 的 pom.xml 的 中

有爆红，选择右上角的maven，刷新下载

右下角显示下载 ，等待即可，太慢了就去配置阿里云仓库

IDEA setting.xml在哪里？配置阿里云仓库的setting.xml?_连胜是我偶像的博客-CSDN博客_idea配置阿里云仓库

3.2 所有需要的 jar 包

Apache HttpClient

  
        
            org.apache.httpcomponents
            httpclient
            4.5.2
        

 SLF4J LOG4J 12 Binding Relocated

    org.slf4j
    slf4j-log4j12
    1.7.25
    test

 4. 创建日志文件

cn.itcast.crawler-first -> src -> main -> 右键resources ->new -> file -> 取名：log4j.properties 

log4j.properties 中写入下列代码：

1og4j.rootLogger=DEBUG,A1
log4j.logger.cn.itcast = DEBUG

log4j.appender.A1=org.apache.log4j.ConsoleAppender
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=%-d{yyyy-MW-dd HH:mm:Ss,SS5)[%t][%c]-[%p] %m%n

 5. 实例：创建测试文件

5.1 创建一个包 

cn.itcast.crawler-first -> src -> main -> 右键java ->new ->package -> 取名：cn.itcast. crawler.test

 解决idea右键没有java class选项 - 知乎 (zhihu.com)