栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

手把手Java爬虫教学 - 6. 保存爬取记录(作者 & 博客)

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

手把手Java爬虫教学 - 6. 保存爬取记录(作者 & 博客)

一、保存作者 1. 需求说明
  • 保存作者时需要解析出作者的 code 值,但是 code 值是存储在作者主页的 url 中,也就是说,没有 url 就不能进行保存作者;
  • 保存或者更新作者前,需要在我们数据库中查询有没有该 code 值的作者,如果有就更新,没有则新增;
  • 成功保存或者更新作者后,返回记录的主键 id,用于后面保存博客使用
2. 代码编写 实体类

我们在 Author 实体中增加一个构造方法

public Author() {
    super();
}
	
public Author(String authorName, String authorUrl, String imageUrl) {
    this.authorName = authorName;
    this.authorUrl = authorUrl;
    this.imageUrl = imageUrl;
}

可以看到,我们这里并没有传递 authorCode 这个属性,因为这里我们是通过方法处理,将 url 中的作者 code 解析出来,完整构造如下:

public Author() {
	super();
}

public Author(String authorName, String authorUrl, String imageUrl) {
	this.authorCode = StrUtil.isEmpty(authorUrl) ? null : authorUrl.replace("https://xxxx.com/", "").replace("/", "");
	this.authorName = authorName;
	this.authorUrl = authorUrl;
	this.imageUrl = imageUrl;
}

这里的这个地址我用 xxxx 代替了,主要是怕产生版权问题,各位可以到时候去拉取我的项目,查看详细代码,Gitee 地址去第二篇博客找即可。

Service 接口类
public interface AuthorService {

	
	String saveOrUpdate(Author author);
}
Mapper 类
@Mapper
public interface AuthorMapper extends BaseMapper {

	@Select({"SELECT id FROM t_lemon1234_scraper_author WHERe authorCode = #{authorCode} "})
	String findAuthorId(@Param("authorCode") String authorCode);
}

我们需要在作者的这个 Mapper 类中增加一个方法,就是通过 authorCode 查找作者的 id。

相信大家学过 MyBatis 都应该可以看的懂~

当然,Mapper 类加了之后,我们还需要在 Application 启动类中引入一个东西,就是包扫描~,这里根据自己 mapper 所在的包地址增加一下

@MapperScan(value = "com.lemon1234.scraper.mapper")
Service 接口实现类
@Service
@Transactional
public class AuthorServiceImpl implements AuthorService {

	@Autowired
	private AuthorMapper authorMapper;

	@Override
	public String saveOrUpdate(Author author) {
		String id = authorMapper.findAuthorId(author.getAuthorCode());
		
		author.setLastOperateDt(new Date());
		
		if(StrUtil.isEmpty(id)) {
			authorMapper.insert(author);
		} else {
			author.setId(id);
			authorMapper.updateById(author);
		}
		
		return author.getId();
	}
}

我们需要在 Service 实现类中引入 Mapper 类,然后实现接口中的 saveOrUpdate 方法。

如果 id 是空,那么我们就去进行 insert 一个作者,如果不为空,那么我们将 id 放入实体中,然后通过 updateById 进行更新即可。

最后返回实体的 id。(这里可能有人问了,如果是新增,你这里的 id 应该会获取到 null。简单回答一下,MyBatis-plus 已经帮我们考虑到了这一点,它可以做到 insert 之后拿到 id,并且赋值给我们的实体)

注意一下,我这里增加了事务的支持,所以我们还得去 Application 启动类中增加事务的支持

@EnableTransactionManagement
CrawlCnblogTask 类

我们在 CrawlCnblogTask 类中引入 AuthorService,然后构造出实体,调用 saveOrUpdate 方法即可。

@Autowired
private AuthorService authorService;
List blogMainDiv = page.getByXPath("//div[@id='post_list']/article/section");
for(DomElement x : blogMainDiv) {
	......
	String blogCreateDt = section_footer_span_span.text();

	if(StrUtil.isEmpty(authorUrl)) {
        continue;
    }
	Author author = new Author(authorName, authorUrl, imageUrl);
	String authorId = authorService.saveOrUpdate(author);
}
3. 测试

这里看你自己,想测试就测试一下,不想测试就拉倒。我是先不测试了,等下面博客添加完之后一起测试。

二、保存博客 1. 需求说明
  • 保存博客时需要获取到博客的 code 值,但是博客的 code 值也是保存在 url 里面,所以我们还得去解析这个 url;
  • 博客的创建时间是:yyyy-MM-dd HH:mm 这个类型,所以我们需要简单对这个时间改造一下;
  • 我们在每次任务开始的时候,需要统计出每次任务新增的博客数量,所以需要有一个计数器;
  • 在进行爬取博客数据的时候,只要按照博客 code 匹配到一条重复的博客时,我们就停止任务;
2. 代码编写 实体类
public Blog() {
	super();
}

public Blog(String blogCode, String blogTitle, String blogUrl, DateTime blogCreateDt, String content, String authorId) {
	this.blogCode = blogCode;
	this.blogTitle = blogTitle;
	this.blogUrl = blogUrl;
	this.blogCreateDt = blogCreateDt;
	this.content = content;
	this.authorId = authorId;
}

public static String parseGenerationBlogCode(String blogUrl) {
	return blogUrl.substring(blogUrl.lastIndexOf("/")).replace("/", "").replace(".html", "");
}

这里除去要增加构造方法,还增加了一个解析 blogUrl 的静态方法。

Service 接口类
public interface BlogService {

	
	Blog findBlogInfo(String blogCode);

	
	void saveBlog(Blog blog);
}
Mapper 类
@Mapper
public interface BlogMapper extends BaseMapper {

	@Select({"SELECT * FROM t_lemon1234_scraper_blog WHERe blogCode = #{blogCode} "})
	Blog findBlogInfo(@Param("blogCode") String blogCode);
}

这里我们需要增加一个方法,就是通过博客的 code 值查找博客。

Service 接口实现类
@Service
@Transactional
public class BlogServiceImpl implements BlogService {

	@Autowired
	private BlogMapper blogMapper;
	
	@Override
	public Blog findBlogInfo(String blogCode) {
		return blogMapper.findBlogInfo(blogCode);
	}

	@Override
	public void saveBlog(Blog blog) {
		blog.setLastOperateDt(new Date());
		blogMapper.insert(blog);
	}
}
CrawlCnblogTask 类

首先引入一下 BlogService。

@Autowired
private BlogService blogService;

然后我们来写具体的业务代码,就在保存完成作者的下面去写

......
String authorId = authorService.saveOrUpdate(author);

String blogCode = Blog.parseGenerationBlogCode(blogUrl);
Blog blog = blogService.findBlogInfo(blogCode);
if(blog == null) {
	blog = new Blog(blogCode, blogTitle, blogUrl, DateUtil.parseDateTime(blogCreateDt + ":00"), content, authorId);
	blogService.saveBlog(blog);
}

当然,这代码写到这里还没有写完~

我们需要定义两个局部变量,一个是计数器:crawlCount,一个是:execute(execute 用来控制是否继续爬下去, true 是继续,false 就停止)。

我们在每次保存博客之后,让 crawlCount 自加 1;而 execute 是在 blog 不为空的时候,将 execute 设置成 false,并且 break 掉循环,接着在第一层循环加上判断即可,详细我们来看代码

int crawlCount = 0;
		
WebClient webClient = HtmlunitUtil.getWebClient();

for(int i = 1; i <= 1; i++) {
	boolean execute = true;
	
	for(DomElement x : blogMainDiv) {
		......
		
		String blogCode = Blog.parseGenerationBlogCode(blogUrl);
		Blog blog = blogService.findBlogInfo(blogCode);
		if(blog == null) {
			......
			crawlCount++;
		} else {
			execute = false;
			break;
		}
	}
	
	if(!execute) {
		break;
	}
}

这里我省略了很多代码,但我相信各位能看懂~

在每次任务完成之后,我们搞一个 log 打印一下本次爬到的数据即可。

logger.info("========== {} 爬取 博客 结束,本次爬取数量为:{} ======================================== n", DateUtil.now(), crawlCount);
三、测试

代码写完后,就要紧张的测试了,我们刚开始测试,就先一页两页的测试,感觉没有问题,清空数据后再搞一次全量的测试。

我这里就直接上结果好了

这个错误是有概率出现的,也是我们没有办法避免的,先来说一下错误原因~

这里我们去 google 翻译一下错误

可以看到,是因为不正确的字符串导致的。

这里要说一下:MySQL 的编码类型我这里用的是 UTF8,但是 UTF8 这个编码最多可以保存 3 个字节;而我们后端拿数据 UTF-8 编码可能是 2 字节,可能是 3 字节,也有可能是 4 字节,所以碰到一些特殊的文字、字符啥的,拿到了 4 字节,所以数据插不进去,报错。

给出一个简单的解决方法:

我这里将博客标题、博客简介都做了 Base64 的运算,将运算结果保存至数据库中,用的时候只需要将他们 decode 出来就好~

四、改 Bug

我们修改 CrawlCnblogTask 类

将

blog = new Blog(blogCode, blogTitle, blogUrl, DateUtil.parseDateTime(blogCreateDt + ":00"), content, authorId);

 改为

blog = new Blog(blogCode, Base64Encoder.encode(blogTitle), blogUrl, DateUtil.parseDateTime(blogCreateDt + ":00"), Base64Encoder.encode(content), authorId);

这里 Base64Encoder 我用的是

cn.hutool.core.codec.Base64Encoder

别引错了。

到时候我们要看这些内容的时候可以这样:

new String(Base64Decoder.decode(blog.getContent()), "UTF-8")
五、项目优化

简单优化一下我们这个项目~

1. MyBatis-plus 日志问题

我们在测试我们写的程序时,可以看到 MyBatis 有很多很多的日志,搞得 console 几乎都是它的日志,所以这里我们通过重写它日志类,让这个日志不要显示了。

import org.apache.ibatis.logging.Log;

public class MybatisPlusOutImpl implements Log {

	public MybatisPlusOutImpl(String clazz) {
		
	}

	@Override
	public boolean isDebugEnabled() {
		return true;
	}

	@Override
	public boolean isTraceEnabled() {
		return true;
	}

	@Override
	public void error(String s, Throwable e) {
		e.printStackTrace();
	}

	@Override
	public void error(String s) {
		
	}

	@Override
	public void debug(String s) {
		
	}

	@Override
	public void trace(String s) {
		
	}

	@Override
	public void warn(String s) {
		
	}
}

类创建好之后还不能直接使用,我们还要去 application.yml 中引用一下

# Mybatis-plus相关配置
mybatis-plus:
  configuration:
    # log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
    log-impl: com.lemon1234.scraper.config.MybatisPlusOutImpl
    map-underscore-to-camel-case: false

将之前 org.apache.ibatis.logging.stdout.StdOutImpl 改为我们刚刚的那个类就行,这样一来日志就少了很多。(正儿八经生产这个是不能用的,因为有的时候我们需要看详细日志)

2. 数据库优化

我们在查看作者、博客的时候,是先需要进行查找,然后进行业务处理;不过随着时间推移,我们数据库中的数据会越来越多,所以说不优化查询,到时候会慢的要死,所以这里我们加两个索引,给它提提速。

CREATE INDEX index_t_lemon1234_scraper_author_001 ON t_lemon1234_scraper_author(authorCode, id);
CREATE INDEX index_t_lemon1234_scraper_blog_001 ON t_lemon1234_scraper_blog(blogCode);

到这里我们第一阶段爬虫项目就告一段落了,下一篇博客我们开始更新第二个爬虫~

如果你看我的博客,学习到了一些东西,还希望可以关注一下,感谢


这一讲就讲到这里,有问题可以联系我:QQ 2100363119,欢迎大家访问我的个人网站:https://www.lemon1234.com

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/966588.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号