- 保存作者时需要解析出作者的 code 值,但是 code 值是存储在作者主页的 url 中,也就是说,没有 url 就不能进行保存作者;
- 保存或者更新作者前,需要在我们数据库中查询有没有该 code 值的作者,如果有就更新,没有则新增;
- 成功保存或者更新作者后,返回记录的主键 id,用于后面保存博客使用
我们在 Author 实体中增加一个构造方法
public Author() {
super();
}
public Author(String authorName, String authorUrl, String imageUrl) {
this.authorName = authorName;
this.authorUrl = authorUrl;
this.imageUrl = imageUrl;
}
可以看到,我们这里并没有传递 authorCode 这个属性,因为这里我们是通过方法处理,将 url 中的作者 code 解析出来,完整构造如下:
public Author() {
super();
}
public Author(String authorName, String authorUrl, String imageUrl) {
this.authorCode = StrUtil.isEmpty(authorUrl) ? null : authorUrl.replace("https://xxxx.com/", "").replace("/", "");
this.authorName = authorName;
this.authorUrl = authorUrl;
this.imageUrl = imageUrl;
}
这里的这个地址我用 xxxx 代替了,主要是怕产生版权问题,各位可以到时候去拉取我的项目,查看详细代码,Gitee 地址去第二篇博客找即可。
Service 接口类public interface AuthorService {
String saveOrUpdate(Author author);
}
Mapper 类
@Mapper
public interface AuthorMapper extends BaseMapper {
@Select({"SELECT id FROM t_lemon1234_scraper_author WHERe authorCode = #{authorCode} "})
String findAuthorId(@Param("authorCode") String authorCode);
}
我们需要在作者的这个 Mapper 类中增加一个方法,就是通过 authorCode 查找作者的 id。
相信大家学过 MyBatis 都应该可以看的懂~
当然,Mapper 类加了之后,我们还需要在 Application 启动类中引入一个东西,就是包扫描~,这里根据自己 mapper 所在的包地址增加一下
@MapperScan(value = "com.lemon1234.scraper.mapper")Service 接口实现类
@Service
@Transactional
public class AuthorServiceImpl implements AuthorService {
@Autowired
private AuthorMapper authorMapper;
@Override
public String saveOrUpdate(Author author) {
String id = authorMapper.findAuthorId(author.getAuthorCode());
author.setLastOperateDt(new Date());
if(StrUtil.isEmpty(id)) {
authorMapper.insert(author);
} else {
author.setId(id);
authorMapper.updateById(author);
}
return author.getId();
}
}
我们需要在 Service 实现类中引入 Mapper 类,然后实现接口中的 saveOrUpdate 方法。
如果 id 是空,那么我们就去进行 insert 一个作者,如果不为空,那么我们将 id 放入实体中,然后通过 updateById 进行更新即可。
最后返回实体的 id。(这里可能有人问了,如果是新增,你这里的 id 应该会获取到 null。简单回答一下,MyBatis-plus 已经帮我们考虑到了这一点,它可以做到 insert 之后拿到 id,并且赋值给我们的实体)
注意一下,我这里增加了事务的支持,所以我们还得去 Application 启动类中增加事务的支持
@EnableTransactionManagementCrawlCnblogTask 类
我们在 CrawlCnblogTask 类中引入 AuthorService,然后构造出实体,调用 saveOrUpdate 方法即可。
@Autowired private AuthorService authorService;
List3. 测试blogMainDiv = page.getByXPath("//div[@id='post_list']/article/section"); for(DomElement x : blogMainDiv) { ...... String blogCreateDt = section_footer_span_span.text(); if(StrUtil.isEmpty(authorUrl)) { continue; } Author author = new Author(authorName, authorUrl, imageUrl); String authorId = authorService.saveOrUpdate(author); }
这里看你自己,想测试就测试一下,不想测试就拉倒。我是先不测试了,等下面博客添加完之后一起测试。
二、保存博客 1. 需求说明- 保存博客时需要获取到博客的 code 值,但是博客的 code 值也是保存在 url 里面,所以我们还得去解析这个 url;
- 博客的创建时间是:yyyy-MM-dd HH:mm 这个类型,所以我们需要简单对这个时间改造一下;
- 我们在每次任务开始的时候,需要统计出每次任务新增的博客数量,所以需要有一个计数器;
- 在进行爬取博客数据的时候,只要按照博客 code 匹配到一条重复的博客时,我们就停止任务;
public Blog() {
super();
}
public Blog(String blogCode, String blogTitle, String blogUrl, DateTime blogCreateDt, String content, String authorId) {
this.blogCode = blogCode;
this.blogTitle = blogTitle;
this.blogUrl = blogUrl;
this.blogCreateDt = blogCreateDt;
this.content = content;
this.authorId = authorId;
}
public static String parseGenerationBlogCode(String blogUrl) {
return blogUrl.substring(blogUrl.lastIndexOf("/")).replace("/", "").replace(".html", "");
}
这里除去要增加构造方法,还增加了一个解析 blogUrl 的静态方法。
Service 接口类public interface BlogService {
Blog findBlogInfo(String blogCode);
void saveBlog(Blog blog);
}
Mapper 类
@Mapper public interface BlogMapper extends BaseMapper{ @Select({"SELECT * FROM t_lemon1234_scraper_blog WHERe blogCode = #{blogCode} "}) Blog findBlogInfo(@Param("blogCode") String blogCode); }
这里我们需要增加一个方法,就是通过博客的 code 值查找博客。
Service 接口实现类@Service
@Transactional
public class BlogServiceImpl implements BlogService {
@Autowired
private BlogMapper blogMapper;
@Override
public Blog findBlogInfo(String blogCode) {
return blogMapper.findBlogInfo(blogCode);
}
@Override
public void saveBlog(Blog blog) {
blog.setLastOperateDt(new Date());
blogMapper.insert(blog);
}
}
CrawlCnblogTask 类
首先引入一下 BlogService。
@Autowired private BlogService blogService;
然后我们来写具体的业务代码,就在保存完成作者的下面去写
......
String authorId = authorService.saveOrUpdate(author);
String blogCode = Blog.parseGenerationBlogCode(blogUrl);
Blog blog = blogService.findBlogInfo(blogCode);
if(blog == null) {
blog = new Blog(blogCode, blogTitle, blogUrl, DateUtil.parseDateTime(blogCreateDt + ":00"), content, authorId);
blogService.saveBlog(blog);
}
当然,这代码写到这里还没有写完~
我们需要定义两个局部变量,一个是计数器:crawlCount,一个是:execute(execute 用来控制是否继续爬下去, true 是继续,false 就停止)。
我们在每次保存博客之后,让 crawlCount 自加 1;而 execute 是在 blog 不为空的时候,将 execute 设置成 false,并且 break 掉循环,接着在第一层循环加上判断即可,详细我们来看代码
int crawlCount = 0;
WebClient webClient = HtmlunitUtil.getWebClient();
for(int i = 1; i <= 1; i++) {
boolean execute = true;
for(DomElement x : blogMainDiv) {
......
String blogCode = Blog.parseGenerationBlogCode(blogUrl);
Blog blog = blogService.findBlogInfo(blogCode);
if(blog == null) {
......
crawlCount++;
} else {
execute = false;
break;
}
}
if(!execute) {
break;
}
}
这里我省略了很多代码,但我相信各位能看懂~
在每次任务完成之后,我们搞一个 log 打印一下本次爬到的数据即可。
logger.info("========== {} 爬取 博客 结束,本次爬取数量为:{} ======================================== n", DateUtil.now(), crawlCount);
三、测试
代码写完后,就要紧张的测试了,我们刚开始测试,就先一页两页的测试,感觉没有问题,清空数据后再搞一次全量的测试。
我这里就直接上结果好了
这个错误是有概率出现的,也是我们没有办法避免的,先来说一下错误原因~
这里我们去 google 翻译一下错误
可以看到,是因为不正确的字符串导致的。
这里要说一下:MySQL 的编码类型我这里用的是 UTF8,但是 UTF8 这个编码最多可以保存 3 个字节;而我们后端拿数据 UTF-8 编码可能是 2 字节,可能是 3 字节,也有可能是 4 字节,所以碰到一些特殊的文字、字符啥的,拿到了 4 字节,所以数据插不进去,报错。
给出一个简单的解决方法:
我这里将博客标题、博客简介都做了 Base64 的运算,将运算结果保存至数据库中,用的时候只需要将他们 decode 出来就好~
四、改 Bug我们修改 CrawlCnblogTask 类
将
blog = new Blog(blogCode, blogTitle, blogUrl, DateUtil.parseDateTime(blogCreateDt + ":00"), content, authorId);
改为
blog = new Blog(blogCode, Base64Encoder.encode(blogTitle), blogUrl, DateUtil.parseDateTime(blogCreateDt + ":00"), Base64Encoder.encode(content), authorId);
这里 Base64Encoder 我用的是
cn.hutool.core.codec.Base64Encoder
别引错了。
到时候我们要看这些内容的时候可以这样:
new String(Base64Decoder.decode(blog.getContent()), "UTF-8")五、项目优化
简单优化一下我们这个项目~
1. MyBatis-plus 日志问题我们在测试我们写的程序时,可以看到 MyBatis 有很多很多的日志,搞得 console 几乎都是它的日志,所以这里我们通过重写它日志类,让这个日志不要显示了。
import org.apache.ibatis.logging.Log;
public class MybatisPlusOutImpl implements Log {
public MybatisPlusOutImpl(String clazz) {
}
@Override
public boolean isDebugEnabled() {
return true;
}
@Override
public boolean isTraceEnabled() {
return true;
}
@Override
public void error(String s, Throwable e) {
e.printStackTrace();
}
@Override
public void error(String s) {
}
@Override
public void debug(String s) {
}
@Override
public void trace(String s) {
}
@Override
public void warn(String s) {
}
}
类创建好之后还不能直接使用,我们还要去 application.yml 中引用一下
# Mybatis-plus相关配置
mybatis-plus:
configuration:
# log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
log-impl: com.lemon1234.scraper.config.MybatisPlusOutImpl
map-underscore-to-camel-case: false
将之前 org.apache.ibatis.logging.stdout.StdOutImpl 改为我们刚刚的那个类就行,这样一来日志就少了很多。(正儿八经生产这个是不能用的,因为有的时候我们需要看详细日志)
2. 数据库优化我们在查看作者、博客的时候,是先需要进行查找,然后进行业务处理;不过随着时间推移,我们数据库中的数据会越来越多,所以说不优化查询,到时候会慢的要死,所以这里我们加两个索引,给它提提速。
CREATE INDEX index_t_lemon1234_scraper_author_001 ON t_lemon1234_scraper_author(authorCode, id); CREATE INDEX index_t_lemon1234_scraper_blog_001 ON t_lemon1234_scraper_blog(blogCode);
到这里我们第一阶段爬虫项目就告一段落了,下一篇博客我们开始更新第二个爬虫~
如果你看我的博客,学习到了一些东西,还希望可以关注一下,感谢
这一讲就讲到这里,有问题可以联系我:QQ 2100363119,欢迎大家访问我的个人网站:https://www.lemon1234.com



