栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

java mysql emoji表情读写的问题

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

java mysql emoji表情读写的问题

一、背景
环境

服务器

mysqlmysql-connector-java.jar
本地mac5.7.325.1.48
线上centos5.7.325.1.48

utf8mb4支持的mysql版本为5.5.3+,若mysql低于该版本请先升级

二、问题

网上查阅,都明确指向mysql的表情问题

22/05/30 14:47:41 WARN [task-result-getter-0] TaskSetManager: Lost task 0.0 in stage 0.0 (TID 0, dasd-test-100, executor 1): java.sql.SQLException: Incorrect string value: 'xF0x9Fx8Ex81' for column 'nick_name' at row 1 Query:  
at org.apache.commons.dbutils.AbstractQueryRunner.rethrow(AbstractQueryRunner.java:527)
	at org.apache.commons.dbutils.QueryRunner.batch(QueryRunner.java:195)
	at org.apache.commons.dbutils.QueryRunner.batch(QueryRunner.java:151)
	at com.cds.data.batch.cqq.author.AuthorInfoJob$.updateAuthorInfo(AuthorInfoJob.scala:141)
	at com.cds.data.batch.cqq.author.AuthorInfoJob$$anonfun$process$1.apply(AuthorInfoJob.scala:85)
	at com.cds.data.batch.cqq.author.AuthorInfoJob$$anonfun$process$1.apply(AuthorInfoJob.scala:78)
	at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$28.apply(RDD.scala:980)
	at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$28.apply(RDD.scala:980)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2118)
	at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2118)
	at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:90)
	at org.apache.spark.scheduler.Task.run(Task.scala:123)
	at org.apache.spark.executor.Executor$TaskRunner$$anonfun$10.apply(Executor.scala:408)
	at org.apache.spark.util.Utils$.tryWithSafeFinally(Utils.scala:1360)
	at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:414)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
	at java.lang.Thread.run(Thread.java:748)

本地执行的代码没有问题。但是线上执行就会报错。起初一直怀疑是服务器的问题,可能是服务器对表情的解析异常,查阅资料显示不是。注意比较坑的一个地方是,mysql的utf8不是java 的utf8。

如果在设置jdbc连接的时候不指定characterEncoding=utf8的话,系统就会自动识别匹配类型。或者按照自己的需要配置为characterEncoding=utf8mb4就可以直接解决(未测试)。

三、解决
  1. 服务端: 检查mysql的编码格式是否是utf8mb4,在mysql 里面utf8是3个字节分割的,表情是4个字节

  2. 客户端:检查Java代码是否是utf8编码的

  3. 连接: Connection是utf8mb4

  4. val qr: QueryRunner = new QueryRunner()
    val conn: Connection = DbInstance.getDataSource.getConnection
    qr.update(conn, "SET NAMES utf8mb4")
    qr.batch(conn, sql, params)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/935924.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号