MySQL乱码的原因和设置UTF8数据格式

https://segmentfault.com/a/1190000018662023

MySQL使用时,有一件很痛苦的事情肯定是结果乱码。将编码格式都设置为UTF8可以解决这个问题,我们今天来说下为什么要这么设置,以及怎么设置。

MySQL字符格式

字符集

在编程语言中,我们为了防止中文乱码,会使用unicode对中文字符做处理,而为了降低网络带宽和节省存储空间,我们使用UTF8进行编码。对这两者有什么不同不够了解的同学,可以参考Unicode字符集和UTF8编码编码的前世今生这篇文章。

同样在MySQL中,我们也会有这样的处理,我们可以查看当前数据库设置的编码方式(字符集):

mysql> show variables like ‘%char%‘;
+--------------------------+----------------------------------+
| Variable_name            | Value                            |
+--------------------------+----------------------------------+
| character_set_client     | latin1                           |
| character_set_connection | latin1                           |
| character_set_database   | latin1                           |
| character_set_filesystem | binary                           |
| character_set_results    | latin1                           |
| character_set_server     | latin1                           |
| character_set_system     | utf8                             |
| character_sets_dir       | /usr/local/mysql/share/charsets/ |
+--------------------------+----------------------------------+
8 rows in set (0.00 sec)

表中就是当前设置的字符集,先看不用关注的几个值:

  • character_set_filesystem | binary:文件系统上的存储格式,默认为binary(二进制)
  • character_set_system | utf8:系统的存储格式,默认为utf8
  • character_sets_dir | /usr/local/mysql/share/charsets/:可以使用的字符集的文件路径

剩下的几个就是日常影响读写乱码的参数了:
- character_set_client:客户端请求数据的字符集
- character_set_connection:从客户端接收到数据,然后传输的字符集
- character_set_database:默认数据库的字符集;如果没有默认数据库,使用character_set_server字段
- character_set_results:结果集的字符集
- character_set_server:数据库服务器的默认字符集

字符集的转换流程分为3步:

  1. 客户端请求数据库数据,发送的数据使用character_set_client字符集
  2. MySQL实例收到客户端发送的数据后,将其转换为character_set_connection字符集
  3. 进行内部操作时,将数据字符集转换为内部操作字符集:
    1. 使用每个数据字段的character set设定值
    2. 若不存在,使用对应数据表的default character set设定值
    3. 若不存在,使用对应数据库的default character set设定值
    4. 若不存在,使用character_set_server设定值
  4. 将操作结果值从内部操作字符集转换为character_set_results

字符序

说字符序之前,我们需要了解一点基础知识:

  • 字符(Character)是指人类语言中最小的表义符号。例如’A’、’B’等;
  • 给定一系列字符,对每个字符赋予一个数值,用数值来代表对应的字符,这一数值就是字符的编码(Encoding)。例如,我们给字符’A’赋予数值0,给字符’B’赋予数值1,则0就是字符’A’的编码;
  • 给定一系列字符并赋予对应的编码后,所有这些字符和编码对组成的集合就是字符集(Character Set)。例如,给定字符列表为{‘A’,’B’}时,{‘A’=>0, ‘B’=>1}就是一个字符集;
  • 字符序(Collation)是指在同一字符集内字符之间的比较规则;
  • 确定字符序后,才能在一个字符集上定义什么是等价的字符,以及字符之间的大小关系;
  • 每个字符序唯一对应一种字符集,但一个字符集可以对应多种字符序,其中有一个是默认字符序(Default Collation)
  • MySQL中的字符序名称遵从命名惯例:以字符序对应的字符集名称开头;以_ci(表示大小写不敏感,case insensitive)、_cs(表示大小写敏感,case sensitive)或_bin(表示按编码值比较,binary)结尾。例如:在字符序“utf8_general_ci”下,字符“a”“A”是等价的;

因此字符序不同于字符集,用于数据库字段的相等或大小比较。我们查看MySQL实例设置的字符序:

mysql> show variables like ‘collation%‘;
+----------------------+-------------------+
| Variable_name        | Value             |
+----------------------+-------------------+
| collation_connection | latin1_swedish_ci |
| collation_database   | latin1_swedish_ci |
| collation_server     | latin1_swedish_ci |
+----------------------+-------------------+
3 rows in set (0.00 sec)

跟utf8对应的常用字符序是:utf8_unicode_ci/utf8_general_ci和utf8_bin等,那么他们的区别是什么呢?

  1. _bin是用二进制存储并比较,区别大小写,存储二进制内容时使用
  2. utf8_general_ci:校对速度快,但准确度稍差,使用中英文时使用
  3. utf8_unicode_ci:准确度高,但校对速度稍慢,使用德法俄等外语时使用

详细的区别可以参考 Mysql中的排序规则utf8_unicode_ci、utf8_general_ci的区别总结

修改字符集和字符序

如果在MySQL连接时,出现了乱码的问题,那么基本可以确定是各个字符集/序设置不统一的原因。MySQL默认的latin1格式不支持中文,由于我们在中国,所以选择对中文和各语言支持都非常完善的utf8格式。所以,我们需要将需要关注的字符集和字符序都修改为utf8格式。

你也可以选择utf8mb4格式,这个格式支持保存emoji??表情。

我们需要修改Mysql的配置文件,查看配置文件的位置有两种方式:

1. $ mysql --help | grep ‘my.cnf‘
   /etc/mysql/my.cnf /etc/my.cnf ~/.my.cnf
2. ps aux | grep mysql

(1)中,/etc/my.cnf, /etc/mysql/my.cnf, ~/.my.cnf 这些就是mysql默认会搜寻my.cnf的目录,优先级依次升高。可以在各个配置文件里都使用long_query_time 来测试一下。

然后,我们修改或新增下面的配置项:

# 下面注释的几行可以不设置,但如果你的没有生效,也可以试试看
[mysqld]
character_set_server=utf8
collation-server=utf8_general_ci
skip-character-set-client-handshake
#init_connect=‘SET NAMES utf8‘

#[client]
#default-character-set=utf8

这三行配置就可以解决问题,最关键的是最后一行,参考mysql文档,使用该参数会忽略客户端传递的字符集信息,而直接使用服务端的设定;再加上我们设定服务端的字符集和字符序均为utf8,这样就保证了字符格式的统一,解决乱码的问题。

重启mysql服务,如果提示找不到服务,请参考用service命令管理mysql启停

$ service mysqld restart
Shutting down MySQL..                                      [  OK  ]
Starting MySQL.                                            [  OK  ]

连接到mysql,查看当前编码:

mysql> show variables like ‘%char%‘;
+--------------------------+----------------------------------+
| Variable_name            | Value                            |
+--------------------------+----------------------------------+
| character_set_client     | utf8                             |
| character_set_connection | utf8                             |
| character_set_database   | utf8                             |
| character_set_filesystem | binary                           |
| character_set_results    | utf8                             |
| character_set_server     | utf8                             |
| character_set_system     | utf8                             |
| character_sets_dir       | /usr/local/mysql/share/charsets/ |
+--------------------------+----------------------------------+
8 rows in set (0.01 sec)

mysql> show variables like ‘collation%‘;
+----------------------+-----------------+
| Variable_name        | Value           |
+----------------------+-----------------+
| collation_connection | utf8_general_ci |
| collation_database   | utf8_general_ci |
| collation_server     | utf8_general_ci |
+----------------------+-----------------+
3 rows in set (0.01 sec)

可以看到一切都符合预期,请求和存储的数据也不再是乱码了。

遇到的问题

unknown variable ‘default-character-set=utf8‘

参考官方文档,该参数自5.5.3版本废弃,改为了character-set-server,改为这个参数即可。

但这个是在[mysqld]下的配置,在[client]下的配置依然使用default-character-set参数。

参考资料

  1. MySQL连接校对:utf8_general_ci与utf8_unicode_ci有什么区别呢 :https://segmentfault.com/q/10...
  2. Unicode 和 UTF-8 有什么区别?:https://www.zhihu.com/questio...
  3. 深入Mysql字符集设置:http://www.laruence.com/2008/...
  4. 10.4 Connection Character Sets and Collations:https://dev.mysql.com/doc/ref...
  5. ISO/IEC 8859-1:https://zh.wikipedia.org/wiki...
  6. 5.1.6 Server Command Options:https://dev.mysql.com/doc/ref...
  7. 用service命令管理mysql启停:https://segmentfault.com/a/11...
  8. Unicode字符集和UTF8编码编码的前世今生:https://segmentfault.com/a/11...
  9. Mysql中的排序规则utf8_unicode_ci、utf8_general_ci的区别总结:https://www.jb51.net/article/...

原文地址:https://www.cnblogs.com/tomato0906/p/12071854.html

时间: 2024-10-23 01:40:43

MySQL乱码的原因和设置UTF8数据格式的相关文章

处理linux下面的mysql乱码问题(下面的utf8换成gb2312也是可以的)

有时候因为编码需要修改mysql的编码,windows下修改有图文界面简单一些,linux大家就可以参考下面的方法 默认登录mysql之后可以通过SHOW VARIABLES语句查看系统变量及其值. mysql> show variables like '%character%'; 说明:以下是在CentOS-6.2下的设置 (不同的版本可能有些差异,比如文件的位置.但设置的内容应该是一样的) 1. 找到mysql的配置文件,拷贝到etc目录下,第一步很重要 把/usr/share/doc/my

mysql 中文出现?,设置utf8

windows系统下的mysql: 1.找到mysql的配置文件:文件名可能不是my.ini(如my-default.ini),修改成my.ini. 打开配置文件,并编辑如下:(若是没有[client]则增加) 3.重启mysql服务器,在计算机右键--管理--.... 在mysql客户端中操作(也可以在命令行中操作cmd)---->结果如下所示已经转换过来了,之前的为Latin1: 之后再创建的数据库就是utf8的格式了: 4.若是之前已经创建过数据库及表格,则采用下面的方式修改: 1>修改

10分钟学会理解和解决MySQL乱码问题

本文将详细介绍MySQL乱码的成因和具体的解决方案 MySQL出现乱码的原因 要了解为什么会出现乱码,我们就先要理解:从客户端发起请求,到MySQL存储数据,再到下次从表取回客户端的过程中,哪些环节会有编码/解码的行为.为了更好的解释这个过程,博主制作了两张流程图,分别对应存入和取出两个阶段. 存入MySQL经历的编码转换过程 上图中有3次编码/解码的过程(红色箭头).三个红色箭头分别对应:客户端编码,MySQL Server解码,Client编码向表编码的转换.其中Terminal可以是一个B

理解和解决MySQL乱码问题

MySQL出现乱码的原因 要了解为什么会出现乱码,我们就先要理解:从客户端发起请求,到MySQL存储数据,再到下次从表取回客户端的过程中,哪些环节会有编码/解码的行为.为了更好的解释这个过程,博主制作了两张流程图,分别对应存入和取出两个阶段. 存入MySQL经历的编码转换过程 上图中有3次编码/解码的过程(红色箭头).三个红色箭头分别对应:客户端编码,MySQL Server解码,Client编码向表编码的转换.其中Terminal可以是一个Bash,一个web页面又或者是一个APP.本文中我们

理解和解决 MySQL 乱码问题(转载)

理解和解决 MySQL 乱码问题(转载) 转载自:http://linux.cn/article-5028-1.html MySQL出现乱码的原因 要了解为什么会出现乱码,我们就先要理解:从客户端发起请求,到MySQL存储数据,再到下次从表取回客户端的过程中,哪些环节会有编码/解码的行为.为了更好的解释这个过程,博主制作了两张流程图,分别对应存入和取出两个阶段. 存入MySQL经历的编码转换过程 上图中有3次编码/解码的过程(红色箭头).三个红色箭头分别对应:客户端编码,MySQL Server

MySQL字符集 GBK、GB2312、UTF8区别 解决 MYSQL中文乱码问题 收藏 MySQL中涉及的几个字符集

MySQL中涉及的几个字符集 character-set-server/default-character-set:服务器字符集,默认情况下所采用的.character-set-database:数据库字符集.character-set-table:数据库表字符集.优先级依次增加.所以一般情况下只需要设置character-set-server,而在创建数据库和表时不特别指定字符集,这样统一采用character-set-server字符集.character-set-client:客户端的字符

mysql设置utf8字符集

mysql字符集含义请看mysql手册第10.1节Character Set Support mysql的字符集转换过程请看鸟哥博客的这一篇 0. 初始状态 debian使用apt安装的mysql一开始是这样的 可以看到默认情况下 sever的字符集是latin1 db的字符集是latin1 mysql cli的client和connect的字符集是utf8 (pdo连接的client和connect的默认字符集是latin1) 1. server charset server的字符集设置可以通

mysql保存中文乱码的原因和解决办法

当你遇到这个mysql保存中文乱码问题的时候,期待找到mysql保存中文乱码的原因和解决办法这样一篇能解决问题的文章是多么激动人心. 也许30%的程序员会选择自己百度,结果发现网友已经贴了很多类似mysql 中文乱码.php mysql 中文乱码.mysql5.5中文乱码.mysql 乱码.mysql乱码问题.mysql jsp 乱码.mysql jdbc 乱码.mysql 查询乱码.mysql 导入数据乱码等一系列问题,到底哪个是自己要找的能解决自己问题的呀?15%的程序员一看就懵了,剩下15

SecureCRT中文乱码解决已设置UTF-8了

问题描述 SecureCRT与SecureFX的常规选项里面已经设置成了UTF-8,但是在SecureCRT中新建的中文文件夹,在SecureFX里面仍是乱码,这个问题,找了很多的方法,最后还是解决了,在这里和大家分享下. 查看服务器编码 查看linux的编码,修改为自己需要的,本文将已UTF-8为例进行说明.修改Linux服务器的配置文件:[[email protected] ~]# vi /etc/sysconfig/i18n如果安装系统的时候选择了中文系统,则把LANG字段改为:LANG=