• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase
您的位置:首页 > 数据库 >Mysql > mysql数据校验过程中的字符集问题处理

mysql数据校验过程中的字符集问题处理

作者: 字体:[增加 减小] 来源:互联网 时间:2017-05-11

通过本文主要向大家介绍了查看mysql字符集,mysql 字符截取,mysql字符集设置,mysql 字符集,mysql修改字符集等相关知识,希望本文的分享对您有所帮助

场景:
主库DB:utf8字符集
备库DB:gbk字符集

需求:
校验主备数据是否一致,并且修复

校验过程:
设置主库连接为utf8,设置备库连接为gbk,分别进行查询,将返回的的结果集按记录逐字段比较。

显示结果:
原本相同的汉字字符,数据校验认为不一致。

原因分析:
对于主库而已,由于建立连接的字符集为UTF8,则返回的汉字字符编码为UTF8格式;对于备库而言则是GBK格式,而程序中通过字符串比较函数strcasecmp进行比较,显然不同的字符集编码,相同的字符有不同的二进制,因此结果肯定不会相等。

进一步分析:
那么对于这种情况,建立连接应该采用哪种字符集呢?GBK or UTF8。其实选择任何一种字符集都是OK的,只要是访问主库和备库的字符集保持一致即可,唯一的区别在于,若选择的字符集与客户端的字符集不一致,可能导致无法正常显示字符,即字符显示为乱码。

我们以客户端的字符集为例,详细说说三种情况:【这里的客户端可以认为是SecureCRT】
备注:绿色框代表DB字符集,黄色框代表连接字符集,橙色框代表客户端
第一种情况:

就是上述的情况,主库返回字符的GBK编码,备库返回字符的UTF8编码,因此进行字段比对,则会出现误差。

第二种情况:

访问主库的连接不变,备库连接由UTF8变为GBK,因此进行返回时,数据库会将DB的字符集转为GBK返回给客户端,那么对于客户端而已,相同字符都是通过GBK编码表示,因此二进制相等,校验结果正确。

第三种情况:

   访问主库和备库的连接都是UTF8,因此对于主库而已,返回给客户端的字符编码由GBK转为UTF8,此时主库和备库都是UTF8编码,校验结果正确。但由于客户端实质是GBK编码方式显示,因此返回的汉字字符都是乱码,但不影响校验结果的正确性。

修复:

      既然选择与主备库任一一个相同的字符集去访问,都不会影响校验结果的正确性,那么影响修复呢?由于UTF8的编码范围比GBK编码范围要大,因此若采用GBK连接访问UTF8编码DB,有可能出现部分字符GBK不能表示的情况。

我们拿第二种情况说明,此时主库为GBK,备库为UTF8,使用GBK访问UTF8。假设存在UTF8转为GBK过程中部分字符丢失,这时候主备库肯定是不一致的,因为存在部分字符GBK无法表示。 假设修复语句如下:

Update  t set c1=master_value  where  c1=slave_value  and id=?

其中t表示表名,id是主键表示某一行,master_value为主库c1列的值,slave_value为备库c1列的值。此时,slave_value由于UTF8转为GBK已经丢失,因此语句执行最终影响0行记录,无法修复。

 

结论:

客户端访问两个不同字符集库进行数据校验时,连接采用表示范围更大的字符集。比如我们常用的字符集表示范围如下:

Latin<gb2312<gbk<utf8

 

附:mysql客户端与服务器通信时字符集编码转换流程

相关参数:

– character_set_client:客户端来源数据使用的字符集

– character_set_connection:连接层字符集

– character_set_results:查询结果字符集

– character_set_database:当前选中数据库的默认字符集

– character_set_system:系统元数据(字段名等)字符集

 1.客户端请求服务器

1)将client的字符集转为connection字符集

2)将connection字符集转为DB内部的字符集

 

 2.服务器返回结果给客户端

1)将DB内部字符集转为connection字符集

2)将connection字符集转为character_set_results字符集

 

3.设置字符集命令:set names 字符编码

指定客户端与服务器通信的字符集,包括请求与返回。

SET NAMES 'x'  等价于:

SET character_set_client = x;

SET character_set_results = x;

SET character_set_connection = x;

附图:

</div>
分享到:QQ空间新浪微博腾讯微博微信百度贴吧QQ好友复制网址打印

您可能想查找下面的文章:

  • 基于mysql 5.5 设置字符集问题的详解
  • 解析mysql 5.5字符集问题
  • mysql字符集和校对规则(Mysql校对集)
  • mysql字符集乱码问题解决方法介绍
  • MySQL字符集的基本类型与统一字符集分析
  • mysql 字符集的系统变量说明
  • Mysql 默认字符集设置方法(免安装版)
  • mysql数据校验过程中的字符集问题处理
  • MySQL的字符集操作命令总结
  • MySQL数据入库时特殊字符处理详解

相关文章

  • 2017-05-11MySQL 性能优化的最佳20多条经验分享
  • 2018-12-05MySQL常见SQL语句使用方法总结
  • 2018-12-05Mysql之EXPLAIN显示using filesort介绍
  • 2017-05-11解析如何加快mysql编译的速度
  • 2018-12-05使用准则进行条件查询
  • 2017-05-11xampp中修改mysql默认空密码(root密码)的方法分享
  • 2018-12-05MySQL中101个调试与优化技巧的分享
  • 2017-05-11MySQL不支持INTERSECT和MINUS及其替代方法
  • 2018-12-05详解MySQL5.6.36在Windows x64位版本下的安装教程(图)
  • 2018-12-05sqlserver 游标的简单示例

文章分类

  • MsSql
  • Mysql
  • oracle
  • MariaDB
  • DB2
  • SQLite
  • PostgreSQL
  • MongoDB
  • Redis
  • Access
  • 数据库其它
  • sybase
  • HBase

最近更新的内容

    • win10下如何安装两个MySQL5.6.35?
    • 精妙的SQL和SQL SERVER 与ACCESS、EXCEL的数据导入导出转换
    • MySQL入门之事务概念
    • MySQL在Windows环境下如何使用Qt连接?
    • 总结关于索引合并注意点
    • sqlserver 动态创建临时表的语句分享
    • sqlserver查询锁住sql以及解锁的方法
    • 解析bitronix 连接 MySQL 出现MySQLSyntaxErrorException错误的解决方法
    • MySQL中关于主从数据库同步延迟的问题解决
    • 实例讲解mysql修改开启允许远程连接

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有