• linkedu视频
  • 平面设计
  • 电脑入门
  • 操作系统
  • 办公应用
  • 电脑硬件
  • 动画设计
  • 3D设计
  • 网页设计
  • CAD设计
  • 影音处理
  • 数据库
  • 程序设计
  • 认证考试
  • 信息管理
  • 信息安全
菜单
linkedu.com
  • 网页制作
  • 数据库
  • 程序设计
  • 操作系统
  • CMS教程
  • 游戏攻略
  • 脚本语言
  • 平面设计
  • 软件教程
  • 网络安全
  • 电脑知识
  • 服务器
  • 视频教程
  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell
您的位置:首页 > 脚本语言 >python > python使用chardet判断字符串编码的方法

python使用chardet判断字符串编码的方法

作者: 字体:[增加 减小] 来源:互联网

通过本文主要向大家介绍了python chardet,python chardet下载,python chardet模块,chardet,chardet下载等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com

本文实例讲述了python使用chardet判断字符串编码的方法。分享给大家供大家参考。具体分析如下:

最近利用python抓取一些网上的数据,遇到了编码的问题。非常头痛,总结一下用到的解决方案。

linux中vim下查看文件编码的命令 set fileencoding
python中一个强力的编码检测包 chardet ,使用方法非常简单。linux下利用pip install chardet实现简单安装

import chardet
f = open('file','r')
fencoding=chardet.detect(f.read())
print fencoding
</div>

fencoding输出格式 {'confidence': 0.96630842899499614, 'encoding': 'GB2312'} ,只能判断是否为某种编码的概率。比较准确的结果了。输入参数为str类型。

了解python中str的编码后可以利用decode和encode来实现编码的转换。

一般流程是str利用decode方法根据str的编码将其解码为unicode字符串类型,然后利用encode根据特定的编码将unicode字符串类型转换为特定的编码。python中str和unicode属于两种不同的类型,如下。

一般情况下window默认编码gbk,linux默认编码utf8
python编程中 系统编码,python编码,文件编码 的概念。

系统编码:默认写源码的编辑器的编码方式。它代表源码文件内的所有内容都是根据词方式编码成二进制码流。存入到磁盘中的。linux下通过locale命令查看。

python编码:指python内设置的解码方式。如果不设定的话,python默认的是ascii解码方式。如果python源代码文件中不出现中文的话,这个地方怎么设定应该不会问题。

设定方法:在源码文件开头(一定是第一行):#-*-coding:UTF-8-*-,源码文件的设置解码方式是UTF-8 或者 

import sys
reload(sys)
sys.setdefaultencoding('UTF-8')
</div>

文件编码:文本的编码方式,linux下vim利用set fileencoding查看。

一般情况下输出乱码的原因就是 没有按照系统解码的方式进行编码。

比如print s, s类型为str,linux系统下系统默认编码为utf8编码,s在输出前就应该编码为utf8。如果s为gbk编码就应该这样输出。print s.decode('gbk').encode('utf8')才能输出中文。

window下面情况相同,window默认编码为gbk编码,所以s输出前必须编码为gbk。

python处理中一般处理unicode类型。这样输出前直接编码即可。

希望本文所述对大家的Python程序设计有所帮助。

</div>

您可能想查找下面的文章:

  • python判断字符串编码的简单实现方法(使用chardet)
  • Python使用chardet判断字符编码
  • python使用chardet判断字符串编码的方法
  • 使用python的chardet库获得文件编码并修改编码

相关文章

  • Python提示[Errno 32]Broken pipe导致线程crash错误解决方法
  • Python实现获取操作系统版本信息方法
  • 详解Python中的日志模块logging
  • 详解Python中使用base64模块来处理base64编码的方法
  • Python中使用asyncio 封装文件读写
  • python遍历目录的方法小结
  • Python的“二维”字典 (two-dimension dictionary)定义与实现方法
  • python进阶教程之函数参数的多种传递方法
  • python 数据清洗之数据合并、转换、过滤、排序
  • Python实现登录人人网并抓取新鲜事的方法

文章分类

  • vbs
  • DOS/BAT
  • hta/htc
  • python
  • perl
  • VBA
  • ColdFusion
  • ruby
  • PowerShell
  • Lua
  • Golang
  • linux shell

最近更新的内容

    • python中使用urllib2伪造HTTP报头的2个方法
    • 在IIS服务器上以CGI方式运行Python脚本的教程
    • 在Python中使用__slots__方法的详细教程
    • Python实现读取目录所有文件的文件名并保存到txt文件代码
    • python使用xmlrpclib模块实现对百度google的ping功能
    • Python时间的精准正则匹配方法分析
    • python实现读取并显示图片的两种方法
    • python 调用HBase的简单实例
    • python求素数示例分享
    • 详解Python中for循环的使用

关于我们 - 联系我们 - 免责声明 - 网站地图

©2020-2025 All Rights Reserved. linkedu.com 版权所有