创新互联Python教程：python获取网页乱码怎么解决

在使用python爬取网页时，经常会遇到乱码问题，一旦遇到乱码问题，就很难得到有用的信息。本人遇到乱码问题，一般有以下几个方式：

创新互联专注于企业成都全网营销、网站重做改版、五寨网站定制设计、自适应品牌网站建设、H5场景定制、成都商城网站开发、集团公司官网建设、成都外贸网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为五寨等各大城市提供网站开发制作服务。

1、查看网页源码中的head标签，找到编码方式，例如：

在上图中，可以看到charset='utf-8',说明这个网页很大可能是采用‘UTF-8’编码（是很大可能，但不是百分之百），因此可以试试这个编码方式：

result = response.content.decode('utf-8')

这种方式得到的内容基本上就不会乱码了。

相关推荐：《Python教程》

2、如果上述的方式没有任何作用，页面依然乱码；或者在head标签下并没有找到charset属性；或者我们要采集很多网页的信息，而且这些网页的编码方式不尽相同，我们不可能做到一个一个网页的去查看head标签，那么可以采用下面的方式解决乱码。

（1）python的chardet库

可以使用下面的方式解决乱码问题

result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

从输出结果可以看出这是“猜测”编码，猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。

这种方法的效率很低，如果采集的网页很大，可以只猜测其中一段的源码，即

result = chardet.detect(response.content[:1000])

（2）response的编码

也可以使用另一种方法，即response自有的encoding,apparent_encoding这两个变量。

response.encoding一般是从response.headers中content-type字段中的charset的值，其它情况我也不是很了解。

response.apparent_encoding一般是采用上述的python的chardet库这种方法。

因此可以用下面的方式解决乱码问题

data = response.content.decode(response.apparent_encoding)

3、一般情况下，上述两个方法可以解决乱码问题。但是如果上述两个方式不能解决，那有可能是网页的压缩导致的。这种问题用下面的方法解决。

检查一下你写的头信息是不是包含了Accept-Encoding这个字段，如果有，请删除这个字段，乱码问题就会得到解决。

headers = {
    'Accept-Encoding': 'gzip, deflate, sdch',
    'Accept-Language': 'zh-CN,zh;q=0.8',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 
    Safari/537.36 SE 2.X MetaSr 1.0',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Connection': 'keep-alive',
}

当前名称：创新互联Python教程：python获取网页乱码怎么解决
本文地址：http://www.shufengxianlan.com/qtweb/news4/217954.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联