当前位置:首页 > 话题广场 > 攻略专题 > 游戏问答

关于Python爬取网页出现乱码等问题解决方法

我想学python。

关注小编头条号,私信【学习资料】,即可免费领取一整套系统的板Python学习教程!

在用 python2 抓取网页的时候,经常会遇到抓下来的内容显示出来是乱码。

发生这种情况的最大可能性就是编码问题: 运行环境的字符编码和网页的字符编码不一致。

比如,在 windows 的控制台(gbk)里抓取了一个 utf-8 编码的网站。或者,在 Mac / Linux 的终端(utf-8)里抓取了一个 gbk 编码的网站。因为多数网站采用 utf-8 编码,而不少人又是用 windows,所有这种情况相当常见。

如果你发现你抓下来的内容,看上去英文、数字、符号都是对的,但中间夹杂了一些乱码,那基本可以断定是此情况。

解决这个问题的办法就是,把结果先按网页的编码方式 decode 解码成 unicode,再输出。如果不确定网页的编码,可参照以下代码:

import urllib req = urllib.urlopen(";) info = req.info() charset = in('charset') content = req.read() print con(charset, 'ignore')

'ignore' 参数的作用是忽略掉无法解码的字符。

不过这种方法不总是有效。还有种方式就是通过正则直接匹配网页代码中的编码设置:

<meta http-equiv=Content-Type content="text/html;charset=utf-8">

除了编码问题造成乱码之外,还有种常被忽视的情况,就是 目标网页启用了 gzip 压缩 。压缩后的网页传输数据少了,打开速度更快。在浏览器中打开时,浏览器会根据网页的 header 信息自动做解压。但直接用代码抓取则不会。因此很可能就被搞糊涂了,为什么明明打开网页地址是对的,但程序抓取就不行。连我自己也曾经被这个问题坑过。

这种情况的表现是抓取的内容几乎全是乱码,甚至无法显示。

要判断网页是否启用了压缩并对其解压,可参考以下代码:

import urllib import gzip from StringIO import StringIO req = urllib.urlopen(";) info = req.info() encoding = in('Content-Encoding') content = req.read() if encoding == 'gzip': buf = StringIO(content) gf = gzip.GzipFile(fileobj=buf) content = gf.read() print content

在我们教室的编程实例查天气系列(点击查看) 中,这两个问题困扰了相当多人。在此特别讲解一下。

最后,还有个“利器”要介绍一下。如果一开始就用它,你甚至不知道还有上述两个问题的存在。

这就是 requests 模块。

同样抓取网页,只需要:

import requests print reque(";).text

没有编码问题,没有压缩问题。关注

1.《关于Python爬取网页出现乱码等问题解决方法》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《关于Python爬取网页出现乱码等问题解决方法》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/gl/3128828.html

上一篇

网页打开有乱码怎么办?总结很全面速看!tomcat项目部署时静态html乱码问题处理

网页打开有乱码怎么办啊?总结很全面速看!完美解决PHP中文乱码问题

网页打开有乱码怎么办啊?总结很全面速看!完美解决PHP中文乱码问题

网页打开有乱码怎么办啊相关介绍,PHP中文垃圾一般是字符集问题,编码主要有以下问题: 一.首先是PHP网页的编码 1. php文件本身的编码与网页的编码应匹配 a. 如果欲使用gb2312编码,那么php要输出头:header(“C...