【爬虫社区】网络爬虫——从网站中提取有用的数据

1　什么是网络爬虫

网络爬虫是一种从将非结构化数据转换为结构化数据的网站提取数据的技术。

网络爬虫的用途是从网站提取数据，提取的数据可以存储到本地文件并保存在系统中，也可以将其以表格的形式存储到数据库中。网络爬虫使用HTTP或Web浏览器直接访问万维网（WWW）。网络爬虫或机器人抓取网页的过程是一个自动化流程。

抓取网页的过程分为获取网页、提取数据。Web抓取程序可以获取网页，它是网络爬虫的必需组件。在获取网页后，就需要提取网页数据了。我们可以搜索、解析，并将提取的数据保存到表格中，然后重新整理格式。

2　数据提取

本节我们学习数据提取。我们可以使用Python的BeautifulSoup库进行数据提取。这里还需要用到Python库的Requests模块。

运行以下命令以安装Requests和BeautifulSoup库。

2.1　Requests库

使用Requests库可以易懂的格式在Python脚本中使用HTTP，这里使用Python中的Requests库获取网页。Requests库包含不同类型的请求，这里使用GET请求。GET请求用于从Web服务器获取信息，使用GET请求可以获取指定网页的html内容。每个请求都对应一个状态码，状态码从服务器返回，这些状态码为我们提供了对应请求执行结果的相关信息。以下是部分状态码。

• 200：表示一切正常并返回结果（如果有）。
• 301：表示如果服务器已切换域名或必须更改端点名称，则服务器将重定向到其他端点。
• 400：表示用户发出了错误请求。
• 401：表示用户未通过身份验证。
• 403：表示用户正在尝试访问禁用的资源。
• 404：表示用户尝试访问的资源在服务器上不可用。

2.2　BeautifulSoup库

BeautifulSoup也是一个Python库，它包含简单的搜索、导航和修改方法。它只是一个工具包，用于从网页中提取所需的数据。

要在脚本中使用Requests和BeautifulSoup模块，必须使用import语句导入这两个模块。现在我们来看一个解析网页的示例程序，这里将解析一个来自百度网站的新闻网页。创建一个脚本，命名为，并在其中写入以下代码。

运行脚本程序，如下所示。

上面的示例程序抓取了一个网页，并使用BeautifulSoup对其进行了解析。首先导入了requests和BeautifulSoup模块，然后使用GET请求访问URL，并将结果分配给page_result变量，接着创建了一个BeautifulSoup对象parse_obj，此对象将requests的返回结果作为参数，然后使用解析该页面。

现在我们将从类和标签中提取数据。转到Web浏览器，右击要提取的内容并向下查找，找到“检查”选项，单击它将获得类名。在程序中指定这个类名，并运行脚本。创建一个脚本，命名为ex，并在其中写入以下代码。

运行脚本程序，如下所示。

上面的示例程序首先导入了requests和BeautifulSoup模块，然后创建了一个requests对象并为其分配了一个URL，接着创建了一个BeautifulSoup对象parse_obj。此对象将requests的返回结果作为参数，然后使用解析页面。最后，使用BeautifulSoup的find()方法从news-article__content类中获取内容。

现在我们来看一个从特定标签中提取数据的示例程序，此示例程序将从<a>标签中提取数据。创建一个脚本，命名为ex，并在其中写入以下代码。

运行脚本程序，如下所示。

上面的示例程序从<a>标签中提取数据。这里使用find_all()方法从news-article__content类中提取所有<a>标签数据。

3　从维基百科网站抓取信息

本节我们将学习一个从维基百科网站获取舞蹈种类列表的示例程序，这里将列出所有古典印度舞蹈。创建一个脚本，命名为ex，并在其中写入以下代码。

运行脚本程序，如下所示。

输出如下。