【爬虫社区】如何自学Python爬虫技术

python语言在过去两年里越来越生气，它越来越崛起也是有原因的。

市长/市场需求、入门、学习、多语言支持等。当然，这些都很正式。

说白了，就是

写个web服务，可以用python；

写个服务器脚本，可以用python；

写个桌面客户端，可以用python；

做机器学习数据挖掘，可以用python；

写测试工具自动化脚本依旧可以用python……

Python语言是免费支持的！

既然那么好，如何利用python进行有意义的行（zhuan）为（钱）呢？

今天，小编和大家一起学习python爬虫技术呢？

一、老生常谈-学习准备

学会提前准备是一切好的开始，学习语言更是如此。兴趣是最好的老师，学习爬虫技术，可以给自己定个目标，比如为了妹纸，爬取时尚网站的数据信息，打包给那个她······

基础知识必须掌握

什么是爬虫？数据是从哪里来的？这些基础到不行的知识点，请自行搜索！你还得掌握：

·HTML，了解网页的结构，内容等，帮助后续的数据爬取。

·Python

因为比较简单，零基础可以听一些大牛的博客文章，或者听别人是怎么说

python玩转自动化测试，这个点有基础的同学，可以略过哈~

·TCP/IP协议，HTTP协议

了解在网络请求和网络传输上的基本原理，帮助今后写爬虫的时候理解爬虫的逻辑。

二、爬取整个网站的构思

当用户在浏览网页时，会看图片。

点击网址看到的图片，是用户输入网址-DNS服务器-服务器主机-服务器请求-服务器解析-发送浏览器HTML、JS、CSS-浏览器解析-解析图片

爬虫需要爬取，有HTML代码构成的网页，然后获取图片和文字！

三、环境配置

环境配置总是最重要的一个环境，做过测试的都知道。python也一样，需要掌握几款好用的IDE，我们来看看常用的几个：

1、Notepad++，简单，但是提示功能不强

2、PyCharm，用于一般IDE具备的功能，比如，调试、语法高亮、代码跳转、等等，同时可用于Django开发，支持Google App Engine，更酷的是，PyCharm支持IronPython！

好的开发工具是一切工作完成的前提。