“ 我相信有相当大部分人，学习python最初动机，就是做一个网络爬虫，虽然python的主要强项是数据分析方面(至少我是这样认为的)，但这并不妨碍它成为目前最主流的网络爬虫编写语言。”
网络爬虫是什么？
——网络上一切看得见的，或看不见的数据，无论是用浏览器还是App或是其他工具打开的，只要是数据，理论上都是通过“数据包”的形式在网络上传播的，爬虫就是用一堆代码，去获取那些数据包，然后把它们解析成我们能看得懂的样子。
好像比较拗口……，再用大白话说一次：爬虫，就是数据获取工具。而且，出于各种原因，大家最好在正式场合不要说“爬虫技术”，而要说“数据获取技术”。
正式开始，先介绍一下python在数据获取方面，我常用的包有哪些：
requests 用于获取页面的原始代码
lxml(etree) 用于对网页标签进行定位，可以解析出需要的数据
bs4(BeautifulSoup) 同上，最早的爬虫包，现在用的少了，但在某些场景还是有它的用处
selenium(webdriver) 模拟浏览器，应付比较多渲染效果、有用户登录或验证码的场景
在掌握了常用的包之后，数据获取的大致流程如下(以获取网站数据举例)：
首先了解自己需要的数据是哪些，百度一下这些数据大概都在哪些网站上有，迅速人工浏览一下这些目标网站的首页和内页情况，观察一下页面的复杂程度、是否有大量渲染效果、是否有用户登录、是否需要验证码……等等，然后确定一个最终的目标网站，要求是在拥有我们需要的数据的前提下，数据获取难度相对较小。
用requests(或webdriver)把页面获取下来(如果有渲染、用户登录或验证码，就需要使用相应工具处理后才能获取到)，对目标网站的网页代码进行分析，定位出我们需要的数据，并把这些数据用dict类型或list类型组织起来，形成对我们有用的数据包。
把组织好的数据，存到mongoDB或excle、txt文件里面去，方便我们使用。
做完这些，爬虫基本上就做完了。通常一个爬虫代码，只能用于一个网站，我们通常称负责页面解析的代码为“爬虫模板”。网站页面的代码如果发生更新，会导致爬虫模板不能获取到正确的数据，甚至直接报错，需要对爬虫模板进行相应的更新。对于需要持续获取数据的爬虫，这个“博弈”过程会反复出现。
循例，我们还是上一个例子，来简单介绍一下上面的流程：
第一步 确定需求、确定目标网站：
比如，我们需要历史上广州的天气情况数据，我们先百度一下“全国天气历史数据”，我们大概可以找到以下这些网站：
中国天气网：http://www.weather.com.cn/forecast/
IP138天气查询：https://qq.ip138.com/weather/history.htm
天气后报网：http://www.tianqihoubao.com/
……
经过对每个网站进行一些简单的点击，翻看，感觉天气后报网比较适合爬取，就把它确定为目标网站吧。
第二步 直接上代码：
刚开始，我们应该是不知道这个网站是否有什么防爬技术，先用最简单的方法去试试，看能不能work得了
import requestsurl = 'http://www.tianqihoubao.com/lishi/guangzhou/month/201904.html'rs = requests.get(url=url)urlText = rs.textprint(urlText)怀着忐忑的心情运行之，发现输出是这样的：
OK，it works，可以进行下一步工作了(如果没出现这种网页源码，就要尝试一下模拟浏览器了)。
接下来，我们进行页面分析，当我们在浏览器地址栏中输入url地址：
http://www.tianqihoubao.com/lishi/guangzhou.html时，出现以下页面
历史上每个月，是这个页面上的一个链接，如果要获取全部的历史天气记录，我们需要先把这个页面上所有的历史天气链接地址，获取下来，存到一个list类型的变量中。
然后，我们点击某一个月的链接，看看内页的情况，出现以下页面
这就是我们要获取的数据了。
在这个页面上，我们按F12(谷歌浏览器)，弹出开发者工具，在Elements栏目下，点最左上角的那个小箭头，然后把鼠标移到页面上我们要获取的任意一个数据上面，像这样
这时，开发者工具的Elements窗口中的内容，就会定位到这个数据元素在页面源代码中的位置，类似这样
我们发现，这个页面是用table+tr+td的模式排放数据的(这个办法比较老土，居然这个网站还在用O(∩_∩)O)，接下来，就可以编写爬虫了。
先去拿每个月的url地址，代码如下：
import requestsfrom lxml import etreeclass My_Spider: def __init__(self): self.base_url = 'http://www.tianqihoubao.com' self.month_home = 'http://www.tianqihoubao.com/lishi/guangzhou.html' def get_month_list(self): rs = requests.get(url=self.month_home) listUrlText = rs.text listUrlTextEtree = etree.HTML(listUrlText) month_list = listUrlTextEtree.xpath("//div[@class='wdetail']/div[@class='box pcity']/ul/li/a/@href") return month_list def get_weather(self): month_list = self.get_month_list() for mon in month_list: month_url = self.base_url + mon print(month_url)if __name__ == '__main__': my_spider = My_Spider() my_spider.get_weather()打印结果如下：
你会发现这些地址有长有短，原因是那些短一些的地址中间少了‘/lishi/’。这种问题，在一些老式的网站上经常出现，要解决它。
完整代码(带详细注释)：
# coding:utf-8import requestsfrom lxml import etreeimport pandas as pdclass My_Spider: ''' 定义一个类的初始化函数，在函数中定义两个属性， 1、目标网站的地址，这个在后面有用 2、目标城市的每月天气的地址列表 ''' def __init__(self): self.base_url = 'http://www.tianqihoubao.com' self.month_home = 'http://www.tianqihoubao.com/lishi/guangzhou.html' ''' 定义一个获取目标城市每月天气的地址列表的函数， 返回值是一个list类型的变量，里面是url地址列表(url不完整，将在后面补全) ''' def get_month_list(self): rs = requests.get(url=self.month_home) # 访问url listUrlText = rs.text # 将获得的数据包变成文本形式的网页源码 listUrlTextEtree = etree.HTML(listUrlText) # 将网页源码文本转换成树形结构，方便xpath定位元素 month_list = listUrlTextEtree.xpath("//div[@class='wdetail']/div[@class='box pcity']/ul/li/a/@href") print(month_list) return month_list ''' 进入每日天气列表，并获取每日天气情况 ''' def get_weather(self): month_list = self.get_month_list() b_str = '/lishi/' # 我们发现获得的地址有些缺少这个字符串 weather_group = [] for mon in month_list: month_url = self.base_url + mon # 组合好url地址 # 将不完整的url地址补全 if b_str not in month_url: month_url = self.base_url + b_str + mon print(month_url) rs = requests.get(url=month_url) # 访问url listUrlText = rs.text # 将获得的数据包变成文本形式的网页源码 listUrlTextEtree = etree.HTML(listUrlText) # 将网页源码文本转换成树形结构，方便xpath定位元素 data_body = listUrlTextEtree.xpath("//table/tr") # 获取需要的大的数据区域 for d_body in data_body[1:]: # 去掉第一行表头 item = {} # 获取每一行、每一格数据，组成dict数据包 item['日期'] = d_body.xpath("./td[1]/a/text()")[0].strip().replace('\r\n', '').replace(' ', '') item['天气状况'] = d_body.xpath("./td[2]/text()")[0].strip().replace('\r\n', '').replace(' ', '') item['温度'] = d_body.xpath("./td[3]/text()")[0].strip().replace('\r\n', '').replace(' ', '') item['风力风向'] = d_body.xpath("./td[4]/text()")[0].strip().replace('\r\n', '').replace(' ', '') print(item) weather_group.append(item) # 将数据包放进list类型的变量中 weather_DF = pd.DataFrame(weather_group) # 将获取到的数据，转成数据表 weather_DF.to_csv('广州历史天气.csv', encoding='utf-8-sig') # 数据持久化，即把数据表存成csv文件if __name__ == '__main__': my_spider = My_Spider() my_spider.get_weather()在爬取过程中，在控制台监控程序运行情况，工作正常：
最后，我们存下来的CSV文件打开看一下，确保数据存储完成。
—— 分割线 ——
当然，这是一个比较简单的爬虫，没有复杂的反防爬技术，但制作一个爬虫的基本流程都有了，复杂爬虫只是在每一步上都需要多付出一些劳动而已。
打完收工！看官可满意否？
