1、爬取8个网站（包括百度、新浪、搜狐、腾讯、网易、爱奇艺、天猫、凤凰）。用多协程gevent()模块来爬取。

这里有一个关于gevent的一些基础介绍的链接
Python并发之协程gevent基础(5)

from gevent import monkey
#从gevent库里导入monkey模块。
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。
import gevent,time,requests
#导入gevent、time、requests。start = time.time()
#记录程序开始时间。url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
#把8个网站封装成列表。def crawler(url):
#定义一个crawler()函数。r = requests.get(url)#用requests.get()函数爬取网站。print(url,time.time()-start,r.status_code)#打印网址、请求运行时间、状态码。tasks_list = [ ]
#创建空的任务列表。for url in url_list:
#遍历url_list。task = gevent.spawn(crawler,url)#用gevent.spawn()函数创建任务。tasks_list.append(task)#往任务列表添加任务。
gevent.joinall(tasks_list)
#执行任务列表里的所有任务，就是让爬虫开始爬取网站。
end = time.time()
#记录程序结束时间。
print(end-start)
#打印程序最终所需时间。
print(tasks_list)

运行代码如下：

https://www.baidu.com/ 0.4305078983306885 200
https://www.sina.com.cn/ 0.652501106262207 200
http://www.ifeng.com/ 0.6529850959777832 200
https://www.163.com/ 0.6529850959777832 200
http://www.sohu.com/ 0.7468271255493164 200
https://www.qq.com/ 0.799919605255127 200
https://www.tmall.com/ 0.8475008010864258 200
http://www.iqiyi.com/ 0.9194967746734619 200
0.9199841022491455
[<Greenlet at 0x2162cb6c9d8: _run>, <Greenlet at 0x2162d915158: _run>, <Greenlet at 0x2162d915268: _run>, <Greenlet at 0x2162d915378: _run>, <Greenlet at 0x2162d915488: _run>, <Greenlet at 0x2162d915598: _run>, <Greenlet at 0x2162d9156a8: _run>, <Greenlet at 0x2162d9157b8: _run>]

2、爬取8个网站（包括百度、新浪、搜狐、腾讯、网易、爱奇艺、天猫、凤凰）。用多协程gevent()和queue()模块来爬取。
【queue模块】
当我们用多协程来爬虫，需要创建大量任务时，我们可以借助queue模块。
queue翻译成中文是队列的意思。我们可以用queue模块来存储任务，让任务都变成一条整齐的队列，就像银行窗口的排号做法。因为queue其实是一种有序的数据结构，可以用来存取数据。
这样，协程就可以从队列里把任务提取出来执行，直到队列空了，任务也就处理完了。就像银行窗口的工作人员会根据排号系统里的排号，处理客人的业务，如果已经没有新的排号，就意味着客户的业务都已办理完毕。

我们创建了两只可以异步爬取的爬虫。它们会从队列里取走网址，执行爬取任务。一旦一个网址被一只爬虫取走，另一只爬虫就取不到了，另一只爬虫就会取走下一个网址。直至所有网址都被取走，队列为空时，爬虫就停止工作。

用协程技术和队列爬取8个网站的完整代码如下：

from gevent import monkey
#从gevent库里导入monkey模块。
monkey.patch_all()
#monkey.patch_all()能把程序变成协作式运行，就是可以帮助程序实现异步。
#会自动将python的一些标准模块替换成gevent框架
import gevent,time,requests
#导入gevent、time、requests
from gevent.queue import Queue
#从gevent库里导入queue模块start = time.time()url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']work = Queue()
#创建队列对象，并赋值给work。
#用Queue()能创建queue对象，相当于创建了一个不限任何存储数量的空队列。如果我们往Queue()中传入参数，比如Queue(10)，则表示这个队列只能存储10个任务。
for url in url_list:
#遍历url_listwork.put_nowait(url)#用put_nowait()函数可以把网址都放进队列里。queue.put_nowait即往队列里存储数据。def crawler():while not work.empty():#当队列不是空的时候，就执行下面的程序。queue.empty()是判断队列是否为空。url = work.get_nowait()#用get_nowait()函数可以把队列里的网址都取出。r = requests.get(url)#用requests.get()函数抓取网址。print(url,work.qsize(),r.status_code)#打印网址、队列长度、抓取请求的状态码。queue.qsize()是判断队列还剩多少数量tasks_list  = [ ]
#创建空的任务列表
for x in range(2):
#相当于创建了2个爬虫task = gevent.spawn(crawler)#用gevent.spawn()函数创建执行crawler()函数的任务。#gevent.spawn()会自动将python的一些标准模块替换成gevent框架。tasks_list.append(task)#往任务列表添加任务。
gevent.joinall(tasks_list)
#用gevent.joinall方法，执行任务列表里的所有任务，就是让爬虫开始爬取网站。
#gevent.joinall(jobs)是将协程任务添加到事件循环，接收一个任务列表。
end = time.time()
print(end-start)

代码运行结果如下：

https://www.baidu.com/ 6 200
https://www.sina.com.cn/ 5 200
http://www.sohu.com/ 4 200
https://www.qq.com/ 3 200
https://www.163.com/ 2 200
https://www.tmall.com/ 1 200
http://www.iqiyi.com/ 0 200
http://www.ifeng.com/ 0 200
3.0378034114837646