分布式爬取知乎

一、环境

• window7
• scrapy
• pycharm
• redis
• other PC
• MySQL

二、简介

   之所以选择爬取知乎，一是很多人都在爬，那么一定有它爬取价值的地方；二呢分析后才发现，知乎是一个模拟登录、信息解析清洗、反反爬等较为经典的练习素材；我们在这次爬取中将会涉及到IP代理、随机更换UserAgent、scrapy-redis分布式。

数据维度：

    问题：问题ID、标签、链接、题目、内容、问题创建时间、问题更新时间，回答数、评论数、关注数、浏览数、爬取时间、爬取更新时间

    回答：回答ID、链接、问题ID、作者ID、内容、点赞数、评论数、回答创建时间、回答更新时间、爬取时间、爬取更新时间

 

三、网页分析与编程实现

   一开始是使用scrapy直接模拟登录知乎后进行爬取，但到应用上redis后，发现其实不用登录也能爬取到知乎问答数据；这里既然需要介绍redis分布式爬取，就重点介绍应用redis分布式不登陆知乎的爬取方法，简单介绍下模拟登录下非分布式爬取。

    知乎的模拟登录验证码的破解还是有点难度的，有时是数字字母验证，有时却是倒立的文字验证，验证方法我试过使用OCR自动识别数字字母，但识别准确度不高，还有待钻研 ，所以这次采用了较为便捷的selenium+webdriver方案

    def start_requests(self):  #scrapy 运行的入口,之前一直无法请求成功的原因是此处写成了start_request(self)from selenium import webdriverimport timeimport pickle# Mycrawl_xici_ip.get_ips()   #获取并保存IP#ip_list_https = self.get_ip_list('https')# with open('proxy_ip.txt' , 'r') as rf:#     ips_str = rf.read()# ips_list = ips_str.split('\n')try:#response = scrapy.Request("http://ip.filefab.com/index.php")  #测试，查看IPf = open('E:/例程总汇/Python/ArticleSpider/ArticleSpider/cookies/zhihu/cookies.zhihu', 'rb')cookie_dict = pickle.load(f)f.close()yield scrapy.Request(self.start_urls[1].format(6) , dont_filter=True, cookies=cookie_dict,headers=self.header,callback=self.parse_JsonResponse , encoding="utf8" )except:brower = webdriver.Chrome(executable_path="D:/chromedriver/chromedriver.exe")brower.get("https://www.zhihu.com/signin")  # 进入登录界面brower.find_element_by_css_selector(".SignFlow-accountInput.Input-wrapper input[name='username']").send_keys(USER)  # 自动填充账号brower.find_element_by_css_selector(".SignFlow-password .Input-wrapper input[name='password']").send_keys(PASSWARD)  # 自动填充密码brower.find_element_by_css_selector(".Button.SignFlow-submitButton").click()time.sleep(10)  # 登录成功后自动跳转到首页，可以获取浏览cookies，验证已登录Cookies = brower.get_cookies()  # 获取cookies# print(Cookies)cookie_dict = {}for cookie in Cookies:cookie_dict[cookie["name"]] = cookie["value"]# 写入文件f = open('E:/例程总汇/Python/ArticleSpider/ArticleSpider/cookies/zhihu/cookies.zhihu', 'wb')pickle.dump(cookie_dict, f)f.close()brower.close()  # 浏览器关闭yield scrapy.Request(self.start_urls[1].format(6) , dont_filter=True, cookies=cookie_dict, headers=self.header , encoding="UTF8" , callback= self.parse_JsonResponse)

登录成功后获取cookie值，保存到本地，下次再次启动时取出cookie值一起发送请求即可，但是每个cookie值都是有不同的生命周期的，所以需要不定期更新本地的cookie值。

    模拟登录介绍完了，接下来的数据解析等跟分布式爬取下的差不多，就直接介绍分布式爬取方式。

    注意此时已经不是同一个项目工程了，此次分布式爬取不采用登录知乎，而是分析出页面中加载更多问题的url，

发现请求这些url会相应返回Json格式的问题详细信息，

此时我们便可以利用json模块提取出问题的详细信息，

import json
ans_json = json.loads(response.text)  # 浏览器打开answer_start_url分析可知，response返回json格式
is_end = ans_json['paging']["is_end"]
next_url = ans_json['paging']["next"]  
for parse_item in ans_json["data"]:question_item = ZhihuQuestionItem() .... 

接下来就是构造持续爬取问题信息的url了，分析url可知变化的只有url里的after_id，而且是呈等差递增，所以

https://www.zhihu.com/api/v3/feed/topstory?action_feed=True&limit=7&session_token=7e46c167a2ff897996cbd056aa385b68&action=down&after_id=6&desktop=true
构造为：https://www.zhihu.com/api/v3/feed/topstory?action_feed=True&limit=7&session_token=7e46c167a2ff897996cbd056aa385b68&action=down&after_id={0}&desktop=true

问题的回答提取也是同样道理，分析回答页面，下拉浏览更多回答，你会发现跟问题页面的浏览更多一毛一样，找到那个加载下一批次的url

然后构造可持续爬取的url，分析发现只有question-id是变化的，当然limit和offset也是可以变化的，其大概意思是限定的响应数量和偏移量（总），故可构造成：

https://www.zhihu.com/api/v4/questions/27021761/answers?include=data[*].is_normal,admin_closed_comment,reward_info,is_collapsed,annotation_action,annotation_detail,collapse_reason,is_sticky,collapsed_by,suggest_edit,comment_count,can_comment,content,editable_content,voteup_count,reshipment_settings,comment_permission,created_time,updated_time,review_info,relevant_info,question,excerpt,relationship.is_authorized,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[?(type=best_answerer)].topics&limit=5&offset=15&sort_by=default
构造成：https://www.zhihu.com/api/v4/questions/{0}/answers?include=data[*].is_normal,admin_closed_comment,reward_info,is_collapsed,annotation_action,annotation_detail,collapse_reason,is_sticky,collapsed_by,suggest_edit,comment_count,can_comment,content,editable_content,voteup_count,reshipment_settings,comment_permission,created_time,updated_time,review_info,relevant_info,question,excerpt,relationship.is_authorized,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[?(type=best_answerer)].topics&limit={1}&offset={2}&sort_by=default

    两个重要的url已经分析出来，接下来就是请求和解析之间的布局了，话不多说，直接上代码：

class ZhihuSpider(RedisSpider):name = "zhihu"allowed_domains = ["www.zhihu.com"]redis_key = 'zhihu:start_urls'answer_start_url = 'https://www.zhihu.com/api/v4/questions/{0}/answers?sort_by=default&include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%3F%28type%3Dbest_answerer%29%5D.topics&limit={1}&offset={2}'header = {"authority": "www.zhihu.com",'Connection':'keep-alive',"Referer": "https://www.zhihu.com",# 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"#"User-Agent":" Mozilla/5.0 (Windows NT 6.1; WOW64; rv:60.0) Gecko/20100101 Firefox/60.0"}custom_settings = {       #为zhihu spider自定义cookies_enabled"COOKIES_ENABLED": True}def parse(self, response):"""提取出html页面中的所有url 并跟踪这些url进行一步爬取如果提取的url中格式为 /question/xxx 就下载之后直接进入解析函数"""ans_json = json.loads(response.text)  # 浏览器打开answer_start_url分析可知，response返回json格式is_end = ans_json['paging']["is_end"]next_url = ans_json['paging']["next"]for parse_item in ans_json["data"]:question_item = ZhihuQuestionItem()if "question" not in parse_item["target"]:continueelse:question_id = parse_item["target"]["question"]["id"]question_item["zhihu_id"] = question_idquestion_item["title"] = parse_item["target"]["question"]["title"]question_url = parse_item["target"]["question"]["url"]request_url = re.sub('api.', '', question_url)request_url = re.sub('questions', 'question', request_url)question_item["url"] = request_urltopics = [x["reason_text"] for x in parse_item["uninterest_reasons"]]question_item["topics"] = ','.join(topics)excerpt = parse_item["target"]["question"]["excerpt"]if not excerpt:excerpt = ' 'question_item["content"] = excerptquestion_item["create_time"] = parse_item["target"]["question"]["created"]question_item["update_time"] = parse_item["target"]["updated_time"]question_item["answer_num"] = parse_item["target"]["question"]["answer_count"]question_item["comments_num"] = parse_item["target"]["question"]["comment_count"]question_item["watch_user_num"] = parse_item["target"]["question"]["follower_count"]question_item["click_num"] = 0question_item["crawl_time"] = datetime.datetime.now()yield question_itemheader = self.header.copy()header.update({"Referer": "https://www.zhihu.com/question/{0}".format(question_id),"authority": "www.zhihu.com","authorization": "oauth c3cef7c66a1843f8b3a9e6a1e3160e20",  # 当返回401错误码时，需进行HTTP认证"Connection": "keep-alive",})
# self.start_urls[2].format(question_id, 5, 10)yield scrapy.Request(self.answer_start_url.format(question_id, 5, 10) , callback=self.parse_answer,headers=header, meta={"question_id": question_id},encoding="utf8")# time.sleep(5)if not is_end:yield scrapy.Request(next_url, callback=self.parse ,headers=self.header, encoding="utf8")def parse_answer(self, response):#解析回答页面ans_json = json.loads(response.text)  #浏览器打开answer_start_url可知，response返回json格式is_end = ans_json['paging']["is_end"]next_url = ans_json['paging']["next"]question_id = response.meta.get("question_id")#提取answer的具体字段for answer in ans_json["data"]: #观察数据格式。data数组里包含字典，故使用for循环遍历answer_item = ZhihuAnswerItem()answer_item["zhihu_id"] = answer["id"]answer_item["url"] = answer["url"]answer_item["question_id"] = answer["question"]["id"]answer_item["author_id"] = answer["author"]["id"] if "id" in answer["author"] else Noneanswer_item["content"] = answer["content"] if "content" in answer else Noneanswer_item["praise_num"] = answer["voteup_count"]answer_item["comments_num"] = answer["comment_count"]answer_item["create_time"] = answer["created_time"]answer_item["update_time"] = answer["updated_time"]answer_item["crawl_time"] = datetime.datetime.now()yield answer_item #yield到pipelinesif not is_end:header = self.header.copy()header.update({"Referer": "https://www.zhihu.com/question/{0}".format(question_id),"authority" : "www.zhihu.com" ,"authorization": "oauth c3cef7c66a1843f8b3a9e6a1e3160e20" ,  #当返回401错误码时，需进行HTTP认证"Connection": "keep-alive" ,})yield scrapy.Request(next_url , headers=header , callback= self.parse_answer ,encoding="utf8")

    大概讲下思路，由于是分布式爬取，看到代码前部分中的

redis_key = 'zhihu:start_urls'

了吧，其实设置这个的目的是程序启动后会一直检测redis内存中是否含有zhihu:start_urls键，用来作为第一个爬取的url，即要爬取的网站信息的一个入口。在设置这个键值之前程序一直处于监控状态

直到某个人在redis-cli中lpush个起始url给redis内存

redis的设置和操作即将要说到。

scrapy-redis的下载和环境配置：

点击scrapy-redis下载redis压缩包，将里面的scrapy_redis文件夹复制到项目文件中，添加到项目中；

自定义的spider类继承RedisSpider类

class ZhihuSpider(RedisSpider):

当然，settings.py里也要做一些相应的设置：

SCHEDULER = "scrapy_redis.scheduler.Scheduler"  
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"  #设置redis的查重方式
ITEM_PIPELINES = {#'scrapy_redis.pipelines.MysqlTwistedPipline': 300 , #异步上传MySQL'scrapy_redis.pipelines.RedisPipeline' : 200 ,
}
REDIS_URL = 'redis://192.168.1.101:6379'
SCHEDULER_PERSIST = True
REDIS_START_URLS_KEY = 'zhihu:start_urls'

这里要注意，此时的pipeline已经是scrapy-redis中的pipeline了，这些也是scrapy-redis通过替换scrapy中的一些架构来实现分布式的方式。

下面附上其结构图：

接下来讲到UserAgent的随机设置了。设置UserAgent真的有必要吗？

    一般用python编写的爬虫，其向服务器发送的请求中默认的UserAgent很容易被服务器识别出来是爬虫，为了提高隐蔽性，防止爬虫被服务器识别，随机切换不同的UserAgent能起到一定的作用。

    这里利用了fake_useragent模块中的UserAgent方法，其是一个专门对各种浏览器的不同版本UserAgent进行维护的一个平台API，我们直接调用就可以了，十分方便。

from fake_useragent import UserAgentclass RandomUserAgentMiddleware(object):#随机更换user_agentdef __init__(self , crawler):super(RandomUserAgentMiddleware, self).__init__()#self.user_agent = crawler.settings.get("user_agent_list" , [])#后期需要维护user_agent_list，故引入fake_useragent模块，专门的库维护网站self.ua = UserAgent()self.ua_type = crawler.settings.get("RANDOM_UA_TYPE" , "random") #默认值“random”@classmethod  #def from_crawler(cls , crawler):return cls(crawler)def process_request(self , request , spider):def get_ua(): #函数中定义函数，动态语言闭包特性return getattr(self.ua , self.ua_type)  #相当于self.ua.self.uatype,但这种形式无法实现ua.uatyperequest.headers.setdefault("User-Agent" ,get_ua())def process_response(self, request, response, spider):return response

其实就是在middlewares.py中随机获取到UserAgent后设置到request的headers里面，当然别忘了要到settings.py中配置，

这样随机切换UserAgent就设置完成了。

 

接下来是IP代理了，其实IP代理设置还是听简单的，但是有效IP的获取，IP池的维护等就复杂多了。

我们现在只讲IP代理的设置。

同样也是在middlewares.py中设置IP代理类

 

class proxyMiddleware(object):def __init__(self , crawler):super(proxyMiddleware , self).__init__()@classmethoddef from_crawler(cls, crawler):# This method is used by Scrapy to create your spiders.# s = cls()# crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)# return sreturn cls(crawler)def process_request(self , request , spider):ip = 'https://50.93.200.95:1018' #可变成随机获取print("Now checking ip is", ip)request.meta["proxy"] = ip

只要向每个request的meta中添加['proxy' : ip]就可以了，最后还得在settings.py中设置中间件

至此，IP代理设置完毕

更新：IP代理池的设置和有效IP的持续使用