题目

猿人学Web端爬虫攻防刷题平台

直接注册即可，进入网站有指引说明，按步骤来就行

今天要做的是第十二题：

任务：抓取这5页的数字，计算加和并提交结果

题目详情可以进入查看，网站有反爬手段，selenium也不行

网页解析

F12 network查看请求，切换页码观察规律，主要变化为两个参数page和m


查看m的请求情况，initiator 中的request跳转到资源，在这里打个断点刷新下浏览器
查看到，m为btoa函数(base64位编码)加密结果

从js的btoa 、atob中抽取btoa函数部分，复制到浏览器的console中测试，如下图所示，并对照前面获得的m，对比两者确实一致

 var base64hash = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/';// btoa methodfunction btoa (s) {if (/([^\u0000-\u00ff])/.test(s)) {throw new Error('INVALID_CHARACTER_ERR');}    var i = 0,prev,ascii,mod,result = [];while (i < s.length) {ascii = s.charCodeAt(i);mod = i % 3;switch(mod) {// 第一个6位只需要让8位二进制右移两位case 0:result.push(base64hash.charAt(ascii >> 2));break;//第二个6位 = 第一个8位的后两位 + 第二个8位的前4位case 1:result.push(base64hash.charAt((prev & 3) << 4 | (ascii >> 4)));break;//第三个6位 = 第二个8位的后4位 + 第三个8位的前2位//第4个6位 = 第三个8位的后6位case 2:result.push(base64hash.charAt((prev & 0x0f) << 2 | (ascii >> 6)));result.push(base64hash.charAt(ascii & 0x3f));break;}prev = ascii;i ++;}// 循环结束后看mod, 为0 证明需补3个6位，第一个为最后一个8位的最后两位后面补4个0。另外两个6位对应的是异常的“=”；// mod为1，证明还需补两个6位，一个是最后一个8位的后4位补两个0，另一个对应异常的“=”if(mod == 0) {result.push(base64hash.charAt((prev & 3) << 4));result.push('==');} else if (mod == 1) {result.push(base64hash.charAt((prev & 0x0f) << 2));result.push('=');}return result.join('');}

代码实例

import requests
import execjs  # pip install PyExecJS -安装引用包def get_m(page):"""使用复制过来的btoa函数 定义加密函数，获取m值"""with open("btoa.js", 'r', encoding='utf-8') as f:js = f.read()s = "yuanrenxue" + str(page)m = execjs.compile(js).call('btoa', s)return m# # 测试
# print(get_m(1))def get_json(page):url = "https://match.yuanrenxue.com/api/match/12?"params = {'page': page,'m': get_m(page)}# 点击第4 第5页 会跳出提示，填写自己的即可，注意cookie 不传请求到的数据是一样的，不是你页面上显示的数据# 记得打印对比下headers = {'user-agent': "yuanrenxue.project",'cookie': 'sessionid=使用你自己的seeionid'}response = requests.get(url, params=params, headers=headers)return response.json()# # 数据请求测试
# print(get_json(1))def sum_data():data = []"""循环页码，取到所有数据，并计算求和"""for page in range(1, 6):json_data = get_json(page)print(json_data)for d in json_data.get("data"):data.append(d['value'])return sum(data)if __name__ == '__main__':print("所有数字之和为：", sum_data())