最近在研究爬虫方面的东西，头发掉了不少，现在的反爬措施真的是反人类，尤其是这些电商大佬们，搞得我整体掉头发!

而且现在网上的教程真的是想骂人，复制粘贴连格式都不改，可是还得看啊，一篇一篇翻，一样的...一样的...一样的...头发又少了！

还有就是现在不知道csdn是要大整改还是搞啥，大部分敏感词汇全部屏蔽，哈哈，后面我就不说某东了，因为它的图片看着像条狗，后面我就用小狗代替了。

好了，唠叨完了，开始撸代码。

第一步：安装

安装Python，IDE，chrome，webdriver，这些不难，网上教程也很多，我就不写了，耐心点找这些都没问题。

第二步：各中库的安装python3自带了很多库，多少都不用管了，下面代码引入的库我就只说一部分吧

1. selenium，不用多说吧，你们都懂，嘿嘿！
2. cv2,用来做图片验证码识别的，你们要是懒得研究就pycharm或者pip安装就行，流程我就不贴了，安装的时候是opencv-python，不要直接去找cv2啊，兄弟们,安装好以后导入包的时候直接导cv2就可以了。
3. numpy，python的科学计算库，也是用来处理图片验证码的。
4. urllib这个库python3自带，引这个库是用来下载验证码图片的，这个还是建议你去查一查资料（懂得人忽略），小狗的验证码图片用了这种形式：

这是介绍，大体看一看，Data URI scheme是在RFC2397中定义的，目的是将一些小的数据，直接嵌入到网页中，从而不用再从外部文件载入。比如上面那串字符，其实是一张小图片，将这些字符复制黏贴到火狐的地址栏中并转到，就能看到它了，一张1X36的白灰png图片。

在上面的Data URI中，data表示取得数据的协定名称，image/png 是数据类型名称，base64 是数据的编码方法，逗号后面就是这个image/png文件base64编码后的数据。

但是你直接将后面的数据splid出来去解密就是解不出来，估计是我太菜，没研究过解密，有两种方式下载这样的图片：

第一种，解码保存：

big_image = big.strip("data:image/png;base64")big_image = big_image[1:]big_image = base64.urlsafe_b64decode(big_image + '=' * (4 - len(big_image) % 4))small_image = small.strip("data:image/png;base64")small_image = small_image[1:]small_image = base64.urlsafe_b64decode(small_image + '=' * (4 - len(small_image) % 4))with open("./image/big.png", "wb") as f:f.write(big_image)with open("./image/small.png", "wb") as f:f.write(small_image)

第二种，请求下载，我是用的这一种，下面的big和small就是两张图片的src地址，就在源码里，ctrl_f查找就行了。

request.urlretrieve(big, "./image/big.png")request.urlretrieve(small, "./image/small.png")

5.ActionChains，移动鼠标用

6.decimal，用来计算小数的，各大语言的痛，查，c,java，都有，小数计算容易出错，这个库用来解决出错的问题。

7.后面两个不用管 

from selenium import webdriver
import time
import random
import os
import cv2
import numpy as np
from urllib import request
from selenium.webdriver.common.action_chains import ActionChains
from decimal import Decimal
from selenium.webdriver.common.actions.pointer_input import PointerInput, InputDevice
from selenium.webdriver.remote.webelement import WebElementclass Jd(object):def __init__(self):self.username = "13255325626"self.pwd = "@@fendou"self.option = webdriver.ChromeOptions()self.option.add_experimental_option('excludeSwitches', ['enable-automation'])self.option.add_experimental_option('useAutomationExtension', False)self.driver = webdriver.Chrome( chrome_options=self.option, desired_capabilities=None)self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {"source": """Object.defineProperty(navigator, 'webdriver', {get: () => undefined})"""})

第三步：第一个难题：selenium检测

现在网上的教程大部分都过时了，mixmproxy中间人拦截，我没用过，但是很多人都说不行了，你们有兴趣可以试试

selenium自带的修改js的功能，改不了，别试了，手动console，也别试了，浪费时间。那么怎么改呢，兄弟们，上面的代码都贴出来了。

这是原理：

就是使用 Google 的Chrome Devtools-Protocol（Chrome 开发工具协议）简称CDP。通过这个命令，我们可以给定一段 JavaScript 代码，让 Chrome 刚刚打开每一个页面，还没有运行网站自带的 JavaScript 代码时，就先执行我们给定的这段代码。

那么如何在 Selenium 中调用 CDP 的命令呢？实际上非常简单，我们使用driver.execute_cdp_cmd。根据 Selenium 的官方文档[2]，传入需要调用的 CDP 命令和参数即可。

还有就是把浏览器正在被自动化控制什么的去掉，代码也在上面。这样你们去浏览器试试，webdriver已经是undefined了。

第一篇就写到这吧，后面的验证码手动拖动轨迹分析，selenium拖动验证码轨迹分析，还有怎么修改selenium的移动速度，后台js代码分析，改天再发吧，第一次在csdn发文章，大家给点个赞哈。