如何访问一篇博文

• 人工访问博文，有两种方式，点网页上对应博文的链接，或输入该博文的网址；

以支付宝及微信打赏方式这篇博客为例来说明：

• 可以点击这个蓝色字体对应的超链接；
• 可以在浏览器的地址栏中输入“https://qxhgd.blog.csdn.net/article/details/113447691 ”这个网址；

• 用爬虫访问，和人工类似，也有两种方式，可以用点击超链接的方式，也可以通过网址访问：

以点击超链接的方式，可通过selenium等库来操作；
以网址访问，可使用requests库的get方法来实现；

结合我们的需求，不难看出，应该使用网址方式访问博文。

具体的实现

• requests.get的语法
  – requests.get(url,kwargs)，
  – url是我们想要访问的链接，kwargs是可选参数，包括params、data、json、headers、cookies、auth、files、timeout、proxies、stream、verify、cert等。
• 这里我们以支付宝及微信打赏方式这篇博客为例来进行说明。

方法1、最基本的方式

• requests.get使用默认参数：

import requests
req = requests.get("https://qxhgd.blog.csdn.net/article/details/113447691")
text=req.content.decode('utf-8')
print(text)

方法2、增加headers

• headers有很多种，这里仅以User-Agent为例来说明；

• 为何使用User-Agent：
  – 是识别浏览器的一串字符串，相当于浏览器的身份证，在利用爬虫爬取网站数据时，频繁更换User-Agent可以避免触发相应的反爬机制。

• 如何获取User-Agent：
  – 具体的headers可通过前面文章提到的chrome或firefox浏览器，抓包获取，User-Agent也不例外；
  – User-Agent除了上面浏览器抓取外，也可以通过后文参考资料获取不同浏览器的信息；
  – 可使用python的fake_useragent库，可返回一个随机的ua请求头；l

import requestsheaders = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"
}req = requests.get("https://qxhgd.blog.csdn.net/article/details/113447691",headers=headers)
text=req.content.decode('utf-8')
print(text)

方法3、增加proxy

• 为何使用代理服务器：
  – 同一个IP访问网页如果太频繁，可能会被服务器限制；
  – 更换IP，可保护自己，也为了提高爬虫的效率，防止反爬；

• 如何获取代理服务器：
  – 自己搭建：一般考虑搭建代理IP池；
  – 网上白嫖：一般质量参差不齐，需要甄别；
  – 付费资源：网上很多收费的代理服务器，一般使用购买后分配的key通过restful api接口进行获取；

import requestsheaders = {
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 \
(KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"
}
proxy = {"http": "http://121.228.8.93:8118"}req = requests.get("https://qxhgd.blog.csdn.net/article/details/113447691",headers=headers,proxies=proxy)
text=req.content.decode('utf-8')
print(text)

参考资料

• User Agent String.Com

如本文对你有些许帮助，欢迎打赏：
支付宝及微信打赏方式