目标：爬取腾讯新闻中的热点精选

网址：https://news.qq.com/

思路

1）用selenium模拟操作浏览器下拉页面；
2）提取新闻标题和链接

操作

Step1：初始化

import time
from selenium import webdriverdriver = webdriver.Chrome(r"C:\Users\ThinkPad\AppData\Local\Google\Chrome\Application\chromedriver.exe")
driver.get("https://news.qq.com")

Step2：模拟浏览器下拉页面

for i in range(1, 10):time.sleep(2)driver.execute_script("window.scrollTo(window.scrollX, %d);" % (i * 200))

Step3：定位节点

news=driver.find_elements_by_xpath('//div[@class="main fl"]/div/div/ul[@class="list"]/li')

Step4：遍历节点提取信息

number,title,href=[],[],[]
for i in range(10):number.append(news[i].get_attribute("data-pos"))title.append(news[i].find_elements_by_xpath("a/img")[0].get_attribute("alt"))href.append(news[i].find_elements_by_xpath("a")[0].get_attribute("href"))

Step5：整理信息

import pandas as pd
result=pd.DataFrame({"number":number,"title":title,"href":href})
result