1.我们可能在爬取网页的时候遇到过下拉框的情况

他们将信息都放在了一个网页，但是不能通过网站的信息爬取到所需要的数据

2.使用selenium方法可以解决这个问题

使用selenium的方法，找到下拉框的属性，然后调用.click()方法可以进入到下拉框对应的界面

代码如下：

# -*- coding:utf-8 -*-
#@Time  : 2019/12/21 10:12
from selenium import webdriver
from lxml import etree
from fake_useragent import UserAgent
import requests
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select
import random
import timeyears = range(1,12)#=========找到下拉框的属性========
url = '//select[@id="OptionDate"]/option[{}]' #我使用的是xpath工具找到下拉框的属性#names = browser.find_elements_by_xpath('//div[@id="TableList"]/table/tbody/tr/td/a/p/text()')
#allprice = browser.find_elements_by_xpath('//div[@id="TableList"]/table/tbody/tr/td[4]/text()')
#country = browser.find_elements_by_xpath('//div[@id="TableList"]/table/tbody/tr/td[7]/text()')
for i in years:year = 2020 - iprint(i)urls = url.format(i)#这里具体到了的下拉框中的一个属性print(urls)browser = webdriver.Chrome(executable_path=r'C:\Program Files (x86)\Google\Chrome\Application\chromedriver.exe') #这里是设定chromedriver的绝对路径，这里对应你自己的路径就可以了，如果报错没有可以直接下一个。browser.get("http://www.endata.com.cn/BoxOffice/BO/Year/index.html")#这里进入你需要爬取数据的网页browser.find_element_by_xpath(urls).click() #这里调用的click()方法点击了下拉框中那一个具体的属性time.sleep(5) #必须使进程暂停一段时间，能够让函数能够反应过来并且得到对应的需要的数据e = etree.HTML(browser.page_source)#因为我用的是xpath进行解析，etree.HTML构建xpath解析对象，使用xpath获取电影的名称票房等信息time.sleep(3)#print(browser.page_source)browser.close()#关闭网页names = e.xpath('//div[@id="TableList"]/table/tbody/tr/td/a/p/text()')allprice = e.xpath('//div[@id="TableList"]/table/tbody/tr/td[4]/text()')country = e.xpath('//div[@id="TableList"]/table/tbody/tr/td[7]/text()')print(names)with open('message/{}年的电影票房'.format(year), 'a', encoding="utf-8") as f:key = 0for iname in names:f.write('电影名字是:   '+iname+'\n')print(allprice[key])f.write('电影的票房有:   '+allprice[key]+'万元'+'\n')f.write('电影发行的国家：   '+country[key]+'\n')key += 1with open('message/file{}'.format(i), 'a', encoding='utf-8') as f:pricekey = 0for m in country:f.write(m+','+allprice[pricekey])f.write("\n")pricekey += 1