这里只爬取的第一页  如果想爬取全部的在加for循环 这里就不做代码演示了

具体的层级结构请直接参考 https://movie.douban.com/top250

首先导包

import requests
from lxml import etree

然后设置UA 并且赋值个给etree对象 生成返回值 terr

 url = "https://movie.douban.com/top250"header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
response = requests.get(url=url, headers=header).text
terr = etree.HTML(response)

接下来开始解析

terr_lis = terr.xpath('//ol[@class="grid_view"]/li')
for i in terr_lis:text = i.xpath('./div/div/div/a/span/text()')[0]number = i.xpath('./div/div/div/div/span[2]/text()')[0]print(text+' 评分:'+number)

完整代码

import requests
from lxml import etreeif __name__ == "__main__":url = "https://movie.douban.com/top250"header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"}
response = requests.get(url=url, headers=header).text
terr = etree.HTML(response)
terr_lis = terr.xpath('//ol[@class="grid_view"]/li')
for i in terr_lis:text = i.xpath('./div/div/div/a/span/text()')[0]number = i.xpath('./div/div/div/div/span[2]/text()')[0]print(text+' 评分:'+number)

控制台log输出为

D:\Application\python\python.exe D:\PythonProject\douban\第三章：数据解析\豆瓣电影TOP解析.py
肖申克的救赎 评分:9.7
霸王别姬 评分:9.6
阿甘正传 评分:9.5
这个杀手不太冷 评分:9.4
泰坦尼克号 评分:9.4
美丽人生 评分:9.5
千与千寻 评分:9.4
辛德勒的名单 评分:9.5
盗梦空间 评分:9.3
忠犬八公的故事 评分:9.4
海上钢琴师 评分:9.3
楚门的世界 评分:9.3
星际穿越 评分:9.3
三傻大闹宝莱坞 评分:9.2
机器人总动员 评分:9.3
放牛班的春天 评分:9.3
大话西游之大圣娶亲 评分:9.2
熔炉 评分:9.3
疯狂动物城 评分:9.2
无间道 评分:9.2
龙猫 评分:9.2
教父 评分:9.3
当幸福来敲门 评分:9.1
怦然心动 评分:9.1
触不可及 评分:9.2Process finished with exit code 0