本以为携程的信息很好爬，但是在我目前能力一般的时候，经过尝试，发现了携程真的有太多坑了，虽然说代码和大佬比起来不是最优的，但是可以完成爬取任务。

在这里记录一下本次学习过程，为后人乘凉。

要爬取所有的酒店信息，就要构造URL，经过观察。

发现了每个城市都有一个独自的暗号，就是城市拼音与一个数字结合，构成URL。

在通过浏览器抓包可知所有的信息都被藏在了以下这个网址

#城市信息
https://hotels.ctrip.com/Domestic/Tool/AjaxGetCitySuggestion.aspx

天真的我以为通过json.loads()就可以完成对城市信息的抓取，但是实际情况是什么也拿不到，初步怀疑是页面中这句话搞的鬼，但是百度了半天也没发现解决办法。

在仔细一看，页面的内容格式并不完全符合JSON格式，在display，data这些词中没有加入“”，无奈之下，只能使用正则表达式了。

费了九牛二虎之力终于拿到了钥匙，开始了读取酒店名称的环节，本以为得到源代码，XPATH就搞定了，结果，结果，结果什么也没得到不得不说携程做的还是很异步的，哈哈哈（乐极生悲），简直太异步了，只好在接着找酒店藏在哪里。

找啊找啊找朋友，找到一个小朋友，握握手，确认过眼神，你不是我要找的人。

在一番努力下，在这个英文翻译过来很像的URL中尝试一下。

#感觉就是它
https://hotels.ctrip.com/Domestic/Tool/AjaxHotelList.aspx

结果结果：

太难了

在仔细分析过后，发现了只要给它一些参数，就可以访问了，太不容易了。

只要把city=与page=传过去就搞定了

你以为这样就搞定了，太太年轻了…

本以为XPath就ok了，查看源代码后，发现这个并不是一个HTML，而是一个JSON文件，所以要解析这个JSON文件将其搞定。

在尝试了一番后，发现了以下情况

经过一番研究发现原来是我的cookies没有开启，属于未登录状态。

这个scrapy框架与requests那个不一样，在这里补充一下：

当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie

当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie

当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie

好了，这样就可以拿到一部分数据了，信息基本正确。但是呢，只是蜜罐数据，在价格，房型什么的基本不对。

要想真正的拿到整个完整的数据，就必须要破解携程的eleven，callback，并且可以产生时间戳，就可以拿到数据。

关于这三个参数的破解，小编在GitHub和csdn搜了一大圈，只发现了这两个比较靠谱的，但是JS反解这方面不是特别精通，我就不在尝试，有兴趣的可以试试。

破解参数：

https://www.cnblogs.com/zhuchunyu/p/11838944.html

https://github.com/evanleungc/ctrip_spider

访问不到的朋友可以在公众号中

回复：携程参数

就可以拿到GitHub的文件，但是需要读者自行研究，希望能对读者产生启发

所以目前只对酒店基本信息进行爬取，下一篇在进行具体讲解。

欢迎联系我们，微信公众号搜索：小试编程