项目基础理论内容

什么是爬虫？
爬虫本质上一个HTTP客户端
在我们的爬虫项目中：根据需要构造请求，并根据需要简单的解析响应数据
优势在于：根据需要批量获取数据
应用：

HTTP客户端发送请求，处理响应的过程

我们抓GitHub的数据

项目的最终需求：给awesome-java中的所有GitHub上的项目根据活跃程度排座次

需要做的事情：

1. 获取到待收集信息的项目列表
2. 根据获取到的项目列表，进一步进入到项目中，获取到star，fork，open-issue的数量
3. 将收集到的信息保存在数据库中
4. 写一个简单的网页/服务器，将数据库中的数据发布在网页上（以更加直观的方式展示给大家）

1.获取到待收集信息的项目列表

做法：（1）写爬虫程序，获取该页面https://github.com/akullpp/awesome-java内容,进而就可以知道所有项目的连接信息
（2）分析页面结构。找到(ul)标签下的（li）标签中的(a)标签，通过（a）标签中的href属性通过连接进入项目

HTML相关知识

问题1）如何获取页面内容

向服务端发送一个构造好的HTTP请求 （可是使用socket建立连接然后发送请求，不过步骤比较麻烦）
在这里，我们使用第三方库**okhttp**，这个库既可以通过导入jar包在项目中进行配置，也可以正在maven仓库中寻找，找到之后配置到maven项目中的pom文件中。

在这里，我们通过传输url来获取网页的页面内容
代码1

问题2）如何分析页面结构

使用第三方库jsoup，可以更方便的分析页面结构
使用jsoup分析页面结构，获取其中所有的 li 标签

dao包（web项目常用）：数据访问层。
该包中的类、方法、对象 和操作数据、存储数据直接相关

PS：爬虫程序在分析页面时，和页面结构密切相关
当页面结构发生变化时，程序也需要做出相应调整

---

代码1 抓取页面内容代码

**通过url来获取某个网页

package crawler;import okhttp3.*;import java.io.IOException;public class Crawler {public static void main(String[] args) throws IOException {//1.创建一个okHttpClient对象OkHttpClient okHttpClient = new OkHttpClient();//2.构造请求对象//java中对象的实例化有很多种，//可以new，也可以使用某个静态的工厂方法//此处的Builder()是辅助构造request对象//Builder()的url方法设置当前请求的url//链式调用//最后的build（）方法表示，确定创建该请求（对象）Request request = new Request.Builder().url("https://www.csdn.net/").build();//3.创建一个call对象（该对象负责进行一次网络访问操作）Call call = okHttpClient.newCall(request);//4.发送请求给服务器,获取响应    最核心的操作Response response =  call.execute();//5.判断响应是否成功if(!response.isSuccessful()){System.out.println("请求失败！");return;}System.out.println(response.body().string());}
}

将上面的方法封装起来，给外部调用

import okhttp3.*;import java.io.IOException;public class Crawler {public static void main(String[] args) throws IOException {Crawler crawler = new Crawler();String respBody =  crawler.getPage("https://github.com/akullpp/awesome-java/blob/master/README.md");System.out.println(respBody);}public  String getPage(String url) throws IOException {//1.创建okHttpClient对象OkHttpClient okHttpClient = new OkHttpClient();//2.创建request对象Request request = new Request.Builder().url(url).build();//3.创建call对象,完成一次网络访问的操作Call call = okHttpClient.newCall(request);//4.发送request，接收responseResponse response = call.execute();//5.判断是否成功响应if(!response.isSuccessful()){System.out.println("响应失败");return null;}return response.body().string();}
}

代码2 分析页面结构

（1）（jsoup的基本用法）（这里比较陌生，对jsoup库也很陌生）

//1. 创建一个 document 对象，document (文档文件，对应一个HTML)//   相当于把一个 HTML 字符串转化成 document 对象//   document相当于一个描述页面的树形结构Document document = Jsoup.parse(respBody);//2. 使用 方法来获取到所有的 li 标签//   elements 对象相当于一个集合类，包含了很多 Elements 对象，//   每个 Elements 对象对应到一个 HTML 标签上Elements elements = document.getElementsByTag("li");for(Element e:elements){System.out.println(e);System.out.println("==============================");}

HTML 是一个树形结构。 jsoup 中的 document 对象就对应这样的结构
树形结构中的每个标签 就是一个element 对象
所有标签构成的集合 documents
当要获取 li 标签中的 li标签：

（2）该类是为了描述项目

package dao;
// 该类是为了描述项目
public class Project {// 项目名  对应 a 标签的正文private  String name;// 项目主页连接  对应到 a 标签的 href 属性private String url;// 项目的描述信息 li 标签的正文private String description;// 以下属性是我们需要统计的数据// 通过 url 进入到项目中获取到以下属性private int starCount;private int forkCount;private int openIssueCount;public String getName() {return name;}public void setName(String name) {this.name = name;}public String getUrl() {return url;}public void setUrl(String url) {this.url = url;}public String getDescription() {return description;}public void setDescription(String description) {this.description = description;}public int getStarCount() {return starCount;}public void setStarCount(int starCount) {this.starCount = starCount;}public int getForkCount() {return forkCount;}public void setForkCount(int forkCount) {this.forkCount = forkCount;}public int getOpenIssueCount() {return openIssueCount;}public void setOpenIssueCount(int openIssueCount) {this.openIssueCount = openIssueCount;}@Overridepublic String toString() {return "Project{" +"name='" + name + '\'' +", url='" + url + '\'' +", description='" + description + '\'' +", starCount=" + starCount +", forkCount=" + forkCount +", openIssueCount=" + openIssueCount +'}';}
}

（3）获取项目列表方法（跟分析页面结构结合，利用jsoup）

 // 获取项目列表public List<Project> parseProjectList(String html){Document document = Jsoup.parse(html);Elements elements = document.getElementsByTag("li");for(Element li :elements){Elements allLink = li.getElementsByTag("a");if(allLink.size() == 0){// 当前的这个 li 标签中没有包含 a 标签. 直接忽略掉这个 lcontinue;}// 一个项目的 li 标签里, 只有一个 a 标签.Element link = allLink.get(0);System.out.println(link.text());   //  对应项目的 nameSystem.out.println(link.attr("href"));  //  对应项目的 urlSystem.out.println(li.text());  //  对应项目的  descriptionSystem.out.println("========================");}return null;}

检验代码（上述返回null ，直接打印也是为了检验代码的正确性）

main 方法中进行调用检验

public static void main(String[] args) throws IOException {Crawler crawler = new Crawler();String html =  crawler.getPage("https://github.com/akullpp/awesome-java/blob/master/README.md");//  System.out.println(respBody);crawler.parseProjectList(html);}

（4）将（3）进一步改造 获取到的项目列表设置到project对象中

 public List<Project> parseProjectList(String html){List<Project> results = new ArrayList();Document document = Jsoup.parse(html);Elements elements = document.getElementsByTag("li");for(Element li :elements){// 再去获取里面的 a 标签Elements allLink = li.getElementsByTag("a");if(allLink.size() == 0){// 没有 a 的直接忽略continue;}Element link = allLink.get(0);Project project = new Project();project.setName(link.text());project.setUrl(link.attr("href"));project.setDescription(li.text());results.add(project);}return results;}

这里遇到问题
应该获取到所有的项目列表和其它一些不合法的东西。但实质上，只获取到了前面几个不合法的东西。

问题原因：

没换行！！！

（5）为了将不是项目的排除掉，建立一个url黑名单
先将不是以 “https://github.com” 开头的排除掉

 String url = link.attr("href");if(!url.startsWith("https://github.com")){continue;}

建立url黑名单

 private HashSet<String> urlBlackList = new HashSet<>();{urlBlackList.add("https://github.com/events");urlBlackList.add("https://github.community");urlBlackList.add("https://github.com/about");urlBlackList.add("https://github.com/pricing");urlBlackList.add("https://github.com/contact");}

排除掉黑名单中的项目

 if (urlBlackList.contains(url)){continue;}

终于正常了！！！