---

利用Jsoup爬取网页

---

该代码利用了jsoup去爬取网页，代码在网上搜罗而来，并将他们拼凑起来，实现了爬取1个网页上的文字、图片内容。并保存到本地文件夹中，如路径不存在，则新建文件夹

使用此代码需要下载jsoup的jar包
下载地址
也可以自己找其他地址去下载

---

代码编写工具：IDEA

---

注意：生成的文本文件名字可能为空，所以当你没有改名，就再一次去爬取另一个网站，文本内容将被新的文本覆盖，图片则不受影响

会修改的同学可以解决一下这个问题

package com.jiu.data.spiderCanUse;import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import java.io.*;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.net.URLEncoder;
import org.jsoup.select.Elements;public class getHtmlAll {// 指定文件保存路径为：E:/structprivate static String path = "E:\\struct/";private static String filenameTemp;public static void main (String[] args) throws IOException {System.out.println("开始爬取网页内容...");// 如果指定的路径不存在，则创建File dir = new File(path);if (!dir.exists()) {dir.mkdirs();}//爬取文字内容final String url = "http://www.baidu.com";//爬取图片，上下的2个网站需要相同，确保爬的是同一个页面的内容Connection connection = Jsoup.connect("http://www.baidu.com");try {//先获得的是整个页面的html标签页面,输出到控制台Document doc = Jsoup.connect(url).get();String doc2 = doc.html();System.out.println(doc);//通过标签，获取正文标题Elements tit = doc.select("h2");String title = tit.text();System.out.println("正文标题：");System.out.println("\n" + title + "\n");//获取正文内容<p>Elements ejbtEls = doc.select("p");// 获取Elements zhengwen = doc.select("html");//因为整片文章有多段p标签，所以进行拼接StringBuilder article1 = new StringBuilder();for (Element cle : zhengwen) {article1.append(cle.text());article1.append("\n");}String article = article1.toString();System.out.println("正文：");System.out.println("正 文 内 容-已 省 略，避 免-控 制 台-输 出-太 多 内 容");// System.out.println(article);// 创建文件，写入文件getHtmlAll.createTxtfile(title);getHtmlAll.writeTxtfile(article);} catch (IOException e) {e.printStackTrace();}// 获取图片代码try {Element document = connection.get();Elements imgs = document.getElementsByTag("img");System.out.println("共检测到下列图片URL：");System.out.println("开始下载");// 遍历img标签并获得src的属性for (Element element : imgs) {//获取每个img标签URL "abs:"表示绝对路径String imgSrc = element.attr("abs:src");// 打印URLSystem.out.println(imgSrc);//下载图片到本地jsoup_html_in_pircture.downImages("E:/struct/img", imgSrc);}System.out.println("图片下载完成");} catch (Exception e) {e.printStackTrace();}}/*** 创建文件** @param name* @author 落魄的诗人*/private static boolean createTxtfile (String name) throws IOException {boolean flag = false;filenameTemp = path + name +".txt";File filename = new File(filenameTemp);// if文件不存在，创建，如存在，则覆盖。if (!filename.exists()) {filename.createNewFile();flag = true;}return flag;}private static boolean writeTxtfile (String ejbt) throws IOException {// 先读取爬到的内容，然后进行写入操作boolean flag = false;String filein = ejbt + "\r\n";String temp = "";FileInputStream fis = null;InputStreamReader isr = null;BufferedReader br = null;FileOutputStream fos = null;PrintWriter pw = null;try {// 文件路径File file = new File(filenameTemp);// 将文件读入输入流fis = new FileInputStream(file);isr = new InputStreamReader(fis);br = new BufferedReader(isr);StringBuffer buf = new StringBuffer();// 保存该文件原有的内容for (int j = 1; (temp = br.readLine()) != null; j++) {buf = buf.append(temp);// System.getProperty("line.separator");// 行与行之间的分隔符 相当于“\n”buf = buf.append(System.getProperty("line.separator"));}buf.append(filein);fos = new FileOutputStream(file);pw = new PrintWriter(fos);pw.write(buf.toString().toCharArray());pw.flush();flag = true;} catch (IOException e1) {throw e1;} finally {if (pw != null) {pw.close();}if (fos != null) {fos.close();}if (br != null) {br.close();}if (isr != null) {isr.close();}if (fis != null) {fis.close();}System.out.println("执行完毕");System.out.println("文件已保存在：" + path + "\n");}return flag;}/*** 保存图片** @param filePath* @param imgUrl* @author jiu*/public static void downImages (String filePath, String imgUrl) {// 若指定文件夹没有，则先创建File dir = new File(filePath);if (!dir.exists()) {dir.mkdirs();}// 截取图片文件名String fileName = imgUrl.substring(imgUrl.lastIndexOf('/') + 1, imgUrl.length());try {// 文件名里面可能有中文或者空格，所以这里要进行处理。但空格又会被URLEncoder转义为加号String urlTail = URLEncoder.encode(fileName, "UTF-8");// 因此要将加号转化为UTF-8格式的%20imgUrl = imgUrl.substring(0, imgUrl.lastIndexOf('/') + 1) + urlTail.replaceAll("\\+", "\\%20");} catch (UnsupportedEncodingException e) {e.printStackTrace();}// 写出的路径File file = new File(filePath + File.separator + fileName);try {// 获取图片URLURL url = new URL(imgUrl);// 获得连接URLConnection connection = url.openConnection();// 设置10秒的相应时间connection.setConnectTimeout(10 * 1000);// 获得输入流InputStream in = connection.getInputStream();// 获得输出流BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(file));// 构建缓冲区byte[] buf = new byte[1024];int size;// 写入到文件while (-1 != (size = in.read(buf))) {out.write(buf, 0, size);}out.close();in.close();} catch (MalformedURLException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}}
}