了解爬虫基本原理，深入探索爬虫的更多玩法。现在爬虫的热度越来越高，有不少人抱着好奇心和兴趣来学习爬虫，有用 Python、Java、PHP 等等，如果你去网上问，学爬虫最好用什么语言？95% 的人会推荐使用 Python，但其中不少人并不是真正了解 Python 的，大多是网上看了点资料，然后盲目从众的。

为什么要用 Golang 原生实现简单爬虫？

1. 使用 Golang 语言，我是想告诉大家，只要了解爬虫原理，不管用什么编程语言，基本上都是可以写出一个爬虫系统的。
2. 原生意在不适用第三方库类，为的就是让各位更能理解爬虫的基本原理和逻辑，理解基本原理，那拓展爬虫功能是完全没有问题的。
3. 简单爬虫的实现，为了让大家能更快的掌握和了解爬虫，所以不打算写一个很复杂的爬虫系统，这样也更方便那些可能并不是 Golang 程序员的理解。

技术是学无止境的，要想进步，就得尝试新东西并去理解它的核心原理，本场 Chat 您将会学到以下内容：

1. Golang 的基本入门；
2. 爬虫的基本原理；
3. 如何防止浪费爬虫资源；
4. 后期遇到的问题和解决方案；
5. 正则表达式的运用；
6. Golang 文件操作；
7. Golang 计时器的简单运用；
8. HTTP 请求的了解。

探索技术的路上本应该自己造轮子，即使市面上有再多的选择，自己动手尝试也是必要的。第一次尝试必然会问题众多，但你解决它是一件很有成就感的事情，这样才能带给你更大的进步和更深刻的领悟。

如果感兴趣的不妨一起来实现一下这个简单的爬虫。

其实用 Golang 实现爬虫是很简单是事情，但也分情况，我们这次的文章就分享一种最简单的爬虫实现方式，用到的官方库如下：

    import (          "fmt"          "io"          "io/ioutil"          "net/http"          "os"          "regexp"          "strconv"          "strings"          "time"      ）

如果你能单单通过这些库就想到该怎么做了，那你就很棒棒了。

为了让程序能一直运行下去，我们首先要有一个源网页，然后不断爬抓记录新的链接，记录的手段有很多，比如存在数据库、通过 Redis 缓存、存在文本文件，最简单的应该就是存在数据库了，这个看你们的技术偏向了。我打算把爬来的链接储存在文本文件里。

首先，了解自己爬抓的目标，我准备爬取所有的 Golang 相关答疑或者文章，然后翻来覆去很多网站都感觉不适合做源网址，然后灵机一动，百度一下：

然后就用这样作为源网址吧：

http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230

有了源网址，那下面的事情只要捋顺就好办了。首先我们为了抓取到链接，需要一个正则表达式：

    var (          regHref = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`        ）

因为这个正则表达式我们后面可能会复用，所以可以存到一个全局变量里。

一个爬虫如果不限制分秒爬抓次数，那你的网络肯定会受不了，如果电脑配置不行的话，电脑也会挂掉，所以我们需要写一个计时器，Golang 已经提供了计时器的包 => time：

    func Timer() {          t := time.NewTimer(time.Second * 1)          <-t.C          fmt.Print("\n\n\n执行爬抓\n\n")          Timer()      }

为什么要写在一个 Timer 函数里？当然是用来调用的。

因为我们存在两种情况，第一次爬取或不是第一次爬取的情况是做不同操作的。那要怎么判断呢？因为我们的链接是储存在 txt 文件里的，所以我们只需要去查 txt 文件是不是为空，如果为空就认为他是第一次执行程序，先访问源网址，否则就按照文件里的链接依次访问。

代码如下：

    func main() {          if checkFile("./data/", "url.txt").Size() == 0 {              fistStart()              main()          } else {              Timer()          }      }

那我们先看一下 firstStart() 函数，稍后再解释代码：

    func fistStart() {          var num int          url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"          resp, _ := http.Get(url)          defer resp.Body.Close()          body, _ := ioutil.ReadAll(resp.Body)          reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`)          f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)          defer f.Close()          for _, d := range reg.FindAllString(string(body), -1) {              ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666)              file, _ := ioutil.ReadAll(ff)              dd := strings.Split(d, "")              dddd := ""              for _, ddd := range dd {                  if ddd == "?" {                      ddd = `\?`                  }                  dddd += ddd              }              if checkRegexp(string(file), dddd, 0).(string) == "" {                  io.WriteString(f, d+"\n")                  fmt.Print("\n收集地址：" + d + "\n")                  num++              }              // fmt.Print(string(file))              ff.Close()          }          fmt.Print("\n首次收集网络地址：" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + "\n")          fmt.Print("\n去重后网络地址数：" + strconv.Itoa(num))          fmt.Print("\n\n首次储存成功！\n")      }  

其实很简单，就是发起一个 get 请求，然后你会获取到 byte[] 类型的数据，转换成 string 类型之后，就是网页的代码了。

分解一下（了解原理的跳过这段）：

    url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"      resp, _ := http.Get(url)      defer resp.Body.Close()      body, _ := ioutil.ReadAll(resp.Body)      reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`)      f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)      defer f.Close()  

这段主要是发起一个 get 网络请求，然后把请求到的 byte 数据转成 stirng 类型的数据，跳过正则获取匹配链接获取一个链接数组（不过分赘述，如果还不懂 http 请求可以另寻百度）。

    for _, d := range reg.FindAllString(string(body), -1) {          ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666)          file, _ := ioutil.ReadAll(ff)          dd := strings.Split(d, "")          dddd := ""          for _, ddd := range dd {              if ddd == "?" {                  ddd = `\?`              }              dddd += ddd          }          if checkRegexp(string(file), dddd, 0).(string) == "" {              io.WriteString(f, d+"\n")              fmt.Print("\n收集地址：" + d + "\n")              num++          }          // fmt.Print(string(file))          ff.Close()      }  

通过循环数组，首先对链接里的特殊符号做特出处理，然后通过 checkRegexp 函数做查重，就是防止有多个重复链接记录导致浪费资源，最后存入 txt 文件。

checkRegexp 函数：

    func checkRegexp(cont string, reg string, style int) (result interface{}) {          check := regexp.MustCompile(reg)          switch style {          case 0:              result = check.FindString(cont)          case 1:              result = check.FindAllString(cont, -1)          default:              result = check.FindAll([]byte(cont), -1)          }          return      }  

这里，程序的首次执行已经完成，并可以成功记录爬取的链接了。程序执行如下：

程序首次执行成功后，我们已经成功获取了源页面所提供的链接地址。下面我们自然要做的就是通过计时器来爬抓链接列表里的地址。

下一步就是要通过地址列表里的地址逐一爬抓，去掉已经爬抓过的练级，并记录新的有效链接到地址列表里。

再看一下我们的main函数：

    func main() {          if checkFile("./data/", "url.txt").Size() == 0 {              fistStart()              main()          } else {              Timer()          }      }  

上面的 firstStart 函数（首次执行爬抓）已经执行过了，那就会重新调用 main 函数，也就是在执行一次判断，但是因为我们的 url.txt 里已经有 12 条 Url 地址，所以这次会执行 Timer 函数。

Timer 函数里我们写了一个计时器，防止程序崩溃或者网络崩溃，所以我这里设置了 1 秒执行一次，其实没有必要这样，一秒钟执行 3-8 次也是没什么大问题的（本地情况下），如果放在服务器上，那你得看一下自己的服务器配置和带宽配置酌情考虑了。

看一下 Timer 函数吧：

    func Timer() {          t := time.NewTimer(time.Second * 1)          <-t.C          fmt.Print("\n\n\n执行爬抓\n\n")          f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)          file, _ := ioutil.ReadAll(f)          pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])          if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {              fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))              fmt.Print("\n有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string))          }          fmt.Print("\n\n待爬抓网址共" + strconv.Itoa(len(strings.Split(string(file), "\n"))-1) + "个 => " + strings.Split(string(file), "\n")[0] + "\n")          DelFirstText("./data/url.txt")          Timer()      }  

emm...毫不夸张的表示我看自己的代码都有点吃力。

上面的代码创建了一个计时器，时间为一秒。刚开始肯定是先要打开 url.txt 文件，因为是要做删除和添加操作的，所以打开的模式是读写追加。

[plain] view plain copypageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])  

这一句就是获取 url.txt 里的第一条链接地址，我们要先判断一下这个链接内容是不是我们想要的，所以我又用到了之前封装的一个正则检查的函数。

checkRegexp 函数：

    func checkRegexp(cont string, reg string, style int) (result interface{}) {          check := regexp.MustCompile(reg)          switch style {          case 0:              result = check.FindString(cont)          case 1:              result = check.FindAllString(cont, -1)          default:              result = check.FindAll([]byte(cont), -1)          }          return      }  

所用到的正则 => regTitle、regCheckTitle

    var (          // regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`          regTitle      = `<title[\sa-zA-z="-]*>([^x00-xff]|[\sa-zA-Z=-：|，？"])*</title>`          regCheckTitle = `(为什么|怎么)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎么|实现|如何|为什么).*`      )  

regTitle 是为了在代码中匹配真标题，因为有些网站为了防止爬虫，做了一些假标题以混淆视听，但是这些小伎俩还是很容易解决的，这个 regTitle 足以屏蔽掉 70% 的假标题。

反正爬虫就是要和各大网站斗智斗勇。

regCheckTitle 是为了过滤出这个网址是不是我想要的内容，所以我简单的写了一串正则。这串正则的意思主要是标题要带有为什么、怎么等关键词，然后标题必须有 Golang 或者 Go 的存在，这样的内容基本上是我想要的了。

判断的代码段：

    if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {          fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))          fmt.Print("\n有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string))      }  

如果匹配不到，那就跳过这一条链接咯，反正不是我想要的~

    DelFirstText("./data/url.txt")      [plain] view plain copy    func DelFirstText(file string) {          var text = ""          f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666)          files, _ := ioutil.ReadAll(f)          var ss = strings.Split(string(files), "\n")          for i := 1; i < len(ss)-1; i++ {              text += ss[i] + "\n"          }          defer f.Close()          ioutil.WriteFile(file, []byte(text), 0666)          fmt.Print("\n\n删除该地址 => " + ss[0])      }  

这一段就是说删掉这一条链接地址，如果没有有一段，你的爬虫将不厌其烦的去爬抓第一条链接地址，能一直爬到你的 IP 被服务器安全程序处理掉。

应该有人发现，然后呢？怎么没有把东西入库，怎么没有抓取新的链接。

emm...最近有点忙，这一段还没写，不过这些内容已经把爬虫的基本原理都给讲掉了，其实很简单对不对，就是发起 http 请求，然后通过正则匹配出自己想要的内容，再做后续的入库或者注入新鲜链接地址，让程序一直运行下去就好了。

运行一下：

嗯，就这样，有效内容就过滤出来了。

然后如果想要把文章内容提取出来，只需要一个很简单的正则就可以了，这里的处理步骤其实可以写一个单独的函数来调用。但博主现在还没有写，可能会在第三篇写上，如果访问量破2k的话大笑

为了防止有些地方细节代码没有贴上，我把 main.go 的代码贴一下吧，也可以进文章底部的链接下载整个程序的代码实例。

别跑，文章精髓内容在底部的总结，可以往下翻翻看一下。

main.go:

    package main      import (          "fmt"          "io"          "io/ioutil"          "net/http"          "os"          "regexp"          "strconv"          "strings"          "time"      )      var (          // regHref       = `((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`          regTitle      = `<title[\sa-zA-z="-]*>([^x00-xff]|[\sa-zA-Z=-：|，？"])*</title>`          regCheckTitle = `(为什么|怎么)*.*([G|g][O|o][L|l][A|a][N|n][G|g]).*(怎么|实现|如何|为什么).*`      )      func main() {          if checkFile("./data/", "url.txt").Size() == 0 {              fistStart()              main()          } else {              Timer()          }      }      func Timer() {          t := time.NewTimer(time.Second * 1)          <-t.C          fmt.Print("\n\n\n执行爬抓\n\n")          f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)          file, _ := ioutil.ReadAll(f)          pageCont, _ := pageVisit(strings.Split(string(file), "\n")[0])          if checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string) != "" {              fmt.Print(checkRegexp(checkRegexp(pageCont, regTitle, 0).(string), regCheckTitle, 0).(string))              fmt.Print("\n有效内容 => " + checkRegexp(pageCont, regTitle, 0).(string))          }          fmt.Print("\n\n待爬抓网址共" + strconv.Itoa(len(strings.Split(string(file), "\n"))-1) + "个 => " + strings.Split(string(file), "\n")[0] + "\n")          DelFirstText("./data/url.txt")          Timer()      }      func fistStart() {          var num int          url := "http://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&tn=39042058_20_oem_dg&wd=golang%E5%AE%9E%E7%8E%B0&oq=golang%2520%25E5%2588%25A0%25E9%2599%25A4%25E6%2595%25B0%25E7%25BB%2584&rsv_pq=d9be28ec0002df1b&rsv_t=8017GWpSLPhDmKilZQ1StC04EVpUAeLEP90NIm%2Bk5pRh5R9o57NHMO8Gaxm1TtSOo%2FvtJj%2B98%2Fsc&rqlang=cn&rsv_enter=1&inputT=3474&rsv_sug3=16&rsv_sug1=11&rsv_sug7=100&rsv_sug2=0&rsv_sug4=4230"          resp, _ := http.Get(url)          defer resp.Body.Close()          body, _ := ioutil.ReadAll(resp.Body)          reg := regexp.MustCompile(`((ht|f)tps?)://[w]{0,3}.baidu.com/link\?[a-zA-z=0-9-\s]*`)          f, _ := os.OpenFile("./data/url.txt", os.O_CREATE|os.O_APPEND|os.O_RDWR, 0666)          defer f.Close()          for _, d := range reg.FindAllString(string(body), -1) {              ff, _ := os.OpenFile("./data/url.txt", os.O_RDWR, 0666)              file, _ := ioutil.ReadAll(ff)              dd := strings.Split(d, "")              dddd := ""              for _, ddd := range dd {                  if ddd == "?" {                      ddd = `\?`                  }                  dddd += ddd              }              if checkRegexp(string(file), dddd, 0).(string) == "" {                  io.WriteString(f, d+"\n")                  fmt.Print("\n收集地址：" + d + "\n")                  num++              }              // fmt.Print(string(file))              ff.Close()          }          fmt.Print("\n首次收集网络地址：" + strconv.Itoa(len(reg.FindAllString(string(body), -1))) + "\n")          fmt.Print("\n去重后网络地址数：" + strconv.Itoa(num))          fmt.Print("\n\n首次储存成功！\n")      }      func pageVisit(url string) (page string, body []byte) {          resp, _ := http.Get(url)          defer resp.Body.Close()          body, _ = ioutil.ReadAll(resp.Body)          page = string(body)          return      }      func checkFile(dir string, file string) os.FileInfo {          list, _ := ioutil.ReadDir(dir)          for _, info := range list {              if info.Name() == file {                  return info              }          }          return list[0]      }      func saveFile(file string, cont string) {          f, _ := os.OpenFile(file, os.O_RDWR|os.O_APPEND|os.O_CREATE, 0666)          defer f.Close()          io.WriteString(f, cont)      }      func checkRegexp(cont string, reg string, style int) (result interface{}) {          check := regexp.MustCompile(reg)          switch style {          case 0:              result = check.FindString(cont)          case 1:              result = check.FindAllString(cont, -1)          default:              result = check.FindAll([]byte(cont), -1)          }          return      }      func DelFirstText(file string) {          var text = ""          f, _ := os.OpenFile(file, os.O_RDWR|os.O_CREATE, 0666)          files, _ := ioutil.ReadAll(f)          var ss = strings.Split(string(files), "\n")          for i := 1; i < len(ss)-1; i++ {              text += ss[i] + "\n"          }          defer f.Close()          ioutil.WriteFile(file, []byte(text), 0666)          fmt.Print("\n\n删除该地址 => " + ss[0])      }

附代码实例：

https://download.csdn.net/download/superwebmaster/10415730

最后当然是总结了：

其实爬虫的基本原理的很简单的，步骤总的分为以下几步：

1. 爬虫目标，没有一个目标的爬虫是没有灵魂的爬虫
2. 自定一个源页面，也就是爬虫入口，用于获取更多资源链接
3. 发送 http 请求，获取页面内容
4. 过滤无效内容，防止浪费资源
5. 解析页面，匹配出自己想要的内容
6. 将匹配出来的有效内容入库储存
7. 注入新鲜血液（新的链接）让程序不断执行下去

这是一个最基本的爬虫功能，如果想要拓展下去，其实还有很多的玩法。深入下去你也会发现更多的问题。

因为有些网站为了防爬虫，特地把数据请求留给 Ajax，所以你爬到的页面可能是完全没有内容的，这时候，你就需要和目标网站斗智斗勇，毕竟上有政策，下有对策，办法总比困难多的。

爬虫的原理，基本上已经解释清楚了，代码的逻辑是相通的，只要理解了原理，用任何编程语言实现起来其实都是可以的。

如果有任何问题都可以在 GitChat 读者圈提问，我会尽量在最快的时间里回答大家的问题。也可以加个人 QQ 私下讨论：625366394，咱们也可以玩一些更好玩的东西，如果你愿意的话。

---

本文首发于GitChat，未经授权不得转载，转载需与GitChat联系。

阅读全文: http://gitbook.cn/gitchat/activity/5afb9ffef084d4686fddd876

您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ，阅读更多 GitChat 专享技术内容哦。