用正则表达式来限制爬虫的范围仅限于nutch.apache.org这个域。

4）修改conf/nutch-default.xml

其中大多数内容可以直接使用，可以定义爬取属性

修改http.agent.name 属性

<property> 

<name>http.agent.name</name> 

<value>My Nutch Spider</value>

</property>

并确保plugin.includes 属性是indexer-solr

5)然后执行：$ bin/crawl urls crawl 2 进行爬取。

PS:如果是源码文件，则解压后在目录中使用ant命令进行编译，编译缺少的jar可以手动下载后直接放到解压目录中即可。可以使用ant clean命令来删除文件。

Nutch1.x从1.7版本开始不再提供完整的部署文件，只提供源代码文件及相关的build.xml文件,这就要求用户自己编译Nutch，而整个Nutch2.x版本都不提供编译完成的文件，想要学习Nutch2.x的功能，须自己手动编译文件。编译之后多了两个目录：build和runtime

1.1.2 Nutch原理

inject要crawl的URL入口初始化到DB。

Generate，以一个batchId为入参，标记新的一批要被fetch的URL

fetch开始实际抓取网页内容，

parse是解析内容，会多生成一些key-value对

updatedb会更新db，把outlinks里面的URL抽取出来，去重，再生成新的数据，进行下一轮generate。

Index把网页都进行索引建立，在搜索引擎服务里面就可以进行搜索。

1.1.3 开发环境搭建     

        安装ant，mac 下使用命令：brewinstall ant命令来进行安装。

nutch的下载地址：

        http://nutch.apache.org/downloads.html

        src源码包下载解压后，使用ant命令进行编译。

1.1.4 概念

WebDB:存储网页数据和连接信息

Fetch lists:将WebDB所存储的连接分成多个组，来用于分布式检索

Fetchers:检索Fetch list中的内容并下载到本地，共有两项输出：分别是连接的update信息和内容content

Updates:更新WebDB的页面检索状态

WebDB、updates、fetch lists和fetchers组成循环结构，不断运行下去，来确保所得到的Web镜像是最新的

Content:界面内容，获取内容之后，Nutch便可以根据它来创建索引并执行查询操作

Indexers:对目标Content创建索引，当索引内容较大时，可把索引划分成多个索引片段，然后分配给不同的seracher实现并行检索

Searchers:实现查询功能的同时也会缓存content

Webservers:有两种角色：

1处理用户的交互请求（Nutch Search Client）

2从searchers中获取查询结果（HTTP Server）

fetchers和searchers两个节点所对应的操作可放到分布式环境(Hadoop)中去完成

创建索引及查询的操作可通过solr框架来实现

1.2     WebMagic

webmagic的是无须配置、便于二次开发的爬虫框架，提供简单灵活的API，只需少量代码即可实现一个爬虫。

下载地址如下：

http://webmagic.io/download.html

1.3     Crawler4j

Crawler4j是一个单机版的垂直爬虫，其遍历算法是一种类似泛爬的算法。Crawler4j并没有提供定制http请求的接口，并不适用于需要定制http请求的爬取业务（例如模拟登陆、多代理切换）

1.4  jsoup

1.5     WebCollector

WebCollector是一个无须配置、便于二次开发的Java爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。

1.6  Heritrix

1.7  pyspider

python爬虫

1.8  scrapy

python爬虫

1.9  小结

1.10 爬虫分类

2    solr

Solr是一个基于Lucene的Java搜索引擎服务器。提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式），附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用，扩展了 Lucene，沿用了Lucene的相关术语。Solr 创建的索引与 Lucene 搜索引擎库完全兼容。Solr 可以阅读和使用构建到其他 Lucene 应用程序中的索引。此外，很多 Lucene 工具（如Nutch、 Luke）也可以使用Solr 创建的索引。

建索引的时候需要使用Solr，需要安装并启动一个Solr服务器。

下载链接:http://lucene.apache.org/solr/mirrors-solr-latest-redir.html

有源码包和二进制包。

Solr是一个基于Lucene的Java搜索引擎服务器。Solr 提供了层面搜索、命中醒目显示并且支持多种输出格式（包括 XML/XSLT 和 JSON 格式）

cd solr-x/example

        在解压目录中执行：

#bin/solr start

# java -jar start.jar

浏览器打开 http://localhost:8983/solr/admin/

如果可以访问则说明访问成功。

        停止服务使用命令：

#bin/solr stop -all

3    序列化

目的

1、以某种存储形式使自定义对象持久化；

2、将对象从一个地方传递到另一个地方；

3、使程序更具维护性。

3.1  protocol Buffers

        Protocol buffers是Google开源的一个序列化框架；是一个用来序列化结构化数据的技术，支持多种语言诸如C++、Java以及Python语言，可以使用该技术来持久化数据或者序列化成网络传输的数据。

3.2  Thrift

3.3  JSON

        JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。 易于人阅读和编写。同时也易于机器解析和生成。

3.4    XML

        XML 序列化用处很多，包括对象持久化和数据传输。但是一些 XML 序列化技术实现起来可能很复杂。

3.5    Avro

        Avro是Hadoop的一个子项目，由Hadoop的创始人DougCutting（也是Lucene，Nutch等项目的创始人）牵头开发。Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。

4    存储方式

4.1  HBASE

        Hbase启动指南如下：http://hbase.apache.org/book.html#quickstart

Hbase下载地址如下：http://www.apache.org/dyn/closer.cgi/hbase/

        有源码包和二进制包下载。

4.2     Cassandra

4.3  Accumulo

4.4  Avro

4.5  Mongodb

Mongodb入门使用可以查看如下链接：

        http://blog.csdn.net/notbaron/article/details/76789501

        下载链接：

        http://www.mongodb.org/downloads

5    hadoop

Hadoop是大集群上运行程序的框架。框架提供了应用的可靠性和数据移动。实现了Map/Reduce可以应用分割成碎片可以在集群的任何一个上运行。提供了HDFS用于存储计算节点的数据，在集群间提供了可观的带宽。Map/Reduce和HDFS从框架上来实现容错。

是在将Nutch中的分布式文件系统和MapReduce软件分隔开来形成了一个新的项目，即“Hadoop”

下载地址：http://hadoop.apache.org/releases.html#Download

5.1    Map/Reduce

5.2       HDFS

6    可视化

6.1      Kibana

        Kibana是开源的分析与可视化平台，用于和Elasticsearch一起使用的。可以用kibana搜索、查看、交互存放在Elasticsearch索引里的数据，使用各种不同的图表、表格、地图等kibana能够很轻易地展示高级数据分析与可视化。

        下载地址如下：

https://www.elastic.co/downloads/kibana

7    Nutch+hadoop

        Nutch可以使用两种模式来运行，本地的或部署的。默认不会和hadoop一起发布，运行在本地模式，即一个机器上运行一个线程。这个适用于小型站点来爬去和索引，但是很多人选择nutch是因为他和hadoop集群一起的部署运行模式。可以从分布式文件系统（HDFS）和MapReduce过程中受益。

8    搜索

8.1     ElasticSearch

最流行的开源搜索引擎之一

9      SolrCloud

10                          ZooKeeper

11                          页面分析渲染

11.1 Phantomjs

11.2 Selenium

        Web自动化工具Selenium，内核采用WebDriver

11.3 crawler4j

11.4  htmlunit

HtmlUnit 是一款开源的java 页面分析工具，读取页面后，可以有效的使用HtmlUnit分析页面上的内容。

12                          浏览器内核

12.1 Trident

Trident(IE内核)：该内核程序在 1997 年的 IE4 中首次被采用，是微软在 Mosaic（"马赛克"，这是人类历史上第一个浏览器，从此网页可以在图形界面的窗口浏览）代码的基础之上修改而来的，并沿用到 IE11，也被普遍称作 "IE内核"。

12.2 Webkit

chrome 将 Webkit内核 深入人心， Webkit 的鼻祖其实是 Safari。chrome内核已经是 blink。

12.3 chromium

chromium fork 自开源引擎 webkit，把代码梳理得可读性提高很多，以前可能需要一天进行编译的代码，现在只要两个小时就能搞定。因此 Chromium 引擎和其它基于 WebKit 的引擎所渲染页面的效果也是有出入的。所以有些地方会把 chromium 引擎和 webkit 区分开来单独介绍，而有的文章把 chromium 归入 webkit 引擎中。

12.4 Blink

Google 决定从 WebKit 衍生出自己的 Blink 引擎（后由 Google 和 OperaSoftware 共同研发），将在 WebKit 代码的基础上研发更加快速和简约的渲染引擎，并逐步脱离 WebKit 的影响，创造一个完全独立的 Blink 引擎。这样维系 Google 和苹果之间技术关系的纽带就这样被切断了。

12.5 Presto

Presto 是挪威产浏览器 opera的 "前任" 内核，最新的 opera 浏览器早已将之抛弃从而投入到了谷歌大本营。

12.6 Gecko

        Gecko(Firefox 内核)：Netscape6 开始采用的内核，后来的Mozilla FireFox(火狐浏览器) 也采用了该内核。

13                          搜索引擎

lucene是apache下开源搜索引擎内核，基于Java技术，处理索引，拼写检查，点击高亮和其他分析，分词等技术。

而solr则是基于lucene的搜索界面。提供XML/HTTP和 JSON/Python/Ruby API，提供搜索入口，点击高亮，缓存，备份和管理界面。

nutch原来都是lucene下的子项目。但后来nutch独立成为独立项目。nutch是2004年由俄勒冈州立大学开源实验室模仿google搜索引擎创立的开源搜索引擎，后归于apache旗下。nutch主要完成抓取，提取内容等工作。

hadoop原来也是nutch下的分布式任务子项目，现在也是apache下的顶级项目。nutch可以利用hadoop进行分布式多任务抓取和分析存储工作。

使用lucene,nutch,solr,hadoop能完成一个中型的搜索引擎工作的。

13.1 ElasticSearch

        下载地址：https://www.elastic.co/products/elasticsearch

        运行：bin/elasticsearch (或者 bin\elasticsearch.bat on Windows)

        浏览器运行：

http://localhost:9200/ 

14                          代理

14.1 Squid

14.2 Privoxy

14.3 Varnish

14.4 Polipo

14.5  Tinyproxy

15                          项目管理

15.1 Maven

Maven使用声明构建项目，并进行依赖管理，使用约定而不是配置进行构建。优于Apache Ant，ant采用了一种过程化的方式进行配置，所以维护起来困难。

15.2 Gradle

Gradle采用增量构建。Gradle通过Groovy编程而不是传统的XML声明进行配置。Gradle可以很好地配合Maven进行依赖管理，并且把Ant脚本当作头等公民。

15.3 ant

使用可以参考：http://blog.csdn.net/notbaron/article/details/77595620

下载连接：http://ant.apache.org/bindownload.cgi

16                          一个开源引擎搭建

使用Nutch,mongodb,elasticSearch,kibana来搭建。

        下载地址可参见各个章节中说明。其中JDK下载地址如下：

http://www.oracle.com/technetwork/java/javase/downloads/index.html

        使用的包分别如下：

jdk-8u144-linux-x64.tar.gz

apache-nutch-1.13-bin.tar.gz 

kibana-5.5.2-linux-x86_64.tar.gz

elasticsearch-5.5.2.zip

apache-ant-1.10.1-bin.tar.gz

16.1 设置JAVA环境变量

tar -xvfjdk-8u144-linux-x64.tar.gz

echo 'exportJAVA_HOME=/root/jdk1.8.0_144' >> ~/.bash_profile

echo 'export PATH=$PATH:/root/jdk1.8.0_144/bin'>> ~/.bash_profile

16.2 设置ant

解压ant压缩包

tar -xvf apache-ant-1.10.1-bin.tar.gz

echo 'export PATH=$PATH:/root/apache-ant-1.10.1/bin' >>~/.bash_profile

16.3 设置MongoDB

解压：tar -xvfmongodb-linux-x86_64-rhel70-3.4.7.tgz

mvmongodb-linux-x86_64-rhel70-3.4.7 mongodb

cd mongodb/

mkdir -p log/conf/ data/

viconf/es.yml

内容如下(可参考：

https://docs.mongodb.com/v2.6/reference/configuration-options/)：

启动mongodb数据库：

#bin/mongod-f conf/es.yml

检测数据库：

#bin/mongo

> show dbs

> exit

16.4 elasticsearch

解压：unzipelasticsearch-5.5.2.zip

配置路径：

echo 'export PATH=$PATH:/root/elasticsearch-5.5.2/bin' >>~/.bash_profile

编辑文件：

#vi config/elasticsearch.yml

增加内容如下：

        elasticsearch不能用root启动，需要新建用户。

        #useradd -g root es

        #chmod 775 -R elasticsearch-5.5.2

        #su – es

        #cat /root/.bash_profile >>~/.bash_profile

        #elasticsearch

        检查elasticsearch:

curl -XGET'http://localhost:9200'

16.5 Kibana

16.6 nutch

17                          参考

17.1 macos部署mysql

macos部署mysql:http://blog.csdn.net/notbaron/article/details/68952997

17.2 nutch部署：

http://blog.csdn.net/gobitan/article/details/13916981

17.3 nutch官方wiki指南：

https://wiki.apache.org/nutch/NutchTutorial

elasticsearch官方指南:

https://www.elastic.co/guide/en/elasticsearch/reference/current/getting-started.html

17.4 nutchhadoop教程

https://wiki.apache.org/nutch/NutchHadoopTutorial

17.5 hadoop官方wiki指南

https://wiki.apache.org/hadoop/

17.6 Mongodb使用指南：

https://docs.mongodb.com/v2.6/reference/configuration-options/

17.7 Nutch+MongoDB+ES

http://www.aossama.com/search-engine-with-apache-nutch-mongodb-and-elasticsearch/

17.8 Hadoop十年

http://www.infoq.com/cn/news/2016/01/hadoop-ten-years-Doug?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=news_link&utm_content=link_text

17.9 浏览器内核

http://www.cnblogs.com/Leo_wl/p/5119719.html

18                          TIPS

18.1 红帽安装桌面

yum grouplist

yum groupinstall-y  "Server with GUI"

19                          材料

19.1 中国2016大数据技术大会材料

http://download.csdn.net/meeting/meeting_detail/25

http://download.csdn.net/meeting

20                          大数据开源工具

21                          阅读笔记

Cutting认为他的成功主要归功于两点，一是对自己工作的热情；二是目标不要定得过大，要踏踏实实，一步一个脚印。

每一个行业都正在致力于围绕其信息系统构建数据驱动型运营模式

我们在本世纪取得的大部分进展将来自于对所产生的数据的理解的增加。