提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

Griffin是一个应用于分布式数据系统中的开源数据质量解决方案，例如在Hadoop, Spark, Storm等分布式系统中，Griffin提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。Apache Griffin是一个开源的大数据数据质量解决方案，它支持批处理和流模式两种数据质量检测方式，可以从不同维度度量数据资产，从而提升数据的准确度和可信度。例如：离线任务执行完毕后检查源端和目标端的数据数量是否一致，源表的数据空值等

---

标题

一、Griffin介绍

起源

在eBay，当人们在处理大数据(Hadoop或者其它streaming系统)的时候，数据质量的检测是一个挑战。不同的团队开发了他们自己的工具在其专业领域检测和分析数据质量问题。于是我们希望能建立一个普遍适用的平台，提供共享基础设施和通用的特性来解决常见的数据质量问题，以此得到可信度高的数据。
目前来说，当数据量达到一定程度并且有跨越多个平台时（streaming数据和batch数据），数据数量验证将是十分费时费力的。拿eBay的实时个性化平台举个例子，每天我们都要处理大约600M的数据，而在如此复杂的环境和庞大的规模中，数据质量问题则成了一个很大的挑战。
在eBay的数据处理中，发现存在着如下问题：

1.  当数据从不同的数据源流向不同的应用系统的时候，缺少端到端的统一视图来追踪数据沿袭(Data Lineage)。这也就导致了在识别和解决数据质量问题上要花费许多不必要的时间。
   

2.  缺少一个实时的数据质量检测系统。我们需要这样一个系统：数据资产(Data Asset)注册，数据质量模型定义，数据质量结果可视化、可监控，当检测到问题时，可以及时发出警报。
   

3.  缺乏一个共享平台和API服务，让每个项目组无需维护自己的软硬件环境就能解决常见的数据质量问题。为了解决以上种种问题，我们决定开发Griffin这个平台。Griffin是一个应用于分布式数据系统中的开源数据质量解决方案，例如在Hadoop, Spark, Storm等分布式系统中，Griffin提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。
   

二、修改配置文件及编译

2.1 环境准备

				安装之前请确认下面的组件已经安装。如果有没有安装的可以看官网或博客。

Git （如果直接下载的对应的releases版，可以不需要）

JDK 1.8 (版本或更高)

Maven(Apache Maven 3.6.3)

Mysql 数据库 （可以是 PostgreSQL,mysql版本5.7 ）

npm(版本6.14.6)（version 6.0.0+，用于编译ui模块）

Scala (版本2.11.8)

Hadoop (版本3.0.0或更高版本)

Hive (版本2.1.1)

Spark (版本2.4.0)

Livy (版本0.5.0)

ElasticSearch(版本5.0或更高版本)

Zookeeper (版本3.4.5)

2.2 获取源码包

      2.2.1下载对应 release 版下载： wget https://github.com/apache/griffin/archive/griffin-0.5.0.tar.gz解压： tar -zxf griffin-0.5.0.tar.gz -C /usr/griffin/

2.3 修改配置文件

	  2.3.1 配置MySQL因为Griffin使用了 Quartz 进行任务的调度，因此需要在MySQL中创建Quartz 调度器用到的库。并进行初始化在MySQL服务器中执行命令，创建一个 quartz 库[root@cdh04 ~]# mysql -uroot -e "create database quartz" -pbigdata -hcdh01在下载的源码中service/src/main/resources/Init_quartz_mysql_innodb.sql找到sql脚本，上传到Mysql Service， 使用Init_quartz_mysql_innodb.sql在MySQL中初始化 Quartz。[root@cdh04 ~]# cd /usr/griffin/griffin-griffin-0.5.0/service/src/main/resources[root@cdh04 resources]# mysql -hcdh01 -uroot -pbigdata quartz < ./Init_quartz_mysql_innodb.sql2.3.2 配置环境变量export下面的变量。或者创建一个griffin_env.sh文件，写入下面的内容，并将脚本配置到.bashrc[root@cdh04 ~]# vim .bashrcexport JAVA_HOME=/usr/java/jdk1.8export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoopexport HADOOP_COMMON_HOME=/opt/cloudera/parcels/CDH/lib/hadoopexport HADOOP_COMMON_LIB_NATIVE_DIR=/opt/cloudera/parcels/CDH/lib/hadoop/lib/nativeexport HADOOP_HDFS_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-hdfsexport HADOOP_INSTALL=/opt/cloudera/parcels/CDH/lib/hadoopexport HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduceexport HADOOP_USER_CLASSPATH_FIRST=trueexport HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoopexport SPARK_HOME=/opt/cloudera/parcels/CDH/lib/sparkexport LIVY_HOME=/usr/livy/livy-0.5.0-incubating-binexport HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hiveexport YARN_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-yarnexport SCALA_HOME=/usr/scala/scala-2.11.8export PATH=$PATH:$HIVE_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$LIVY_HOME/bin:$SCALA_HOME/bin[root@cdh04 ~]# source .bashrc 2.3.3 Hive配置将hive-site.xml上传到hdfs[root@cdh04 ~]# sudo -u hdfs hadoop fs -mkdir -p /home/spark_conf[root@cdh04 ~]# sudo -u hdfs hadoop fs -put /opt/cloudera/parcels/CDH/lib/hive/conf/hive-site.xml /home/spark_conf[root@cdh04 ~]# useradd griffin[root@cdh04 ~]#sudo -u hdfs hadoop fs -chown -R griffin /home/spark_conf2.3.4 配置 Griffin 的 application.properties进入到下载的源码目录，编辑 service/src/main/resources/application.properties 配置文件[root@cdh04 ~]# cd /usr/griffin/griffin-griffin-0.5.0/[root@cdh04 ~]# vim service/src/main/resources/application.properties

# Apache Griffin应用名称
spring.application.name=griffin_service
# Apache Griffin server port (default 8080)
server.port = 8081# MySQL数据库配置信息
#spring.datasource.url=jdbc:postgresql://localhost:5432/quartz?autoReconnect=true&useSSL=false
spring.datasource.url=jdbc:mysql://cdh01:3306/quartz?autoReconnect=true&useSSL=false
spring.datasource.username=griffin
spring.datasource.password=bigdata
spring.jpa.generate-ddl=true
#spring.datasource.driver-class-name=org.postgresql.Driver
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.jpa.show-sql=true
# Hive metastore]
# 这里配置的值为`hive-site.xml`中的 `hive.metastore.uris`配置项的值
hive.metastore.uris=thrift://cdh03:9083
hive.metastore.dbname=hive
hive.hmshandler.retry.attempts=15
hive.hmshandler.retry.interval=2000ms
# Hive cache time
cache.evict.hive.fixedRate.in.milliseconds=900000
# Kafka schema registry
kafka.schema.registry.url=http://cdh03:8081
# Update job instance state at regular intervals
jobInstance.fixedDelay.in.milliseconds=60000
# Expired time of job instance which is 7 days that is 604800000 milliseconds.Time unit only supports milliseconds
jobInstance.expired.milliseconds=604800000
# schedule predicate job every 5 minutes and repeat 12 times at most
#interval time unit s:second m:minute h:hour d:day,only support these four units
predicate.job.interval=5m
predicate.job.repeat.count=12
# external properties directory location
external.config.location=
# external BATCH or STREAMING env
external.env.location=
# login strategy ("default" or "ldap")
login.strategy=default
# ldap,登录策略为ldap时配置
ldap.url=ldap://cdh04:8099
ldap.email=@example.com
ldap.searchBase=DC=org,DC=example
ldap.searchPattern=(sAMAccountName={0})
# hdfs default name
fs.defaultFS=hdfs://nn01:8020
# elasticsearch,# elasticsearch配置
elasticsearch.host=cdh04
elasticsearch.port=9200
elasticsearch.scheme=http
# elasticsearch.user = user
# elasticsearch.password = password
# livy
livy.uri=http://cdh04:8998/batches
livy.need.queue=false
livy.task.max.concurrent.count=20
livy.task.submit.interval.second=3
livy.task.appId.retry.count=3
# yarn url
yarn.uri=http://cdh04:8088
# griffin event listener
internal.event.listeners=GriffinJobEventHook
# 压缩
#server.compression.enabled=true
#server.compression.mime-types=application/json,application/xml,text/html,text/xml,text/plain,application/javascript,text/css

		2.3.5 配置 Griffin 的 quartz.properties进入到下载的源码目录，编辑 service/src/main/resources/quartz.properties 配置文件。默认亦可。2.3.6 配置 Griffin 的 sparkProperties.json进入到下载的源码目录，编辑 service/src/main/resources/sparkProperties.json 配置文件。先配置上griffin-measure.jar在hdfs上的位置，spark.yarn.dist.files即为1.3.3那里hive-site.xml上传的位置。[root@cdh04 ~]# sudo -u griffin hadoop fs -mkdir -p /griffin[root@cdh04 resources]# cd /usr/griffin/griffin-griffin-0.5.0/service/src/main/resources[root@cdh04 resources]# vim sparkProperties.json

{"file": "hdfs://nn01:8020/griffin/griffin-measure.jar","className": "org.apache.griffin.measure.Application","name": "griffin","queue": "default","numExecutors": 2,"executorCores": 1,"driverMemory": "1g","executorMemory": "1g","conf": {"spark.yarn.dist.files": "hdfs://nn01:8020/home/spark_conf/hive-site.xml"},"files": []
}

	2.3.7 配置 Griffin 的 env_batch.json进入到下载的源码目录，编辑 service/src/main/resources/env/env_batch.json 配置文件。根据自己的需求调整sink信息。配置HDFS的输出路径和Elasticsearch URL。[root@cdh04 resources]# cd env/[root@cdh04 env]# su griffin[griffin@cdh04 env]$ hadoop fs -mkdir -p /griffin/persist[root@cdh04 env]# vim env_batch.json

{"spark": {"log.level": "WARN"},"sinks": [{"type": "CONSOLE","config": {"max.log.lines": 10}},{"type": "HDFS","config": {"path": "hdfs://nn01:8020/griffin/persist","max.persist.lines": 10000,"max.lines.per.file": 10000}},{"type": "ELASTICSEARCH","config": {"method": "post","api": "http://cdh04:9200/griffin/accuracy","connection.timeout": "1m","retry": 10}}],"griffin.checkpoint": []
}

	2.3.8 配置 Griffin 的 env_streaming.json进入到下载的源码目录，编辑 service/src/main/resources/env/env_streaming.json 配置文件。同env_batch.json的修改类似。[root@cdh04 env]# hadoop fs -mkdir -p /griffin/checkpoint[root@cdh04 env]# vim env_streaming.json

{"sinks": [
{"spark": {"log.level": "WARN","checkpoint.dir": "hdfs://nn01:8020/griffin/checkpoint/${JOB_NAME}","init.clear": true,"batch.interval": "1m","process.interval": "5m","config": {"spark.default.parallelism": 4,"spark.task.maxFailures": 5,"spark.streaming.kafkaMaxRatePerPartition": 1000,"spark.streaming.concurrentJobs": 4,"spark.yarn.maxAppAttempts": 5,"spark.yarn.am.attemptFailuresValidityInterval": "1h","spark.yarn.max.executor.failures": 120,"spark.yarn.executor.failuresValidityInterval": "1h","spark.hadoop.fs.hdfs.impl.disable.cache": true}},"sinks": [{"type": "CONSOLE","config": {"max.log.lines": 100}},{"type": "HDFS","config": {"path": "hdfs://nn01:8020/griffin/persist","max.persist.lines": 10000,"max.lines.per.file": 10000}},{"type": "ELASTICSEARCH","config": {"method": "post","api": "http://cdh04:9200/griffin/accuracy"}}],"griffin.checkpoint": [{"type": "zk","config": {"hosts": "cdh01:2181,cdh02:2181,cdh03:2181","namespace": "griffin/infocache","lock.path": "lock","mode": "persist","init.clear": true,"close.clear": false}}]
}

	2.3.9 Elasticsearch设置这里提前在Elasticsearch设置索引，以便将分片数，副本数和其他设置配置为所需的值：

[root@cdh1 env]# curl -k -H "Content-Type: application/json" -X PUT http://cdh04:9200/griffin?pretty \-d '{"aliases": {},"mappings": {"accuracy": {"properties": {"name": {"fields": {"keyword": {"ignore_above": 256,"type": "keyword"}},"type": "text"},"tmst": {"type": "date"}}}},"settings": {"index": {"number_of_replicas": "2","number_of_shards": "5"}}
}'

		创建索引成功返回{"acknowledged":true,"shards_acknowledged":true,"index":"griffin"}2.3.10 驱动包的依赖修改，修改vim service/pom.xml打开113行mysql相关注释

		<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>${mysql.java.version}</version></dependency>

		2.3.11 配置 Griffin 的measure的env-batch.json [root@cdh04 resources]# vim /usr/griffin/griffin-griffin-0.5.0/measure/src/main/resources/env-batch.json 

{"spark": {"log.level": "WARN","config": {"spark.master": "cdh03"}},"sinks": [{"type": "CONSOLE","config": {"max.log.lines": 10}},{"type": "HDFS","config": {"path": "hdfs://nn01:8020/griffin/batch/persist","max.persist.lines": 10000,"max.lines.per.file": 10000}},{"type": "ELASTICSEARCH","config": {"method": "post","api": "http://cdh04:9200/griffin/accuracy","connection.timeout": "1m","retry": 10}}],"griffin.checkpoint": []
}

		2.3.12 配置 Griffin 的measure的env-batch.json [griffin@cdh04 resources]$ hadoop fs -mkdir -p /test/griffin/cp[griffin@cdh04 resources]$ hadoop fs -mkdir -p /griffin/streaming/dump/source[griffin@cdh04 resources]$ hadoop fs -mkdir -p /griffin/streaming/persist[root@cdh04 resources]#  vim /usr/griffin/griffin-griffin-0.5.0/measure/src/main/resources/env-streaming.json

{"spark": {"log.level": "WARN","checkpoint.dir": "hdfs://nn01:8020/test/griffin/cp","batch.interval": "2s","process.interval": "10s","init.clear": true,"config": {"spark.master": "cdh03","spark.task.maxFailures": 5,"spark.streaming.kafkaMaxRatePerPartition": 1000,"spark.streaming.concurrentJobs": 4,"spark.yarn.maxAppAttempts": 5,"spark.yarn.am.attemptFailuresValidityInterval": "1h","spark.yarn.max.executor.failures": 120,"spark.yarn.executor.failuresValidityInterval": "1h","spark.hadoop.fs.hdfs.impl.disable.cache": true}},"sinks": [{"type": "CONSOLE","config": {"max.log.lines": 100}},{"type": "HDFS","config": {"path": "hdfs://nn01:8020/griffin/streaming/persist","max.persist.lines": 10000,"max.lines.per.file": 10000}},{"type": "ELASTICSEARCH","config": {"method": "post","api": "http://cdh04:9200/griffin/accuracy"}}],"griffin.checkpoint": [{"type": "zk","config": {"hosts": "cdh01:2181,cdh02:2181,cdh03:2181","namespace": "griffin/infocache","lock.path": "lock","mode": "persist","init.clear": true,"close.clear": false}}]
}

	2.3.12 配置 Griffin 的measure的env-batch.json [root@cdh04 resources]# vim /usr/griffin/griffin-griffin-0.5.0/measure/src/main/resources/config-streaming.json

{"name": "prof_streaming","process.type": "streaming","data.sources": [{"name": "source","baseline": true,"connectors": [{"type": "kafka","version": "0.8","dataframe.name" : "kafka","config": {"kafka.config": {"bootstrap.servers": "cdh04:9092","group.id": "group1","auto.offset.reset": "smallest","auto.commit.enable": "false"},"topics": "sss","key.type": "java.lang.String","value.type": "java.lang.String"},"pre.proc": [{"dsl.type": "df-ops","in.dataframe.name": "kafka","out.dataframe.name": "out1","rule": "from_json"},{"dsl.type": "spark-sql","in.dataframe.name":"out1","out.datafrmae.name": "out3","rule": "select name, age from out1"}]}],"checkpoint": {"file.path": "hdfs://nn01:8020/griffin/streaming/dump/source","info.path": "source","ready.time.interval": "10s","ready.time.delay": "0","time.range": ["0", "0"]}}],"evaluate.rule": {"rules": [{"dsl.type": "griffin-dsl","dq.type": "profiling","out.dataframe.name": "prof","rule": "select count(name) as `cnt`, max(age) as `max`, min(age) as `min` from source","out":[{"type": "metric","name": "prof"}]},{"dsl.type": "griffin-dsl","dq.type": "profiling","out.dataframe.name": "grp","rule": "select name, count(*) as `cnt` from source group by name","out":[{"type": "metric","name": "name_group","flatten": "array"}]}]},"sinks": ["ELASTICSEARCH"]
}

2.4 MVN编译

	[root@cdh04 ~]$ cd usr/griffin/griffin-griffin-0.5.0/measure[root@cdh04 measure]$ mvn -Dmaven.test.skip=true clean install[root@cdh04 service]$ cd /usr/griffin/griffin-griffin-0.5.0/service/[root@cdh04 service]$ mvn -Dmaven.test.skip=true clean install配置Griffin环境，添加如下配置，保存并推出。[root@cdh04 ~]# vim ~/.bash_profile#追加#Griffin配置export GRIFFIN_HOME=/usr/griffin/griffin-griffin-0.5.0export PATH=$PATH:$GRIFFIN_HOME/bin[root@cdh04 ~]# source ~/.bash_profile		

三、安装

			3.1编译好的文件放置到目录下使用如下命令将measure-0.5.0.jar这个jar上传到HDFS的/griffin文件目录里：#改变jar名称[root@cdh04 ~]# mv /usr/griffin/griffin-griffin-0.5.0/measure/target/measure-0.5.0.jar /usr/griffin/griffin-griffin-0.5.0/griffin-measure.jar#上传griffin-measure.jar到HDFS文件目录里[root@cdh04 ~]# sudo -u hdfs hadoop fs -put /usr/griffin/griffin-griffin-0.5.0/griffin-measure.jar /griffin/这样做的目的主要是因为spark在yarn集群上执行任务时，需要到HDFS的/griffin目录下加载griffin-measure.jar，避免发生类org.apache.griffin.measure.Application找不到的错误。授权：sudo -u hdfs hadoop fs -chown -R griffin /griffin/[root@cdh04 ~]# mv /usr/griffin/griffin-griffin-0.5.0/service/target/service-0.5.0.jar /usr/griffin/griffin-griffin-0.5.0/griffin-service.jar3.2启动service.jar，运行Griffin管理服务# 启动之前请确保Hive的 metastore 服务正常开启nohup java -jar $GRIFFIN_HOME/griffin-service.jar>$GRIFFIN_HOME/service.out 2>&1 &启动之后我们可以查看启动日志，如果日志中没有错误，则启动成功，tail -f $GRIFFIN_HOME/service.out

四、编译UI

		4.1 UI模块的配置，修改environment.ts文件位置：griffin-griffin-0.5.0\ui\angular\src\environments\environment.ts

export const environment = {production: false,BACKEND_SERVER: 'http://cdh04:8080',
};

		4.2 启动前端先把ui模块进行编译，编译之后去到node_modules目录下中的./bin目录 执行如下命令：[root@cdh04 ~]# cd /usr/griffin/griffin-griffin-0.5.0/ui/angular/[root@cdh04 ~]# node_modules/.bin/ng serve -host cdh04 -port 8081这里的端口不能是8080，因为8080已经被service模块占用了 访问 Service Platform WEB 页面，查看前端展示页面几秒钟之后，我们可以访问Apache Griffin的 UI http://cdh04:8081，其端口号为UI编译后的server.port值。http://cdh04:8081/#/health默认没有密码，是的一定没有密码，首页如下：

五、demo测试

	5.1获取demo数据[root@cdh04 ~]# mkdir -p /usr/griffin/griffin-griffin-0.5.0/data[root@cdh04 ~]# cd $GRIFFIN_HOME/datawget http://griffin.apache.org/data/batch/gen_demo_data.shwget http://griffin.apache.org/data/batch/gen_delta_src.shwget http://griffin.apache.org/data/batch/demo_basicwget http://griffin.apache.org/data/batch/delta_srcwget http://griffin.apache.org/data/batch/delta_tgtwget http://griffin.apache.org/data/batch/insert-data.hql.templatewget http://griffin.apache.org/data/batch/create-table.hql[root@cdh04 data]# chmod 755 *.sh[root@cdh04 data]# ./gen_demo_data.sh查看生成的数据如下：[root@cdh04 data]# head -3 delta_src124|1816|1816124|1583|1583124|1494|1494[root@cdh04 data]# head -3 demo_src0|1|10|2|20|3|3[root@cdh04 data]# head -3 demo_tgt0|1|10|2|20|3|35.2创建 gen-hive-data.sh在$GRIFFIN_HOME/data下创建如Hive数据生成的脚本[root@cdh04 data]# vim gen-hive-data.sh

#!/bin/bash#create table。因为前面已经手动创建，这里注释，不用再次创建了
hive -f create-table.hql
echo "create table done"#current hour
sudo ./gen_demo_data.sh
cur_date=`date +%Y%m%d%H`
dt=${cur_date:0:8}
hour=${cur_date:8:2}
partition_date="dt='$dt',hour='$hour'"
sed s/PARTITION_DATE/$partition_date/ ./insert-data.hql.template > insert-data.hql
hive -f insert-data.hql
src_done_path=/griffin/data/batch/demo_src/dt=${dt}/hour=${hour}/_DONE
tgt_done_path=/griffin/data/batch/demo_tgt/dt=${dt}/hour=${hour}/_DONE
hadoop fs -mkdir -p /griffin/data/batch/demo_src/dt=${dt}/hour=${hour}
hadoop fs -mkdir -p /griffin/data/batch/demo_tgt/dt=${dt}/hour=${hour}
hadoop fs -touchz ${src_done_path}
hadoop fs -touchz ${tgt_done_path}
echo "insert data [$partition_date] done"#last hour
sudo ./gen_demo_data.sh
cur_date=`date -d '1 hour ago' +%Y%m%d%H`
dt=${cur_date:0:8}
hour=${cur_date:8:2}
partition_date="dt='$dt',hour='$hour'"
sed s/PARTITION_DATE/$partition_date/ ./insert-data.hql.template > insert-data.hql
hive -f insert-data.hql
src_done_path=/griffin/data/batch/demo_src/dt=${dt}/hour=${hour}/_DONE
tgt_done_path=/griffin/data/batch/demo_tgt/dt=${dt}/hour=${hour}/_DONE
hadoop fs -mkdir -p /griffin/data/batch/demo_src/dt=${dt}/hour=${hour}
hadoop fs -mkdir -p /griffin/data/batch/demo_tgt/dt=${dt}/hour=${hour}
hadoop fs -touchz ${src_done_path}
hadoop fs -touchz ${tgt_done_path}
echo "insert data [$partition_date] done"#next hours
set +e
while true
dosudo ./gen_demo_data.shcur_date=`date +%Y%m%d%H`next_date=`date -d "+1hour" '+%Y%m%d%H'`dt=${next_date:0:8}hour=${next_date:8:2}partition_date="dt='$dt',hour='$hour'"sed s/PARTITION_DATE/$partition_date/ ./insert-data.hql.template > insert-data.hqlhive -f insert-data.hqlsrc_done_path=/griffin/data/batch/demo_src/dt=${dt}/hour=${hour}/_DONEtgt_done_path=/griffin/data/batch/demo_tgt/dt=${dt}/hour=${hour}/_DONEhadoop fs -mkdir -p /griffin/data/batch/demo_src/dt=${dt}/hour=${hour}hadoop fs -mkdir -p /griffin/data/batch/demo_tgt/dt=${dt}/hour=${hour}hadoop fs -touchz ${src_done_path}hadoop fs -touchz ${tgt_done_path}echo "insert data [$partition_date] done"sleep 3600
done
set -e

	*************************************************************************************注意： 如果演示使用的库不是defalut，需要修改insert-data.hql.template脚本如下。例如使用griffin_demo库时修改为如下LOAD DATA LOCAL INPATH '/usr/griffin/griffin-griffin-0.5.0/data/demo_src' OVERWRITE INTO TABLE griffin_demo.demo_src PARTITION (PARTITION_DATE);LOAD DATA LOCAL INPATH '/usr/griffin/griffin-griffin-0.5.0/data/demo_tgt' OVERWRITE INTO TABLE griffin_demo.demo_tgt PARTITION (PARTITION_DATE);*************************************************************************************5.3 执行脚本加载数据chmod +x gen-hive-data.sh./gen-hive-data.sh加载完成后，往hive表中 griffin_demo.demo_src表和 griffin_demo.demo_tgt 会分别插入375000条数据。5.4 查看数据hive> select * from demo_src limit 3;OK0	1	1	20201114	200	2	2	20201114	200	3	3	20201114	20Time taken: 0.156 seconds, Fetched: 3 row(s)hive> select * from demo_tgt limit 3;OK0	1	1	20201114	200	2	2	20201114	200	3	3	20201114	20Time taken: 0.161 seconds, Fetched: 3 row(s)5.5	使用,测试登陆系统，访问Apache Griffin的 UI http://cdh04:80815.5.1数据资产您可以通过单击右上角的“DataAssets”来检查数据资产。

	5.5.2 创建 measure 单击头部的“Measures”，然后选择“Create Measure”。可以使用该measure来处理数据并获得所需的结果。

---

创建Measures时候分以下四个数据质量模型 1.Accuracy 精确度 ，指对比两个数据集source/target，指定对比规则如大于，小于，等于，指定对比的区间。最后通过job调起的spark计算得到结果集。 2.Data Profiling 数据分析，定义一个源数据集，求得n个字段的最大，最小，count值等等 3. Publish 发布，用户如果通过配置文件而不是界面方式创建了Measure，并且spark运行了该质量模型，结果集会写入到 ES中，通过publish 定义一个同名的Mesaure，就会在界面的仪表盘中显示结果集。 4. json/yaml Mesaure用户自定义的Measure，配置文件也可以通过这个位置定义

---

	 选择我们将用于比较的数据源与字段。选择demo-src

选择我们将用于比较的数据源与字段。选择demo-tgt

Mapping source and target （映射source和target）
“Map To”: 选择source和target匹配的规则。共以下6中选项:

为源数据集和目标数据集设置分区配置。分区大小表示hive数据库最小数据单元，用于分割要计算的数据。条件填写dt=#YYYYMMdd# AND hour=#HH#，Done file 表示done file分区路径的格式。

= : 两列的数据应完全匹配。
!= : 两列的数据应该不同。

: 目标列数据应大于源列数据。
= : 目标列数据应大于或等于源数据。
<: 目标列数据应小于源列数据。
<=: 目标列数据应小于或等于源列数据。
“Source fields”: 选择要与目标列进行比较的源列。

	5.5.3 创建 Job 通过点击 “Jobs”，然后选择 “Create Job”。我们可以定期提交作业以执行测量。 这里没4小时定时执行一次。现在仅支持简单的定期调度工作进行测量。

说明：

Job Name: 设置Job的名字
Measure Name: 要执行的measure的名称，这个是从前面创建的Measure的名字中选择。
Cron Expression: cron 表达式。 For example: 0 0/4 * * * ?
Begin: 数据段开始时间与触发时间的比较
End: 数据段结束时间与触发时间比较。
提交作业后，Apache Griffin将在后台安排作业，计算完成后，您可以监视仪表板以在UI上查看结果。
5.5.4 Metrics 仪表板
点击头部的Health会显示指标数据的热图。
点击右侧的DQ Metrics可以看到指标图标。单击图标可以放大。

总结

1.Griffin 系统主要分为：数据收集处理层（Data Collection&Processing Layer）、后端服务层（Backend Service Layer）和用户界面（User Interface）
2.参考网址
Apache Griffin 数据质量监控工具
官网：http://griffin.apache.org/docs/quickstart-cn.html
官网：github: https://github.com/apache/griffin
参考：https://cwiki.apache.org/confluence/display/GRIFFIN/1.+Overview
测试流数据：http://griffin.apache.org/data/streaming/
测试批数据：http://griffin.apache.org/data/streaming/