第5章 SparkSQL实验2

实验一：使用DataFrame分析出租车的 GPS信息
【实验名称】 使用DataFrame分析出租车的 GPS信息
【实验目的】
掌握DataFrame的常用操作
【实验原理】
现有某地区出租车 GPS 定位数据 taxi.csv，部分数据见下图：
1 30.624806 104.136604 211846
1 30.624809 104.136612 211815
1 30.624811 104.136587 212017
1 30.624811 104.136596 211916
1 30.624811 104.136619 211744
数据一共分为 4 列，每一列含义如下表所示：
编号（id） 纬度（lat） 经度（lon） 时间戳（time）
根据上述条件，结合课堂上学习的“DataFrame的常用操作”相关知识，编写代码实现如下要求：
1、查询编号为 5 的出租车的 GPS 数据的前 10 行。
输出如下打印：

2、统计出租车的总数有多少。

3、分别统计每辆出租车的 GPS 点记录有多少条

如果要排序，分两个步骤

4、查找出各个地点（经度(截取小数点后3位)、维度(截取小数点后3位)），出现次数最多的出租车。

5.查找出各个地点（经度(截取小数点后3位)、维度(截取小数点后3位)），出现次数TOP 3的出租车

【实验环境】
操作系统：Ubuntu 16.04
Spark：Spark2.x
PyCharm
【实验步骤】
自行开发实现。
【实验要求】
一、实验报告要求：
（1）代码，以“xyz_taxi.py”命名的py文件。Xyz表示自己名字的拼音
（2）截图

实验二：使用SparkSQL分析图书信息
【实验名称】 使用SparkSQL分析图书信息
【实验目的】
掌握SparkSQL的常用操作
【实验原理】
现有图书数据book.txt，数据内容举例如下：
40332,简爱,8.8 ,29.80元,上海世界图书出版公司,https://book.douban.com/subject/
数据一共分为 6列，列与列之间以逗号（,）分割，每一列含义如下表所示：
序号 书名 评分 价格 出版社 url

【实验环境】
操作系统：Ubuntu 16.04
Spark：Spark2.x
pyspark
【实验步骤】
请按下面的提示,自行书写语句实现：
（1）创建RDD

（2）将RDD转为DataFrame

（3）调用registerTempTable，注册为表，表名为：tb_book

（4）使用使用sql语句查询前15条

（5）模糊查询书名包含“微积分”的书

（6）输出图书的前10行的name和price字段信息

（7）统计书名包含“微积分”的书的数量

（8）查询评分大于9的图书，，且只展示前10条

（9）计算所有书名包含“微积分”的评分平均值

（10）把书目按照评分从高到低进行排列，且只展示前15条

（11）把图书按照出版社进行分组，统计出不同出版社图书的总数