切换到root用户

不管哪个系统都直接切换到root用户 权限更高就不用每次都打sudo

sudo su #回车后自己输入密码

装两台虚拟机一台主机一台子机
server端装好进入桌面后首先开ssh权限

vim /etc/ssh/sshd_config

PermitRootLogin 改成yes 允许root用户远程登录

然后重启ssh

systemctl retstart sshd

然后修改root账户密码

passwd root

在其他机器上操作流程也一样
到这里就可以用Xshell连接虚拟机root账户了

安装VMtool

找个地方新建vmtools文件夹，我在home文件夹下建的
红框框起来的是重点语句 其他不要看，学会善用ls

更换软件源

//阿里源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse

Ubuntu 的源存放在在 /etc/apt/ 目录下的 sources.list 文件中，修改前我们先备份，在终端中执行以下命令：

sudo cp /etc/apt/sources.list /etc/apt/sources.list.bcakup

然后执行下面的命令打开 sources.list 文件，清空里面的内容，把上面阿里云源复制进去，保存后退出。

vi命令下清空所有行

1. 用vi打开文件后 直接输入gg进到第一行
2. 按下d，然后输入G（切成大写）回车，此时内容被全部清楚
3. 现在可以按i进入编辑模式了

sudo gedit /etc/apt/sources.list

接着在终端上执行以下命令更新软件列表，检测出可以更新的软件：

sudo apt-get update

最后在终端上执行以下命令进行软件更新：

sudo apt-get upgrade

桌面端安装SSH

首先通过apt安装ssh

apt-get install openssh-server

装完ssh记得启动

注：重启命令与关闭命令如下：

/etc/init.d/ssh restart   #重启SSH服务
/etc/init.d/ssh stop      #关闭SSH服务

安装vsftpd

apt-get install vsftpd

apt-get install ftp

设置参数

vim /etc/vsftpd.conf

添加参数如下

anonymous_enable=YES #这里记得删掉anonymous_enable=NO
anon_root=/opt/ftp
no_anon_password=YES
chroot_local_user=YES
allow_writeable_chroot=YES
userlist_enable=YES
userlist_deny=NO
userlist_file=/etc/vsftpd.user_list
write_enable=YES

做个记录
我填的时候一个变量填错了
查了半天
最后用vsftpd /etc/vsftpd.conf &找到问题

ftp

apt-get install vsftpd

apt-get install ftp

添加允许的账户

vim /etc/vsftpd.user_list

开机启动vsftpd

systemctl enable vsftpd.service

重启vsftpd

systemctl restart vsftpd.service

ftp测试

1.创建目录和设置目录权限

mkdir /opt/ftp

echo "test" > /opt/ftp/test

chmod 755 -R /opt/ftp

2.查看ftp基本命令

登录vsftpd，我直接用第一个jin
测试成功

安装mysql

1.安装Mysql-Client

apt-get install mysql-client

2.安装Mysql-Server

apt-get install mysql-server

3.修改Mysql-server参数

vim /etc/mysql/mysql.conf.d/mysqld.cnf

添加如下参数

default-storage-engine = innodb
innodb_file_per_table
collation-server = utf8_general_ci
init-connect = 'SET NAMES utf8'
character-set-server = utf8

如图

4.设置开机启动服务

systemctl enable mysql.service

5.启动Mysql服务

systemctl start mysql.service

6.初始化Mysql

mysql_secure_installation

密码我设成root

给Mysql的root用户授权，允许访问所有数据库和远程访问

grant all on *.* to root@'%' identified by 'root' with grant option;

grant all on *.* to root@'%' identified by 'root' with grant option;

这样就能用Navicat远程连接了

Hadoop集群部署

修改主机名字和ip映射

• 修改主机名字 主机改成master 其他改成slave1、slave2以此类推

vim /etc/hostname

• 修改ip映射

vim /etc/hosts

不管多少台 每台都要这样写

这里的ip是每个人都不一样的，一定要注意ip和主机名对应，不知道的用ifconfig命令查询主机ip

然后重启一下才能在终端看到机器名的变化

reboot

测试能否互相ping通 能看到消息就直接Ctrl+C结束

注意master和slave都要创建hadoop！

1.各集群节点创建用户hadoop

groupadd -g 730 hadoop

useradd -u 730 -g 730 -m -s /bin/bash hadoop

2.添加用户hadoop到用户组sudo

gpasswd -a hadoop sudo

3.设置用户hadoop的密码

passwd hadoop

4.证书操作

ssh-keygen -t rsa

5.复制公钥到各集群节点

ssh-copy-id -i .ssh/id_rsa.pub slave1

测试登录

ssh slave1

安装Hadoop

用Xftp传到opt目录下

切换到hadoop用户下

su hadoop

解压文件
同理把jdk和eclipse一起解压出来

把圈起来的三个包删掉

修改文件属性

sudo chown -R hadoop:hadoop jdk1.8.0_241 hadoop-2.7.3

然后修改hadoop-env.sh文件

export JAVA_HOME=${JAVA_HOME}

改成

export JAVA_HOME=/opt/jdk1.8.0_241

修改core-site.xml文件
因为vim格式不太方便所以这里用gedit
下面几个文件都是修改<configuration></configuration>中的东西

sudo gedit core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/hadoop-2.7.3/tmp</value></property>
</configuration>

修改hdfs-site.xml

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/opt/hadoop-2.7.3/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/opt/hadoop-2.7.3/dfs/data</value></property><property><name>fs.checkpoint.dir</name><value>/opt/hadoop-2.7.3/dfs/namesecondary</value></property><property><name>dfs.block.size</name><value>134217728</value></property><property><name>dfs.namenode.handler.count</name><value>20</value></property><property><name>dfs.permissions</name><value>false</value></property>
</configuration>

修改mapred-site.xml
如果没找到这个文件ls看一下，然后改名

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property>
</configuration>

修改yarn-site.xml

<configuration><property><name>yarn.resourcemanager.hostname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

修改slaves文件

vim slaves

slave节点安装软件

以用户hadoop登录slave1节点

su hadoop

sudo scp -r hadoop@master:/opt/* /opt

然后会让你输入主机和子机的密码 接下来就开始传输了

传完后ls
把eclipse文件夹删掉

sudo rm -rf eclipse

然后给文件夹提权

sudo chown -R hadoop:hadoop /opt/*

各集群节点设置环境变量

vim /home/hadoop/.profile

添加以下内容

export JAVA_HOME=/opt/jdk1.8.0_241
export HADOOP_HOME=/opt/hadoop-2.7.3
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

执行以下命令更新配置文件

source /home/hadoop/.profile

Master节点启动Hadoop服务

Namenode格式化

hdfs namenode -format

到关键的一步了

直接一键启动全部

start-all.sh

启动HistoryServer

mr-jobhistory-daemon.sh start historyserver

输入jps查看


算上jps的话master上一共5个进程，slave1上3个进程

用hdfs dfsadmin -report查看Live DataNode数量

如过存活数量为0那就是有问题

我百度了半天发现slave1的/etc/hosts下的ip映射没设置搞了半天

还等什么赶紧拍个快照啊tm的太难了

访问一下几个网址看看 我就不访问了

master:50070
master:50090
master:8088
master:19888

安装eclipse

之前已经在opt解压过了所以现在直接用

第一步先把hadoop-eclipse-plugin-2.6.0.jar传到eclipse下plugins目录下

提权

chown -R hadoop:hadoop /opt/eclipse /opt/hadoop* /opt/jdk*

切换到hadoop用户运行eclipse

出了点问题- -

这是因为Xserver默认情况下不允许别的用户的图形程序的图形显示在当前屏幕上. 如果需要别的用户的图形显示在当前屏幕上, 则应以当前登陆的用户, 也就是切换身份前的用户(不是hadoop用户，是root用户)执行如下命令。

解决方法