大数据比赛需要用到的命令
1.修改主机名
在master执行
hostnamectl set-hostname master
立即生效:
bash
修改slave1和slave2的
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2
2.配置本地源
将本地源文件下载到/etc/yum.repos.d/目录下或者已有本地源,可以不做这一部分
进入yum源配置文件
cd /etc/yum.repos.d
删除所有文件
rm -rf *
下载yum源或者本地已有源
wget http://ip地址/bigdata.repo
清除YUM缓存
yum clean all
配置hosts文件
根据赛题设置为master、slave1、slave2。
vim/etc/hosts
ip1 master
ip2 slave1
ip3 slave2
3.关闭防火墙
systemctl stop firewalld
查看状态
systemctl status firewalld
4.时间同步
echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile && source /etc/profile
查看时区 timedatectl | grep "Time zone"
5.安装ntp
yum install -y ntp
master作为ntp服务器
修改ntp配置文件
屏蔽掉默认的server,设置master作为时钟源,设置时间服务器的层级为10。
vim /etc/ntp.conf
#注释掉server 0 ~ n,新增
server 127.127.1.0
fudge 127.127.1.0 stratum 10
重启ntp服务(master上执行)
/bin/systemctl restart ntpd.service
slave1,slave2操作
ntpdate master
6.制作定时任务
crontab -e
输入i
添加定时任务
*/30 8-17 * * */usr/sbin/ntpdate master 早8晚五时间段每隔半个小时同步
*/10 * * * */usr/sbin/ntpdate master 每隔10分钟同步一次
*/30 10-17 * * */usr/sbin/ntpdate master 早十晚五时间段每隔半个小时同步
查看定时任务列表
crontab –l
7.配置ssh免密
在master上执行如下命令生成rsa或者dsa公私密钥:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
或者
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
公钥文添加到授权文件
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
或者
cat /root/.ssh/id_dsa.pub >> /root/.ssh/authorized_keys
授权文件发送到slave1,slave2
scp ~/.ssh/authorized_keysroot@slave1:~/.ssh/
scp ~/.ssh/authorized_keysroot@slave2:~/.ssh/
8.java jdk安装
建立工作路径/usr/java
mkdir -p /usr/java
cd /usr/java
下载java安装包(master上执行)或按比赛提示进入相应安装包
wget http://ip/bigdata/bigdata_tar/jdk-8u171-linux-x64.tar.gz
tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/java/
rm -rf /usr/java/jdk-8u221-linux-x64.tar.gz
修改环境变量:
vim/etc/profile
添加内容如下:
export JAVA_HOME=/usr/java/jdk1.8.0_221
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
生效环境变量:
source /etc/profile
查看 java 版本:
java -version
在 master 中将安装好的 JDK 复制到 slave1 和 slave2 中
scp -r /usr/java root@slave1:/usr/
scp -r /usr/java root@slave2:/usr/
基础环境运维完毕。