blog/_hadoop的使用.md

title	tags	categories	date
hadoop的使用	default	default	2022-04-08 10:39:43

什么是hadoop

分布式大数据平台

hadoop组件

• hdfs -- 分布式文件系统
• have -- 数据仓库
• HBase -- 分布式数据库

hadoop的搭建

master ---主要节点 -- 内存4500MB --cpu一个 -- 硬盘40Gb -- ip地址 10.0.0.100

slave --- 从节点 --内存 2500MB --cpu一个 --硬盘40Gb -- ip地址 10.0.0.200

systemtcl stop firewalled &&  systemtcl disable firewalled关闭防火墙
/etc/selinux/config  关闭linux
setenforce 0 刷新配置文件
/etc/hosts 本地host文件
/etc/ntp.conf 时间配置文件
scp source目录 用户名@ip：源文件目录 # 远程copy文件

ntpdate # 修改时间的工具
ntp1.aliyun.com 阿里时间服务器
ntpdate ntp1.aliyun.com 配置时间服务器
clock -w 保存当前时间

修改主机名

hostnamectl set-hostname 主机名
bash #刷新

任务计划

crontab -e 书写任务计划
crontab -l 查询任务计划
*/1 * * * * /sbin/ntp
systemctl restart crond 重启计划任务
PATH=$JAVA_HOME/bin:$PATh

设置本地yum源

/etc/yum.repo.d

[hadoop]
name=hadoop
baseurl=file:///
enable=1
gpgcheck=1


yum respse-list  查看yun源

09:52
Absinthe
任务计划   crontab -e 书写任务计划
           crontab -l 查询任务计划

           ntpdate

*/1 * * * * /sbin/ntpdate s1 >> /var/log/ntpdate.log


hadoop java  ---jdk






mariadb mariadb-server mysql-connector-java
ambari-server


create database ambari;   ---创建一个库

grant all privileges on ambari.* to 'ambari'@'localhost' identified by 'bigdata';

---为数据库创建一个用户 ambari 密码为 bigdata
grant all privileges on ambari.* to 'ambari'@'%' identified by 'bigdata';
---把权限交给ambari