大数据Hadoop运维应用实践——通过Ambari自动化部署hadoop集群上https://blog.csdn.net/xiaochenXIHUA/article/details/163052607一、在Ambari Web管理界面创建hadoop集群在浏览器打开Ambari Web管理界面登录然后点击左侧的【Cluster Information】打开对应的界面点击【LAUNCH INSTALL WIZARD】进行创建hadoop集群详细操作如下1.1、Get Started界面配置Get Started界面输入hadoop集群的自定义名称如ckbigdata后点击右下角的【NEXT】按钮。1.2、Select Version界面配置Select Version界面选择版本使用默认的【HDP-3.1】即可然后选中【Use Local Repository】并配置使用本地仓库的地址内容在配置前需要将其他系统的选项点击右侧的【-Remove】移除掉只保留与当前系统一致的版本【redhat7】并配置上对应的参数最后点击右下角的【NEXT】。redhat7的选项配置的参数HDP-3.1http://192.168.1.119/soft/hdpsoft/HDP/centos7/3.1.4.0-315/HDP-3.1-GPLhttp://192.168.1.119/soft/hdpsoft/HDP-GPL/centos7/3.1.4.0-315/HDP-UTILS-1.1.0.22http://192.168.1.119/soft/hdpsoft/HDP-UTILS/centos7/1.1.0.22/1.3、Install Options界面配置Install Options界面的Target Hosts下配置hadoop集群的主机名称如nnmaster.hdp、yarn.hdp、slave01.hdp注意一个主机名称一行这里只用三个节点留着最后一个节点用于后续扩容使用然后将中控机如192.168.1.119的私钥cd ~/.ssh/目录下的id_ed25519上传到“Host Registration Information”下面并且设置用户名root与端口22222最后点击右下角的【REGISTER AND CONFIRM】按钮进行注册并确认如下图所示1.4、Confirm Hosts界面配置Confirm Hosts界面等待配置安装完成全部显示 Success后点击【NEXT】。注意若Confirm Hosts界面的服务器节点安装状态status一直显示Preparing超过5分钟则不正常按照如下方法排查解决#解决Confirm Hosts界面主机的status超过5分钟还在显示Preparing【排除网络、防火墙、端口问题后、则是节点已有旧 ambari-agent 残留冲突旧 agent 进程占用端口、文件锁导致推送卡死】 #1-在ambari server端口查看日志定位故障原因 tail -f /var/log/ambari-server/ambari-server.log #1.2在卡住的节点执行 tail -f /var/log/ambari-agent/ambari-agent.log #2-所有节点执行卸载清理 systemctl stop ambari-agent yum remove -y ambari-agent rm -rf /var/lib/ambari-agent* /etc/ambari-agent* /var/log/ambari-agent /tmp/ambari* rm -rf /var/cache/yum/* yum clean all #3-重置 ambari-server 服务 ambari-server stop ambari-server reset ambari-server setup #3.1-首先输入【y】接着输入自定义的管理ambari-server的用户【ambari】; #3.2-接着输入【2】选择自定义的JDK然后输入JAVA_HOME目录【/opt/openjdk/default】 #3.3-接着输入【y】下载安装 GPL Licensed LZO packages #3.4-接着输入【y】进行数据库的高级配置输入【3】表示选择mysql或mariadb数据库然后按下4次Enter键保持主机名称、端口、数据库名称、用户名称默认值、然后输入刚才配置的密码qwer1234后按下Enter键 #3.5-接着输入【y】表示ambari使用的jdbc驱动包/usr/share/java/mysql-connector-java.jar存在 #3.6-接着复制下【/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql】用于后续启动Ambari-server前执行该脚本进行数据库初始化操作然后输入【y】等待高级配置完成 #3.7-进入数据库执行【/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql】初始化数据初始化时不能有任何错误否则需要将ambari库删除后重新创建再次执行初始化 mysql -uroot -p show databases; drop database ambari; CREATE DATABASE IF NOT EXISTS ambari DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci; use ambari; source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql; quit ambari-server start #3-重启所有服务器之后登录到ambari web界面重新配置 reboot now1.5、Choose Services界面配置Choose Services界面按照基础性原则只勾选必须的服务后续可以按需求再次安装所需的服务即可最后点击【NEXT】按钮。Choose Services界面的必须安装服务YARN MapReduce2ZooKeeperAmbari MetricsSmartSense该组件是免费试用组件过期后需订阅购买服务后续可以直接卸载掉1.6、Assign Masters界面配置Assign Masters界面主要是配置指定组件运行在哪些节点上分配完成后点击右下角的【NEXT】按钮。Assign Masters组件说明SNameNodeSNameNode是定时备份NameNode的元数据不能与NameNode同属一台服务器必须分开NameNode主节点选择【nnmaster.hdp】节点Timeline Service V1.5是计算相关的服务因此必须选择【yarn.hdp】节点ResourceManager资源管理服务选择【yarn.hdp】节点Timeline Service V2.0 Reader是计算相关的服务因此必须选择【yarn.hdp】节点YARN Registry DNSYarn的注册的DNS服务因此必须选择【yarn.hdp】节点History Server历史记录服务选择【yarn.hdp】节点ZooKeeper Server必须是基数个节点配置目前只有3个节点因此每个节点都部署一个ZooKeeper Server服务即可Metrics Collector数据收集服务选择【nnmaster.hdp】节点Grafana数据的图形化展示界面选择【nnmaster.hdp】节点Activity Analyzer活动分析服务选择【nnmaster.hdp】节点Activity Explorer活动资源管理服务选择【nnmaster.hdp】节点HST Server默认择选择【nnmaster.hdp】节点1.7、Assign Slaves and Clients界面配置Assign Slaves and Clients界面是分配从节点与客户端角色分配完成后点击右下角的【NEXT】按钮。Assign Slaves and Clients分配节点角色说明nnmaster.hdp主节点不用勾选任何内容yarn.hdp勾选【Client】slave01.hdp用于存储于计算勾选【DataNode】【NodeManager】1.8、Customize Services界面配置Customize Services界面配置相关服务的账户密码、数据存储路径、各类服务用户、配置等内容Customize Services界面配置服务说明Grafana Admin数据可视化界面的管理员账号密码配置如账号admin、密码qazxc123Activity Explorers Admin活动资源管理器的管理员密码配置如密码qazxc123DIRECTORIESHDFS下的目录配置DATA DIRS数据节点目录存储hdfs块数据用两块磁盘存储/data/hadoop/hdfs/data,/data1/hadoop/hdfs/dataNameNode directoriesnamnode的元数据目录用两块磁盘可互为备份/data/hadoop/hdfs/namenode,/data1/hadoop/hdfs/namenodeSecondaryNameNode Checkpoint directories本地文件系统中存储待合并临时镜像文件的目录路径/data/hadoop/hdfs/namesecondaryNFSGateway dump directoryNFS网关目录本文这里没有用到保持默认即可NameNode Backup directoryNamenode的备份目录保持默认即可JournalNode Edits directory/data1/hadoop/hdfs/journalnodeNameNode Checkpoint Edits directory保持默认即可。LOG DIRS保持默认即可。PID DIRS保持默认即可。YARN目录配置YARN NodeManager Local directoriesYarn节点管理的本地目录/data/hadoop/yarn/local,/data1/hadoop/yarn/localYARN NodeManager Log directoriesYarn节点管理的日志目录/data/hadoop/yarn/log,/data1/hadoop/yarn/log其他内容保持默认即可MAPREDUCE2目录配置都保持默认配置即可ZOOKEEPER目录配置ZooKeeper directory/data1/hadoop/zookeeper其余保持不变AMBARI METRICS目录配置保持默认的目录内容即可ACCOUNTS各类服务配置了不同的账号精细化管理直接保持默认的配置即可ALL CONFIGURATIONSHDFS--SETTINGS配置NameNode Java heap size:一般配置为当前总内存50%-60%DataNode maximum Java heap size一般配置为当前总内存的20%-30%YARN--SETTINGS配置Memory--NodeNode节点提供给nodemanager的可用内存一般是总内存的60%Memory--Container最小内存一般是可用内存的10%CPU--Node可用CPU的70%-80%核心数为总核心75%CPU--Container最小核心数为可用CPU核心数的0.33%MAPREDUCE2--SETTINGS配置Map Memory配置当前可用存储的20%-30%Reduce Memory是Map Memory的2倍ZOOKEEPER、AMBARI METRICS、SMARTSENSE、MISC选项保持默认配置即可1.9、Review界面确认Review界面浏览配置的内容是否符合要求没有问题就直接点击右下角的【DEPLOY】按钮后等待安装完成后最后点击【COMPELETE】按钮即可。注意在安装时必须是所有节点都Success若不是Success则点击右上角的【RETRY】重试直到都是Success为止。二、Ambari Web管理界面添加节点或服务2.1、Ambari Web管理界面添加节点点击左上角的【Hosts】然后在主机管理界面右上角选择【ACTIONS--Add New Hosts】打开添加主机界面然后在【Target Hosts】下的输入框输入需添加的主机名称如slave02.hdp接着在Host Registration Information下勾选Provide your SSH Private Key to automatically register hosts然后点击【CHOOSE FILE】上传可访问到该节点的私钥然后输入ssh的用户root与端口22222最后点击右下角的【REGISTER ADN CONFIRM】按钮如下图所示2.2、Ambari Web管理界面添加服务点击左上角的Services--...--Add Services即可打开添加服务界面勾选需要添加的服务然后点击右下角的【NEXT】按钮操作即可。