一、实验基本信息实验名称CDH集群部署与Kafka服务集成实验时长6课时实验对象大数据专业大三学生前置要求掌握Linux基本操作、Hadoop基础原理实验目的理解CDH的核心概念与优势，对比社区版Hadoop的差异掌握CDH完全分布式集群的完整部署流程熟练使用Cloudera Manager管理控制台进行集群管理能够完成CDH集群服务的添加与配置（以Kafka为例）具备CDH集群常见故障的排查与解决能力实验环境节点名称IP地址配置要求部署角色cdhmaster192.168.9.233内存≥6G，硬盘≥50GCloudera Manager Server、HMaster、NameNodecdhslave01192.168.9.234内存≥4G，硬盘≥50GHRegionServer、DataNode、Kafka Brokercdhslave02192.168.9.235内存≥4G，硬盘≥50GHRegionServer、DataNode、Kafka Broker软件版本要求：操作系统：CentOS 7.3JDK版本：1.8.0_171Cloudera Manager版本：5.14.0CDH版本：5.9.0Kafka版本：2.0.2预习要求复习Linux系统下防火墙关闭、主机名配置、SSH免密登录的操作方法了解MySQL数据库的基本安装与授权操作预习CDH的基本架构，理解Cloudera Manager的作用提前下载所有实验所需的安装包到本地二、核心概念解释1. CDH是什么？CDH（Cloudera Distribution Hadoop）是Cloudera公司基于Apache Hadoop生态进行二次开发的商业发行版，解决了社区版Hadoop组件版本不兼容、部署复杂、运维困难等问题。通俗理解：社区版Hadoop就像组装电脑，需要自己购买各个配件，还要解决兼容性问题；CDH就像品牌整机，所有组件都已经过兼容性测试，一键安装即可使用。2. Cloudera Manager是什么？Cloudera Manager是CDH提供的集群管理工具，提供可视化Web界面，实现集群的自动化安装、配置管理、监控告警、服务扩容等功能，大幅降低Hadoop集群的运维难度。核心作用：把原本需要在多台服务器上手动执行的命令操作，变成在Web页面上点击按钮即可完成。3. Parcel包是什么？Parcel是CDH特有的软件包格式，包含了编译好的可执行程序、配置文件、依赖库等，支持跨节点分发、版本管理和在线升级，比传统的RPM包更适合分布式集群部署。4. CSD文件是什么？CSD（Cloudera Service Descriptor）是服务描述文件，用于告诉Cloudera Manager如何安装、配置、管理第三方服务（如Kafka、Spark等），是扩展CDH服务能力的关键文件。三、详细实验步骤第一部分：前期环境准备（所有节点都要执行）步骤1：修改主机名操作目的：让集群节点之间可以通过主机名互相识别操作命令：# 在cdhmaster节点执行hostnamectl set-hostname cdhmaster# 在cdhslave01节点执行hostnamectl set-hostname cdhslave01# 在cdhslave02节点执行hostnamectl set-hostname cdhslave02操作验证：执行hostname命令，显示对应主机名即为成功。步骤2：关闭防火墙和SELinux操作目的：避免网络端口被拦截，导致集群节点间通信失败操作命令：# 停止防火墙服务systemctl stop firewalld# 禁止防火墙开机启动systemctl disable firewalld