CentOS7常见软件安装和SSH免密通信
CentOS 7 基础环境配置常用工具安装与 SSH 免密登录在完成阿里云镜像源替换后yum 安装速度大幅提升。接下来我们为集群节点安装一组必备工具并配置 SSH 免密登录为后续分布式协作打下基础本文以三节点 hadoop01/02/03 为例。一、常用组件安装配置好国内镜像源后可以直接使用yum快速安装以下高频工具。工具功能说明安装命令vim增强版文本编辑器支持语法高亮替代默认 viyum -y install vimlrzsz基于 Zmodem 协议在终端中上传/下载小文件yum -y install lrzsztree以树状图递归展示目录结构比ls -R更直观yum -y install treenet-tools网络工具包包含ifconfig、netstat等经典命令yum -y install net-toolsmariadbMySQL 的开源分支CentOS 7 默认关系型数据库常作为 Hive 元数据库yum -y install mariadb关于 MariaDB自 CentOS 7 起系统默认用 MariaDB 替代传统 MySQL。它与 MySQL 高度兼容但不受 Oracle 闭源风险影响在 Hadoop 生态中常用于存储 Hive 元数据。二、SSH 免密登录配置1. 为什么需要免密登录Hadoop、Spark 等分布式框架的主节点需要频繁通过 SSH 连接从节点启动或停止服务。如果每次都要手动输入密码脚本自动化将无法进行。但完全无密码的远程访问也存在安全隐患。解决方案使用非对称加密实现免密登录 —— 只在需要主动发起 SSH 的一方配置私钥被连接方存放对应公钥兼顾便捷与安全。2. 公钥认证原理简述客户端生成一对密钥公钥(id_rsa.pub) 和私钥(id_rsa)。将公钥复制到服务端的~/.ssh/authorized_keys文件中。客户端发起 SSH 连接时自动用私钥与服务器上的公钥进行匹配验证匹配成功则无需密码即可登录。本次规划在 hadoop01主节点上生成密钥并将公钥分别分发至 hadoop01 自身、hadoop02、hadoop03实现从 hadoop01 免密访问三台机器。3. 操作步骤① 生成密钥对在 hadoop01 执行ssh-keygen连续按两次回车使用默认路径和空密码生产环境建议设置复杂密码。生成成功后~/.ssh/目录下会多出两个文件id_rsa私钥妥善保管id_rsa.pub公钥需要分发出去的② 分发公钥到目标机器向 hadoop02 分发ssh-copy-id hadoop02按提示输入 hadoop02 的 root 密码若最后一行显示Number of key(s) added: 1即代表成功。向 hadoop03 分发ssh-copy-id hadoop03向 hadoop01 自身分发重要主节点也需要能免密连接自己否则某些集群脚本启动时会报权限错误。ssh-copy-id hadoop01三台机器间的互相访问通常需要实现“双向免密”但根据最小权限原则我们可以只让 hadoop01 单向免密登录其他节点包括自身。如果你的场景需要其他节点也能免密连接到别的主机可以按相同方式在对应节点上生成密钥并分发。③ 验证免密效果在 hadoop01 上执行sshhadoop02若直接切换到 hadoop02 的命令行前缀变为[roothadoop02 ~]#则说明免密登录生效。此时运行ip a可以看到 IP 已变为 hadoop02 的地址。退出 hadoop02 回到 hadoop01exit用同样方式验证 hadoop03 和 hadoop01 自身sshhadoop03# 测试后退出sshhadoop01# 测试后退出至此SSH 免密配置完成。三、小结通过 yum 安装常用工具可以大幅提升 Linux 环境下的操作与排错效率。SSH 免密登录是分布式集群互信的基础理解公钥/私钥机制有助于灵活控制多节点访问关系。建议只在确实需要主动发起连接的主机上配置私钥避免公私钥泛滥带来安全风险。后续便可以开始部署 Hadoop、Spark 等分布式组件享受免密切换节点的便捷。

相关新闻

Linux驱动开发面试核心要点与实战解析

Linux驱动开发面试核心要点与实战解析

1. Linux驱动开发面试核心要点解析 作为在Linux驱动开发领域摸爬滚打多年的老手,我深知面试官最关注哪些技术细节。不同于普通开发岗位,驱动工程师需要同时掌握底层硬件交互和内核机制,这对知识体系的完整性提出了更高要求。下面就从实际工程…

2026/7/19 3:48:10 阅读更多 →
技术人必备AI写作利器:DeepL Write深度评测与高效使用指南

技术人必备AI写作利器:DeepL Write深度评测与高效使用指南

前言 在技术开发与知识分享的日常中,我们往往将大量精力投入在代码实现与模型调优上,却容易忽视技术文档、论文摘要或项目汇报的文字表达。清晰的逻辑需要精准的语言来承载。如今,AI 工具已从单一的代码辅助延伸至全链路生产力提升。从模型部…

2026/7/19 3:48:10 阅读更多 →
机器学习生产化实战:从模型部署到MLOps全链路加固

机器学习生产化实战:从模型部署到MLOps全链路加固

1. 项目概述:当模型走出Jupyter,真正开始呼吸真实世界空气“From Notebook to Production: Running ML in the Real World (Part 4)”——这个标题本身就像一句暗号,专为那些在Jupyter里调通了模型、画出了漂亮ROC曲线、却在部署时被现实迎面…

2026/7/19 3:48:09 阅读更多 →

最新新闻

深入解析DDR PHY Pad校准:从原理到AM62L寄存器实战

深入解析DDR PHY Pad校准:从原理到AM62L寄存器实战

1. 深入理解DDR PHY与Pad校准:高速信号完整性的基石在嵌入式系统,尤其是像AM62L这类面向工业与汽车应用的高性能处理器设计中,DDR内存接口的稳定性是系统能否可靠工作的生命线。我们常说的“系统跑飞了”、“数据读写错误”,很多时…

2026/7/19 6:09:28 阅读更多 →
Python+SQL实现数字化员工福利数据分析与优化全流程

Python+SQL实现数字化员工福利数据分析与优化全流程

数字化员工福利集采正成为企业提升员工满意度和优化成本结构的重要抓手。传统福利管理往往依赖经验决策,缺乏数据支撑,导致资源分配不均、利用率低下。通过数据分析与优化技术,企业能够将福利采购从"凭感觉"转变为"靠数据&quo…

2026/7/19 6:09:28 阅读更多 →
C++位运算深度解析:从基础原理到底层优化实战

C++位运算深度解析:从基础原理到底层优化实战

1. 项目概述&#xff1a;为什么C程序员绕不开位运算&#xff1f;如果你写过一段时间的C&#xff0c;尤其是在处理底层系统、嵌入式开发、网络协议或者性能优化相关的代码时&#xff0c;大概率会碰到一些看起来“神秘”的符号&#xff1a;&、|、^、~、<<、>>。这…

2026/7/19 6:09:28 阅读更多 →
PhotoGIMP:为Photoshop用户设计的GIMP界面优化方案

PhotoGIMP:为Photoshop用户设计的GIMP界面优化方案

第一次打开 GIMP 时&#xff0c;很多从 Photoshop 转过来的用户都会愣住&#xff1a;工具栏怎么在右边&#xff1f;快捷键怎么全变了&#xff1f;界面布局感觉哪里不对劲。这种不适感往往让人想直接关掉软件&#xff0c;回到熟悉的 Photoshop 环境。但如果你真的需要一款免费、…

2026/7/19 6:09:28 阅读更多 →
Windows键盘终极重映射指南:用SharpKeys打造你的专属键盘布局

Windows键盘终极重映射指南:用SharpKeys打造你的专属键盘布局

Windows键盘终极重映射指南&#xff1a;用SharpKeys打造你的专属键盘布局 【免费下载链接】sharpkeys SharpKeys is a utility that manages a Registry key that allows Windows to remap one key to any other key. 项目地址: https://gitcode.com/gh_mirrors/sh/sharpkeys…

2026/7/19 6:09:28 阅读更多 →
初来乍到,多多指教

初来乍到,多多指教

我的第一篇博客 大家好&#xff0c;我是余笙&#xff0c;一名准大一新生。这个博客是我编程学习之旅的起点&#xff0c;想在这里记录自己的成长、学习过程中遇到的疑问与思考。 关于我 录取通知书还没下&#xff0c;不过我的专业大概率与计算机相关。我从小就对计算机世界感到好…

2026/7/19 6:08:28 阅读更多 →

日新闻

Go语言静态资源打包方案对比与实践指南

Go语言静态资源打包方案对比与实践指南

1. 项目背景与核心需求在Go语言开发中&#xff0c;我们经常需要处理静态资源文件的打包问题。无论是Web应用的模板文件、前端资源&#xff0c;还是配置文件、证书等&#xff0c;都需要随程序一起分发。传统做法是将这些文件与编译后的二进制文件放在同一目录下&#xff0c;但这…

2026/7/19 0:00:40 阅读更多 →
Go语言实现高性能LDAP认证服务的架构与实践

Go语言实现高性能LDAP认证服务的架构与实践

1. 项目背景与核心价值LDAP&#xff08;轻量级目录访问协议&#xff09;作为企业级身份认证的黄金标准&#xff0c;已经服务了超过80%的财富500强公司。我在金融科技领域实施统一认证体系时&#xff0c;发现传统Java方案存在启动慢、内存占用高等痛点。而Go语言凭借其协程并发模…

2026/7/19 0:00:40 阅读更多 →
【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;AI面试官实战指南的核心价值与适用场景 AI面试官并非替代人类HR的“黑箱工具”&#xff0c;而是以可解释、可审计、可迭代的方式&#xff0c;赋能招聘全链路的关键基础设施。其核心价值在于将主观经验沉…

2026/7/19 0:00:40 阅读更多 →

周新闻

Go语言静态资源打包方案对比与实践指南

Go语言静态资源打包方案对比与实践指南

1. 项目背景与核心需求在Go语言开发中&#xff0c;我们经常需要处理静态资源文件的打包问题。无论是Web应用的模板文件、前端资源&#xff0c;还是配置文件、证书等&#xff0c;都需要随程序一起分发。传统做法是将这些文件与编译后的二进制文件放在同一目录下&#xff0c;但这…

2026/7/19 0:00:40 阅读更多 →
Go语言实现高性能LDAP认证服务的架构与实践

Go语言实现高性能LDAP认证服务的架构与实践

1. 项目背景与核心价值LDAP&#xff08;轻量级目录访问协议&#xff09;作为企业级身份认证的黄金标准&#xff0c;已经服务了超过80%的财富500强公司。我在金融科技领域实施统一认证体系时&#xff0c;发现传统Java方案存在启动慢、内存占用高等痛点。而Go语言凭借其协程并发模…

2026/7/19 0:00:40 阅读更多 →
【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

【AI面试官实战指南】:用ChatGPT模拟10类高频技术岗面试,3天提升应答精准度92%

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;AI面试官实战指南的核心价值与适用场景 AI面试官并非替代人类HR的“黑箱工具”&#xff0c;而是以可解释、可审计、可迭代的方式&#xff0c;赋能招聘全链路的关键基础设施。其核心价值在于将主观经验沉…

2026/7/19 0:00:40 阅读更多 →

月新闻