1. 环境准备与源码获取大家好我是老张在数据治理这个坑里摸爬滚打十来年了。今天咱们不聊虚的直接上手把 Apache Atlas 2.0 从源码开始一步步装起来并且让它和 Hive 联动起来。Atlas 是什么你可以把它理解为你数据仓库的“户口本”和“关系图谱”。你公司里那些 Hive 表、字段、ETL 任务谁生成了谁谁用了谁的数据血缘关系是啥在 Atlas 里都能看得一清二楚。这对于数据质量管控、影响分析、合规审计来说简直是神器。这次我们针对的是 2.0 版本这个版本在性能和稳定性上都有不少提升但部署过程特别是从源码编译开始还是有不少细节要注意一不小心就可能掉坑里。别担心跟着我的步骤走我把踩过的坑都给你标出来。首先咱们得把“厨房”收拾好也就是准备编译和运行环境。我强烈建议使用一台干净的 Linux 服务器CentOS 7 或者 Ubuntu 18.04 以上都行内存最好给到 8G 以上因为编译过程很吃内存。基础的 Java 和 Maven 是必须的。JDK 我推荐用 1.8版本号比如1.8.0_191这种比较稳定和 Atlas 2.0 的兼容性也最好。Maven 用 3.6.x 版本。安装过程我就不赘述了网上教程一大堆关键是配置好JAVA_HOME和MAVEN_HOME环境变量并且把bin目录加到PATH里确保在终端里能直接运行java -version和mvn -version。接下来是获取源码。最官方的渠道当然是 Apache Atlas 的官网。但是这里有个小技巧官网的下载速度有时候看缘分。我们可以直接从 Apache 的软件仓库镜像站下载速度会快很多。比如你可以用清华大学的镜像。打开终端找一个你打算存放源码的目录比如/opt/app然后执行下载和解压命令。这里要注意官网提供的可能是源代码包带-sources后缀我们需要的就是这个。# 进入工作目录 cd /opt/app # 使用 wget 从镜像站下载源码包以 2.0.0 版本为例 wget https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.0.0/apache-atlas-2.0.0-sources.tar.gz # 解压源码包 tar -zxf apache-atlas-2.0.0-sources.tar.gz # 解压后会得到一个 apache-atlas-2.0.0-sources 目录为了方便我们可以重命名一下 mv apache-atlas-2.0.0-sources atlas-2.0-src cd atlas-2.0-src现在源码已经躺在你的服务器里了。在开始编译之前我强烈建议你做两件“磨刀不误砍柴工”的事情这能极大提升后续编译的成功率和速度。1.1 配置 Maven 国内镜像第一件事给 Maven 换源。默认的 Maven 中央仓库在国外下载依赖慢如蜗牛还经常超时失败。我们必须配置一个国内的镜像源比如阿里云的。找到你的 Maven 安装目录下的conf/settings.xml文件如果不知道在哪可以执行mvn -v查看Maven home路径。编辑这个文件在mirrors标签内添加如下镜像配置mirror idaliyunmaven/id name阿里云公共仓库/name urlhttps://maven.aliyun.com/repository/public/url mirrorOf*/mirrorOf /mirror这个配置会把所有仓库请求都重定向到阿里云速度飞起。保存文件后这个配置就对所有 Maven 项目生效了。1.2 检查与调整依赖版本第二件事检查 Atlas 源码中定义的第三方组件版本是否与你现有环境匹配。Atlas 底层依赖于 HBase 做存储Solr 做索引还有 ZooKeeper、Kafka 等。它支持两种模式使用内嵌的 HBase 和 Solr方便测试和快速启动或者使用外置的、你自己维护的集群用于生产环境。无论你选哪种我都建议你先打开源码根目录下的pom.xml文件看看。找到properties段落你会看到类似下面的定义zookeeper.version3.4.14/zookeeper.version hbase.version2.2.2/hbase.version solr.version7.7.2/solr.version kafka.version2.0.0/kafka.version关键点来了如果你计划使用外置组件那么这里的版本号必须与你外部集群中实际运行的版本一致比如你生产环境用的是 HBase 1.4.10而这里写的是 2.2.2编译出来的 Atlas 在运行时很可能因为版本不兼容而无法连接你的 HBase。所以请务必根据你的实际情况修改这些版本号。如果你打算用内嵌模式我们本次演示就用这个最简单那么可以不用改就用 Atlas 默认打包好的这些版本。但需要注意内嵌模式下载的 HBase 和 Solr 安装包地址也在pom.xml里定义在distribution模块里默认也是指向 Apache 官方地址下载可能慢。你可以搜索hbase.tar和solr.tar的配置项将其value中的网址也替换成国内的镜像地址例如https://mirrors.tuna.tsinghua.edu.cn/apache/下的对应路径。这一步不是必须但能加快打包时下载二进制包的速度。2. 源码编译与打包环境准备好了源码也检查修改完毕接下来就是最激动人心也最考验耐心的环节——编译打包。这个过程说白了就是 Maven 根据pom.xml文件的描述去下载所有需要的“零件”依赖库然后把我们 Atlas 的源代码组装成可以直接运行的“产品”。由于 Atlas 项目比较大依赖非常多编译过程会占用大量内存和网络资源。所以首先我们给 Maven 分配更多的内存防止编译中途崩溃。在开始编译前先设置一个环境变量export MAVEN_OPTS-Xms2048m -Xmx4096m -DskipTests这个命令给 Maven 的 Java 进程分配了最小 2G最大 4G 的堆内存。-DskipTests是跳过单元测试能显著加快编译速度对于部署来说足够了。接下来选择编译模式。就像前面说的Atlas 支持内嵌存储和外部存储两种打包方式。对于刚接触或者想快速搭建测试环境的同学我强烈推荐使用内嵌 HBase-Solr模式。这个模式会把 HBase 和 Solr 的二进制包也一起打包进 Atlas 的发布版里启动 Atlas 时会自动启动它们省去了单独部署和配置的麻烦。进入你的源码目录执行以下命令进行编译和打包cd /opt/app/atlas-2.0-src mvn clean -DskipTests package -Pdist,embedded-hbase-solr解释一下这个命令mvn clean清理之前编译的残留文件。-DskipTests跳过测试。package进行编译打包。-Pdist,embedded-hbase-solr激活两个 Maven 构建剖面profiledist表示生成发行版embedded-hbase-solr表示包含内嵌的 HBase 和 Solr。然后你就可以泡杯茶休息一下了。这个过程视网络速度和机器性能可能需要 30 分钟到 2 小时不等。如果网络不稳定可能会在下载某个依赖时失败。如果遇到失败通常重新执行一次上述命令即可Maven 会从断点继续。多试几次总能成功。当终端最后出现大大的BUILD SUCCESS字样时恭喜你编译成功了生成的“产品”在哪里呢它位于源码目录下的distro/target/目录里。你会找到一个名为apache-atlas-2.0.0-server.tar.gz的压缩包或者是一个同名的已解压目录apache-atlas-2.0.0。这个就是我们千辛万苦得到的 Atlas 发行版。# 进入目标目录查看 cd /opt/app/atlas-2.0-src/distro/target/ ls -lh # 你应该能看到 apache-atlas-2.0.0-server.tar.gz 和 apache-atlas-2.0.0 目录 # 我们可以把这个目录移动到我们的安装位置 mv apache-atlas-2.0.0 /opt/app/atlas-2.0至此编译打包的“硬仗”就打完了。我们得到了一个完整的、可部署的 Atlas 安装包。接下来就是配置和启动了。3. Atlas 服务安装与启动现在我们有了/opt/app/atlas-2.0这个安装目录。在启动它之前需要进行一些关键的配置。Atlas 的配置文件主要在两个地方conf/atlas-env.sh和conf/atlas-application.properties。前者主要配置环境变量后者是核心的应用属性。3.1 基础环境配置首先编辑conf/atlas-env.sh文件。这个文件里最重要的是设置 Java 家目录以及告诉 Atlas 我们是否要管理内嵌的组件。cd /opt/app/atlas-2.0 vi conf/atlas-env.sh找到并修改以下关键行如果不存在就添加在文件末尾# 设置你的 JDK 安装路径必须 export JAVA_HOME/opt/app/jdk1.8.0_191 # 是否管理内嵌的 HBase。我们使用内嵌模式所以设为 true。 # 如果使用外部 HBase则设为 false并确保外部 HBase 已启动且可访问。 export MANAGE_LOCAL_HBASEtrue # 是否管理内嵌的 Solr。我们使用内嵌模式所以设为 true。 # 如果使用外部 Solr则设为 false。 export MANAGE_LOCAL_SOLRtrue # 可选设置 Atlas 进程的内存。根据你的机器调整4G 是个不错的起点。 export ATLAS_OPTS-server -Xms2048m -Xmx4096m -XX:MaxPermSize512m保存并退出。这里MANAGE_LOCAL_HBASE和MANAGE_LOCAL_SOLR都设为true意味着 Atlas 启动脚本会负责启动和停止内嵌的 HBase 和 Solr 实例这对我们来说是最省心的。3.2 核心应用属性配置接下来是重头戏配置conf/atlas-application.properties。这个文件内容很多但我们主要关注几个核心连接配置。vi conf/atlas-application.properties我们需要确认或修改以下几处存储后端HBase/JanusGraph配置因为我们用内嵌 HBaseAtlas 会使用它自带的 ZooKeeper端口2181。确保以下配置存在且正确atlas.graph.storage.backendhbase2 atlas.graph.storage.hostnamelocalhost:2181 atlas.graph.storage.hbase.tableatlas_janusatlas.graph.storage.hostname指向的是 HBase 所使用的 ZooKeeper 地址。内嵌模式下HBase 自己会启动一个 ZK默认就在本地的 2181 端口。索引后端Solr配置同样内嵌 Solr 会在启动时被配置。atlas.graph.index.search.backendsolr5 atlas.graph.index.search.solr.modecloud atlas.graph.index.search.solr.http-urlshttp://localhost:8983/solr注意solr.http-urls的端口是8983这是内嵌 Solr 云模式默认的 HTTP 端口。通知系统Kafka配置Atlas 通过 Kafka 接收元数据变更事件。内嵌模式也会启动一个 Kafka。atlas.notification.embeddedtrue atlas.kafka.zookeeper.connectlocalhost:9026 atlas.kafka.bootstrap.serverslocalhost:9027这里有一个非常重要的坑注意看内嵌 Kafka 使用的 ZooKeeper 连接地址是localhost:9026而上面 HBase 用的 ZK 是localhost:2181。它们必须是不同的端口不同的实例内嵌模式会启动两个独立的 ZooKeeper一个给 HBase端口2181一个给 Kafka端口9026。千万不要把它们配成同一个地址否则会导致端口冲突和启动失败。这是新手最容易栽跟头的地方。其他配置项比如管理员账号密码、服务器端口等第一次部署可以先保持默认。保存这个配置文件。3.3 启动内嵌组件与 Atlas配置完成后我们就可以启动了。但内嵌模式需要一点特殊的顺序。虽然atlas_start.py脚本理论上能一键启动所有东西但在第一次运行时我习惯先手动初始化一下 Solr这样更稳妥。步骤一启动内嵌 HBaseAtlas 的安装包里已经带了 HBase 的二进制文件。cd /opt/app/atlas-2.0 cd hbase bin/start-hbase.sh用jps命令检查应该能看到HMaster和HRegionServer进程。也可以访问http://你的服务器IP:16010看看 HBase 的 Web UI 是否起来。步骤二启动内嵌 Solr 并创建核心cd /opt/app/atlas-2.0 cd solr # 启动Solr云模式并指定ZooKeeper地址就是HBase启动的那个ZK bin/solr start -c -z localhost:2181 -p 8983 -force启动后需要为 Atlas 创建必要的 Solr 集合相当于数据库的表用来存储不同类型的索引。# 创建顶点索引集合 bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force # 创建边索引集合 bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force # 创建全文检索索引集合 bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force执行成功后可以访问http://你的服务器IP:8983/solr在左侧的“Core Selector”下拉菜单中应该能看到vertex_index,edge_index,fulltext_index这三个核心。步骤三启动 Atlas 服务现在所有依赖都就绪了可以启动 Atlas 本体了。cd /opt/app/atlas-2.0 bin/atlas_start.py这个脚本会启动 Atlas 的 Web 应用基于 Tomcat和其他后台服务。等待一两分钟然后检查进程和端口jps | grep -i atlas # 应该能看到类似 AtlasServer 的进程 netstat -tlnp | grep -E ‘(21000|21443)’ # 应该能看到 21000 (HTTP API) 和 21443 (HTTPS API) 端口在监听如果一切正常打开浏览器访问http://你的服务器IP:21000。你应该能看到 Apache Atlas 的登录页面。默认的用户名和密码是admin/admin。登录进去后你就看到了 Atlas 的管理界面。恭喜Atlas 服务本身已经部署成功了重要提示第一次成功启动后以后重启服务器或者需要启动 Atlas不需要再重复手动启动 HBase 和 Solr了。直接运行bin/atlas_start.py即可脚本会自动处理内嵌组件的启动。停止服务则使用bin/atlas_stop.py。4. Hive Hook 配置与集成测试Atlas 服务跑起来了但它现在还是个“光杆司令”不知道我们数据仓库里发生了什么。接下来我们要给它装上“眼睛”和“耳朵”也就是配置 Hive Hook。Hook 的意思就是钩子它挂在 Hive 上监听 Hive 中所有的 DDL 和 DML 操作比如建表、删表、加字段、插入数据等然后将这些操作作为元数据变更事件发送给 Atlas。Atlas 接收到事件后就会更新内部的元数据图谱。4.1 配置 Hive 以启用 Atlas Hook假设你的 Hive 已经安装好并且知道它的安装目录比如/opt/app/hive。我们需要修改 Hive 的两个配置文件。第一步添加 Hook 的 Jar 包路径编辑 Hive 的conf/hive-env.sh文件如果不存在可以复制hive-env.sh.template。cd /opt/app/hive/conf vi hive-env.sh找到或者添加HIVE_AUX_JARS_PATH这个环境变量将 Atlas Hook 的 Jar 包目录加进去。Atlas 的 Hook 包位于其安装目录的hook/hive子目录下。export HIVE_AUX_JARS_PATH/opt/app/atlas-2.0/hook/hive这个路径下包含了atlas-hive-plugin-impl-2.0.0.jar等必要的 Jar 包。这样 Hive 运行时就能加载到这些类。第二步在 Hive 配置中声明 Hook编辑 Hive 的核心配置文件conf/hive-site.xml。我们需要添加一个属性告诉 Hive 在执行后要调用我们的 Atlas Hook。property namehive.exec.post.hooks/name valueorg.apache.atlas.hive.hook.HiveHook/value /property如果hive.exec.post.hooks已经存在其他值可以用逗号分隔将org.apache.atlas.hive.hook.HiveHook追加在后面。它是作为一个“后置钩子”工作的。第三步将 Atlas 配置文件同步给 Hive HookHive Hook 在运行时需要知道 Atlas 服务在哪里以及一些其他配置。最简单的方法是把 Atlas 的配置文件复制一份到 Hive 的类路径下。我们可以直接复制到 Hive 的conf目录因为conf目录默认就在类路径中。cp /opt/app/atlas-2.0/conf/atlas-application.properties /opt/app/hive/conf/然后编辑这个复制过来的atlas-application.properties文件在 Hive 的 conf 目录下确保以下两个属性是正确设置的# 设置 Hook 为同步模式。这意味着 Hive 操作会等待 Atlas 处理完事件才返回。 # 设为 false 则是异步模式性能更好但可能元数据有延迟。测试时建议 true。 atlas.hook.hive.synchronoustrue # 告诉 Hook Atlas 服务器的 REST API 地址用于发送元数据。 atlas.rest.addresshttp://localhost:21000请根据你的实际情况修改atlas.rest.address如果 Atlas 和 Hive 不在同一台机器需要填写正确的 IP 和端口。配置完成后重启 Hive 服务特别是 HiveServer2让配置生效。4.2 实时 Hook 同步测试现在让我们来测试一下 Hook 是否工作。启动 Hive 的 Beeline 命令行客户端连接到你刚重启的 HiveServer2。beeline -u jdbc:hive2://localhost:10000 -n username -p password在 Hive 中执行一些元数据操作比如创建一个数据库和一张表CREATE DATABASE IF NOT EXISTS atlas_test_db; USE atlas_test_db; CREATE TABLE test_hook_table (id INT, name STRING, create_time TIMESTAMP);如果atlas.hook.hive.synchronous设为true你会感觉到这个CREATE TABLE语句的执行比平时稍微慢一点点因为它正在和 Atlas 通信。现在打开 Atlas 的 Web UI (http://你的服务器IP:21000)登录后在顶部搜索栏输入test_hook_table进行搜索。神奇的事情发生了你应该能在搜索结果中看到刚刚创建的这张表。点击进去可以看到表的详细信息包括它的列、数据类型、所属的数据库等。这证明 Hive 的操作已经被 Hook 捕获并成功同步到了 Atlas 的元数据仓库中。4.3 批量导入已有元数据但是Hook 只能捕获配置生效之后的操作。那么在安装 Atlas 之前Hive 里已经存在的大量历史表怎么办呢难道要手动重新创建一遍吗当然不用Atlas 提供了一个非常实用的批量导入工具。这个工具是一个 Shell 脚本位于 Atlas 安装目录的hook-bin/子目录下叫做import-hive.sh。它的原理是直接扫描 Hive Metastore将其中的数据库、表、列等结构信息一次性导入到 Atlas 中。使用方法很简单cd /opt/app/atlas-2.0 # 导入所有数据库和表 hook-bin/import-hive.sh # 或者只导入特定的数据库支持正则表达式 hook-bin/import-hive.sh -d “my_database” # 或者导入一个数据库下的特定表 hook-bin/import-hive.sh -d “my_database” -t “test_.*” # 或者从一个包含数据库和表列表的文件中导入 hook-bin/import-hive.sh -f /path/to/import_list.txt执行这个脚本后它会连接 Hive Metastore 和 Atlas 服务开始批量导入。你可以在 Atlas UI 上看到导入的进度会有后台任务导入完成后你所有的历史 Hive 表就都出现在 Atlas 的资产列表里了并且它们之间的血缘关系如果之前有记录的话也会被尝试重建。我在实际项目中使用这个工具导入了上千张表整个过程非常顺畅。不过要注意如果表数量巨大最好分批次进行或者使用-d参数指定数据库避免一次性操作给 Metastore 和 Atlas 带来太大压力。导入完成后结合实时 Hook你的整个 Hive 数据仓库的元数据无论是历史的还是未来的就都在 Atlas 的统一管理之下了。你可以开始探索 Atlas 强大的搜索、分类、血缘分析和策略管理功能了。