在企業(yè)生產環(huán)境中，由于安全要求或網絡限制，常需在離線環(huán)境下部署大數據平臺。Cloudera Manager（CM）與CDH（Cloudera's Distribution Including Apache Hadoop）作為業(yè)界廣泛使用的大數據平臺解決方案，其離線安裝需要系統化的準備與步驟。本文將詳細闡述在CentOS系統中離線安裝Cloudera Manager 5及CDH 5.1.3的全過程。

一、 安裝前環(huán)境準備

1. 系統要求：

• 操作系統：CentOS 6.x 或 7.x（64位）。CDH 5.1.3對CentOS 6.x系列支持更佳，建議使用CentOS 6.8或6.9。

• 所有節(jié)點需配置靜態(tài)IP，并確保主機名解析正確（可通過/etc/hosts文件配置）。

• 關閉所有節(jié)點的防火墻（或配置相應端口規(guī)則）和SELinux。

• 確保所有節(jié)點間SSH免密登錄已配置。

• 確保系統時間同步（NTP）。

1. 軟件包準備（關鍵離線資源）：

• Cloudera Manager 5 安裝包：cloudera-manager-el6-cm5.1.3<em>x86</em>64.tar.gz（對應CentOS 6，若為CentOS 7則尋找el7版本）。

• CDH 5.1.3 Parcel文件：這是核心的軟件分發(fā)包。需要準備三個文件：

• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel（主軟件包）

• CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1（校驗文件，需重命名為.sha）

• manifest.json（清單文件）

• JDK 1.7：Oracle JDK 1.7u67的Linux x64 RPM包（jdk-7u67-linux-x64.rpm）。

• MySQL JDBC驅動：mysql-connector-java-5.1.xx-bin.jar（用于CM元數據庫）。

• 依賴RPM包：在有網環(huán)境中，通過yum install或repotrack工具下載所有必需的依賴RPM包（如MySQL Server/Client, Python等），并創(chuàng)建本地YUM倉庫。

二、 主要安裝步驟

1. 基礎環(huán)境配置：

• 在所有節(jié)點上安裝準備好的基礎依賴RPM包（通過創(chuàng)建的本地YUM倉庫）。

• 在所有節(jié)點上安裝Oracle JDK 1.7。

• 選擇一臺節(jié)點作為Cloudera Manager Server主機，安裝并配置MySQL數據庫作為CM的元數據庫。

1. 安裝Cloudera Manager Server：

• 在Server節(jié)點上，解壓CM安裝包：tar -xzvf cloudera-manager-el6-cm5.1.3<em>x86</em>64.tar.gz -C /opt/。

• 運行初始化腳本：cd /opt/cm-5.1.3/share/cmf/schema/ && ./scm<em>prepare</em>database.sh mysql cm -hlocalhost -uroot -p密碼 --scm-host localhost scm scm scm。

• 將MySQL JDBC驅動JAR文件復制到/usr/share/java/目錄（并重命名為mysql-connector-java.jar）和/opt/cm-5.1.3/share/cmf/lib/目錄。

• 啟動CM Server服務：service cloudera-scm-server start。

• 通過瀏覽器訪問 http://<server-host>:7180，默認用戶名/密碼：admin/admin。

1. 配置Parcel本地分發(fā)倉庫：

• 在CM Web界面，進入“管理”->“設置”->“Parcel”。

• 將準備好的CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel、重命名后的.sha文件及manifest.json文件，放置在一個可通過HTTP訪問的目錄下（例如，使用Apache/Nginx搭建一個簡單的靜態(tài)文件服務器，或直接使用CM Server節(jié)點的/opt/cloudera/parcel-repo/目錄）。

• 在CM設置中，將“遠程Parcel存儲庫URL”指向此本地HTTP地址（例如http://<server-host>/cdh-parcels/）。

1. 通過Cloudera Manager安裝CDH：

• 在CM Web界面，點擊“群集”->“添加群集”，按照向導步驟操作。

• 在“指定主機”環(huán)節(jié)，手動輸入或通過搜索添加所有已安裝好CM Agent的節(jié)點主機名。

• 在“選擇存儲庫”環(huán)節(jié)，選擇“使用Parcel”，系統應能檢測到本地倉庫中的CDH 5.1.3 Parcel。

• 下載、分配并激活Parcel。

• 運行主機檢查，并根據向導選擇要安裝的服務（如HDFS, YARN, ZooKeeper, Hive, HBase等），完成配置與啟動。

三、 注意事項與故障排查

• 版本一致性：確保CM版本、CDH Parcel版本、操作系統版本、JDK版本完全匹配，這是離線安裝成功的關鍵。
• 依賴完整性：離線環(huán)境下的RPM依賴必須完整，任何缺失都可能導致服務安裝或啟動失敗。建議使用yum deplist命令仔細檢查。
• 磁盤與內存：確保所有節(jié)點有足夠的磁盤空間存放Parcel包和日志，以及足夠的內存運行服務。
• 日志排查：安裝過程中遇到問題，首要查看各節(jié)點的/var/log/cloudera-scm-agent/和Server節(jié)點的/var/log/cloudera-scm-server/目錄下的日志文件。

通過以上系統化的步驟，即使在完全離線的CentOS環(huán)境中，也能成功搭建起一個由Cloudera Manager統一管理的CDH 5.1.3大數據平臺，為后續(xù)的數據處理與分析任務奠定堅實基礎。