Hadoop+Spark集群部署

type

status

date

slug

summary

集群環境準備

每臺機器配置hostname、hosts

新建hadoop用戶

以下均以Hadoop執行

💡

需將/opt、/usr/local/java/等目錄所有者改為hadoop

各節點配置免密登錄

JDK 安裝與配置

JDK手動安裝到`/usr/lib/java`

JDK環境變數的配置

vi /etc/profile.d/java.sh

使profile生效，驗證java版本

Hadoop 部署與配置

hadoop安裝包到/opt；修改所有者；配置軟鏈接；

配置日誌路徑

/opt/hadoop-3.2.3/etc/hadoop/log4j.properties

配置Hadoop環境變數

source /etc/profile

Hadoop檔配置

配置檔都在/opt/hadoop/etc/hadoop/檔夾下

hadoop-env.sh、core-site.xml、hdfs-site.xml（其餘workers、mapred-site.xml、yarn-site.xml等內容略）

jdk環境變數（要遠程調用 ${java_home}）

core-site.xml

hdfs-site.xml

Hadoop 驗證

首先格式化

只能格式化一次，如出現問題需重新格式化參考下方操作預處理（數據會全部丟失！！！）

啟動提示“Name or service not knownstname”

刪除workers後重建檔

需查看core-site.xml、hdfs-site.xml路徑，刪除hdfs對應目錄後重建目錄，

重新格式化hdfs

啟動、關閉服務測試

Spark on yarn部署、配置

vi /opt/spark/conf/spark-env.sh

複製到其他node

配置Spark環境變數

配置好worker，啟動spark節點

Hive配置

解決Hive與Hadoop之間guava版本的差異,copy hadoop中的guava到hive

驅動包放到hive/lib下，mssql-jdbc-7.4.1.jre8.jar

配置hive-site.xml、hive-env.sh

初始化元數據

Failed to initialize pool: 驅動程式無法通過使用安全套接字層(SSL)加密與 SQL Server 建立安全連接。unable to find valid certification path to requested target

修改jre\lib\security\java.security，刪除jdk.tls.disabledAlgorithms中的3DES_EDE_CBC

安全配置相關

Hadoop3.0開始默認端口的更改

Namenode 端口:

https服務的端口50470 → 9871

NameNode web管理端口50070 → 9870配置檔hdfs-site.xml

namenode RPC交互端口,用於獲取檔系統metadata資訊。8020 → 9820配置檔core-site.xml

Secondary NN 端口:

暫未了解到50091 → 9869

secondary NameNode web管理端口50090 → 9868

Datanode 端口:

datanode的IPC伺服器地址和端口50020 → 9867配置檔hdfs-site.xml

datanode控制端口,用於數據傳輸50010 → 9866配置檔hdfs-site.xml

https服務的端口50475 → 9865

datanode的HTTP伺服器和端口50075 → 9864配置檔hdfs-site.xml

其他需要放行的端口

job tracker交互端口8021

Hive服務端口 10000:10002

spark web UI端口4040：spark-defaults.conf中spark.ui.port

spark master註冊7077

spark masterUI8080; spark WorkerUI8081