type
status
date
slug
summary
tags
category
icon
password
本次設計共四節點:1個master+3個slave。

集群環境準備

每臺機器配置hostname、hosts
新建hadoop用戶

以下均以Hadoop執行

💡
需將/opt/usr/local/java/等目錄所有者改為hadoop
各節點配置免密登錄

JDK 安裝與配置

JDK手動安裝到/usr/lib/java

JDK環境變數的配置

vi /etc/profile.d/java.sh
使profile生效,驗證java版本

Hadoop 部署與配置

hadoop安裝包到/opt;修改所有者;配置軟鏈接;

配置日誌路徑

/opt/hadoop-3.2.3/etc/hadoop/log4j.properties

配置Hadoop環境變數

source /etc/profile

Hadoop檔配置

配置檔都在/opt/hadoop/etc/hadoop/檔夾下
hadoop-env.shcore-site.xmlhdfs-site.xml(其餘workersmapred-site.xmlyarn-site.xml等內容略)
jdk環境變數 (要遠程調用 ${java_home}
core-site.xml
hdfs-site.xml

Hadoop 驗證

首先格式化

只能格式化一次,如出現問題需重新格式化參考下方操作預處理(數據會全部丟失!!!)
啟動提示“Name or service not knownstname”
  1. 刪除workers後重建檔
  1. 需查看core-site.xmlhdfs-site.xml路徑,刪除hdfs對應目錄後重建目錄,
  1. 重新格式化hdfs

啟動、關閉服務測試

Spark on yarn部署、配置

vi /opt/spark/conf/spark-env.sh
複製到其他node
  • 配置Spark環境變數
  • 配置好worker,啟動spark節點

Hive配置

  • 解決Hive與Hadoop之間guava版本的差異,copy hadoop中的guava到hive
  • 驅動包放到hive/lib下,mssql-jdbc-7.4.1.jre8.jar
  • 配置hive-site.xmlhive-env.sh
  • 初始化元數據
Failed to initialize pool: 驅動程式無法通過使用安全套接字層(SSL)加密與 SQL Server 建立安全連接。unable to find valid certification path to requested target
修改jre\lib\security\java.security,刪除jdk.tls.disabledAlgorithms中的3DES_EDE_CBC

安全配置相關

Hadoop3.0開始默認端口的更改

Namenode 端口:

https服務的端口50470 → 9871
NameNode web管理端口50070 → 9870配置檔hdfs-site.xml
namenode RPC交互端口,用於獲取檔系統metadata資訊。8020 → 9820配置檔core-site.xml

Secondary NN 端口:

暫未了解到50091 → 9869
secondary NameNode web管理端口50090 → 9868

Datanode 端口:

datanode的IPC伺服器地址和端口50020 → 9867配置檔hdfs-site.xml
datanode控制端口,用於數據傳輸50010 → 9866配置檔hdfs-site.xml
https服務的端口50475 → 9865
datanode的HTTP伺服器和端口50075 → 9864配置檔hdfs-site.xml

其他需要放行的端口

job tracker交互端口8021
Hive服務端口 10000:10002
spark web UI端口4040:spark-defaults.conf中spark.ui.port
spark master註冊7077
spark masterUI8080; spark WorkerUI8081
Traefik服务网关上游合并,删除commit 历史
Loading...
瓶幾¬_¬
瓶幾¬_¬
一个新时代无产者🍚
统计
文章数:
31
近期文章
PERC H710P Mini 刷直通模式
2024-7-31
国内镜像源加速问题
2024-6-8
ESXi 安装 DSM7.2
2024-5-3
通过idrac批量进行服务器电源控制
2024-3-21
体检可行性方案
2024-3-17
微信接龙数据统计
2024-3-9
📢公告
🙂暂时没啥要公告的~