• 好程序員-千鋒教育旗下高端IT職業教育品牌

    400-811-9990
    我的賬戶
    好程序員

    專注高端IT職業培訓

    親愛的猿猿,歡迎!

    已有賬號,請

    如尚未注冊?

    【大數據】好程序員大數據學習路線完全分布式集群的搭建

    [復制鏈接]
    916 0
    葉子老師 發表于 2019-8-20 16:38:10 | 只看該作者 |只看大圖 |閱讀模式 打印 上一主題 下一主題
    好程序員大數據學習路線完全分布式集群的搭建搭建集群前的準備
    ?        1、四臺服務器的時間必須同步
    ?        2、防火墻處于關閉狀態
    ?        2、四臺服務器必須裝好jdk并且配置好環境變量
    一、四臺服務器集群格局
    | 服務器  | NameNode | secondaryNameNode | DataNode |
    | :-----: | :------: | :---------------: | :------: |
    | Hadoop1 |    有    |                   |          |
    | Hadoop2 |          |        有         |    有    |
    | Hadoop3 |          |                   |    有    |
    | Hadoop4 |          |                   |    有    |
    二、配置Hadoop1【以下操作在Hadoop1下執行】
    1.配置hadoop-env.sh中的JDK路徑
    ?        編輯hadoop-env.sh文件:
    ```
    vi 【此處為Hadoop的安裝位置】/etc/hadoop/hadoop-env.sh
    ```
    ?        修改文件中的# The java implementation to use!
    ```
    export JAVA_HOME=【此處為jdk的安裝路徑】
    ```
    2、指定NameNodeipfsimage等文件的存儲位置
    .core-site.xml文件文件
    ```
    vi 【此處為Hadoop的安裝位置】/etc/hadoop/core-site.xml
    ```
    .指定NameNode服務器位置
    在文件中添加以如下代碼:
    1. <font size="3"> <property>

    2.         <name>fs.defaultFS</name>

    3.         <value>hdfs://【此處為Hadoop1的ip】:9000</value>

    4. </property></font>
    復制代碼

    .指定fsimage文件的存儲位置
    在文件中添加以如下代碼:
    1. <font size="3"><property>

    2.         <name>hadoop.tmp.dir</name>

    3.         <value>【指定fsimage文件的存儲位置】</value>

    4. </property></font>
    復制代碼

    例如:
    3.指定副本數量、配置secondaryNameNode的啟動
    .編輯/hdfs-site.xml文件文件
    ```
    vi 【此處為Hadoop的安裝位置】/etc/hadoop//hdfs-site.xml
    ```
    .指定副本的數量
    在文件中添加以如下代碼:
    1. <font size="3"><property>

    2.     <name>dfs.replication</name>

    3.     <value>【此處為副本數量】</value>

    4. </property></font>
    復制代碼

    .配置secondaryNameNode的啟動
    在文件中添加以如下代碼:
    1. <font size="3"><property>

    2.     <name>dfs.namenode.secondary.http-address</name>

    3.     <value>【此處hadoop2的IP】:50090</value>

    4. </property></font>
    復制代碼

    例如:
    3.指定DataNode節點的ip
    編輯slaves文件
    ```
    vi 【此處為Hadoop的安裝位置】/etc/hadoop/slaves
    ```
    在文件中寫入所有DataNode節點的IP
    例如:
    三、分發安裝包給hadoop2hadoop3hadoop4
    分別執行下面三條代碼:
    ```
    scp -r 【此處為Hadoop的安裝位置】 hadoop2:/opt/software/
    ```
    ```
    scp -r 【此處為Hadoop的安裝位置】 hadoop3:/opt/software/
    ```
    ```
    scp -r 【此處為Hadoop的安裝位置】 hadoop4:/opt/software/
    ```
    四、配置每臺服務器的Hadoop環境變量
    1.編輯profile文件
    ```
    vi /etc/profile
    ```
    2.在文件末插入如下兩行
    ```
    export HADOOP_HOME=【此處為Hadoop的安裝位置】
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
    ```
    五、格式化nameNode
    Hadoop1上運行如下代碼
    ```
    hadoop namenode -format
    ```
    注意:格式化成功后就不要再格式化了
    格式化成功的標志如下圖:
    六、啟動/停止集群
    全部啟動/停止
    ```
    start-all.sh
    stop-all.sh
    ```
    模塊化開啟/停止

    start-dfs.sh
    stop-dfs.sh

    單個角色啟動/停止

    hadoop-daemo.sh start namenode/datanode/secondarynamenode
    hadoop-daemo.sh stop namenode/datanode/secondarynamenode
    好程序員大數據培訓官網:http://www.887tp.com/

    精彩內容,一鍵分享給更多人!
    收藏
    收藏0
    轉播
    轉播
    分享
    淘帖0
    支持
    支持0
    反對
    反對0
    回復

    使用道具 舉報

    您需要登錄后才可以回帖

    本版積分規則

    關注我們
    好程序員
    千鋒好程序員

    北京校區(總部):北京市海淀區寶盛北里西區28號中關村智誠科創大廈

    深圳西部硅谷校區:深圳市寶安區寶安大道5010號深圳西部硅谷B座A區605-619

    杭州龍馳智慧谷校區:浙江省杭州市下沙經濟技術開發區元成路199號龍馳智慧谷B座7層

    鄭州校區:鄭州市二七區航海中路60號海為科技園C區10層、12層

    Copyright 2007-2019 北京千鋒互聯科技有限公司 .All Right

    京ICP備12003911號-5 京公安網11010802011455號

    請您保持通訊暢通1對1咨詢馬上開啟

    色日日 - 色日日网集百万部多多潮流电影,酷酷小说,精彩图片,火辣