1 安装说明
1.1 用到的软件
软件
版本
下载地址
linux
Ubuntu Server 18.04.2 LTS
https://ubuntu.com/download/server
hadoop
hadoop-2.7.1
http://archive.apache.org/dist/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz
java
jdk-8u211-linux-x64
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
1.2 节点安排
名称
ip
hostname
主节点
192.168.233.200
Master
子节点1
192.168.233.201
Slave01
子节点2
192.168.233.202
Slave02
2 创建hadoop用户
所有的节点均创建一个名为hadoop的用户，并添加管理员权限。
注意：这里这是单纯为了方便管理，创建的用户名，也可以使用其他用户名，或者使用系统之前的用户，主要有管理员权限即可
$ sudo useradd -m hadoop -s /bin/bash #创建用户 $ sudo passwd hadoop #修改密码 $ sudo adduser hadoop sudo #添加管理员权限
3 配置网络环境
3.1 修改主机名
修改 /etc/hostname文件，每个节点都要修改。
- 主节点修改为：Master
- 从节点分别修改为：Slave01,Slave02,...
注意：如果是ubuntu18.04桌面版直接修改/etc/hostname文件即可，ubuntu18.04服务器版还需要修改/etc/cloud/cloud.cfg文件，修改如下：
# This will cause the set+update hostname module to not operate (if true) preserve_hostname: true #这里是将false改成true
3.2 添加IP与主机名的映射关系
在/etc/hosts文件里添加如下内容（每个节点都要修改，根据实际情况修改ip)
192.168.233.200 Master 192.168.233.201 Slave01 192.168.233.202 Slave02
检查各个节点是否能相互ping通。
3.3 设置SSH无密码登录节点
让Master能够通过SSH无密码登录各个Slave节点
如果修改过主机名，需要重新生成的新的公钥。
在Master上执行如下命令：
$ cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost $ rm ./id_rsa* # 删除之前生成的公匙（如果已经存在） $ ssh-keygen -t rsa # 执行该命令后，遇到提示信息，一直按回车就可以 $ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
接着将Master中的id_rsa.pub文件复制到各个Slave节点中
$ scp ~/.ssh/id_rsa.pub hadoop@Slave01:/home/hadoop/ $ scp ~/.ssh/id_rsa.pub hadoop@Slave02:/home/hadoop/
在各个Slave节点中执行如下命令：
$ mkdir ~/.ssh # 如果不存在该文件夹需先创建 $ cat ~/id_rsa.pub ~/.ssh/authorized_keys $ rm ~/id_rsa.pub # 用完以后就可以删掉
在Master中验证是否可以无密码登录，各个Slave节点。
如：
$ ssh Slave01 #如果成功登录，则配置完成 $ ssh Slave02 #如果成功登录，则配置完成
4 安装java环境
每个节点都要安装，步骤相同
为了方便操作每个节点，默认在/usr/local/下新建一个名为bigdata的文件夹，存放所有的大数据相关的软件。
$ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop:hadoop /usr/local/bigdata/
4.1 解压
$ sudo mkdir /usr/local/bigdata/java $ sudo tar -zxvf jdk-8u211-linux-x64.tar.gz -C /usr/local/bigdata/java/
4.2 添加环境变量
在~/.bashrc文件中添加如下内容，并执行$ source ~/.bashrc命令使其生效
#java
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
5 解压hadoop
下载hadoop-2.7.1.tar.gz文件，并解压到/usr/local/bigdata/文件夹下
$ sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/bigdata
6 修改hadoop配置文件
需要修改6个文件，文件位于/usr/local/bigdata/hadoop-2.7.1/etc/hadoop/下
6.1 slave 文件
将文件中原来的 localhost 删除，添加内容：
Slave01 Slave02
6.2 core-site.xml 文件
内容修改为：
<configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI）-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>
6.3 hdfs-site.xml文件
Hadoop的分布式文件系统HDFS一般采用冗余存储，一份文件通常保存3份副本，所以dfs.replication的值还是设置为3。
具体内容如下：
<configuration>
<property>
<!-- 指定SecondaryNamenode所在地址 -->
<name>dfs.namenode.secondary.http-address</name>
<value>Master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/data</value>
</property>
</configuration>
6.4 mapred-site.xml 文件
修改内容如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>
6.5 yarn-site.xml文件
内容如下：
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.6 hadoop-env.sh 文件
修改如下内容：
export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211 # 可以不用 export HADOOP_HOME=/usr/local/hadoop-2.7.1
7 设置hadoop环境变量
每个节点都要设置
在~/.bashrc文件中添加如下内容，并$ source ~/.bashrc使其生效
export PATH=$PATH:/usr/local/bigdata/hadoop-2.7.1/bin:/usr/local/bigdata/hadoop-2.7.1/sbin
8 slave节点配置
slave节点只需将master节点上/usr/local/下的bigdata文件夹和~/.bashrc文件，放到slave节点即可
注意切换到对应机器执行$ source ~/.bashrc使环境变量生效。
后续的软件均可使用此方式配置。
在master节点：
$ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 删除 Hadoop 临时文件，如果之前有启动过 $ sudo rm -r /usr/local/bigdata/hadoop-2.7.1/logs/* # 删除日志文件，如果之前有启动过 $ tar -zcvf ~/bigdata.tar.gz /usr/local/bigdata/ # 先压缩再复制 $ scp ~/bigdata.tar.gz Slave01:/home/hadoop $ scp ~/bigdata.tar.gz Slave02:/home/hadoop $ scp ~/bashrc Slave01:/home/hadoop $ scp ~/bashrc Slave02:/home/hadoop
在各个slave节点上
$ sudo mkdir /usr/local/bigdata $ sudo chown -R hadoop：hadoop /usr/local/bigdata $ tar -zxvf ~/bigdata.tar.gz -C /usr/local/bigdata $ sudo source ~/.bashrc
9 启动Hadoop集群
在Master上执行
首次运行需要，执行
$ hdfs namenode -format
格式化名称节点，然后就可以启动hadoop了。
启动hadoop：
$ start-dfs.sh $ start-yarn.sh $ mr-jobhistory-daemon.sh start historyserver
使用jps查看启动的各个节点，缺少任何进程，都表示出错。
$ jps 3585 JobHistoryServer 2938 NameNode 3148 SecondaryNameNode 3308 ResourceManager 3629 Jps
浏览器查看：http://192.168.233.200:50070/
查看相关信息：$ hdfs dfsadmin -report
关闭hadoop：
$ stop-yarn.sh $ stop-dfs.sh $ mr-jobhistory-daemon.sh stop historyserver
如果有问题，重复如下命令：
$ stop-dfs.sh # 关闭 $ rm -r /usr/local/bigdata/hadoop-2.7.1/tmp # 删除 tmp 文件，注意这会删除 HDFS中原有的所有数据 $ hdfs namenode -format # 重新格式化名称节点 $ start-dfs.sh # 重启
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！
昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？