Hadoop伪分布式部署
1.解压Hadoop安装包
cd …… 进入软件包所在文件夹
ls 查看文件夹下所有文件
tar -zxvf hadoop…… 解压Hadoop的jar包
2.配置hadoop文件
cd /……(Hadoop安装所在目录）/etc/hadoop 进入配置文件所在目录下
vim hadoop-env.sh 设置Hadoop的JAVA_HOME
export JAVA_HOME=/......(本机Java的安装目录)
vim core-site.xml 设置common组件的属性
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/simple/hadoop-2.7.3/tmp</value>
</property>
vim hdfs-site.xml 设置HDFS组件的属性
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/simple/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/simple/hadoop-2.7.3/hdfs/data</value>
</property>
mv mapred-site.xml template mapred-site.xml 修改文件的命名
vm mapred.xml 设置map-reduce组件的属性
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
vim yarn-site.xml 设置yarn组件的属性
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
vim /etc/profile 配置环境变量
source /etc/profile 使配置文件生效
hdfs namesode -format 格式化namenode
cd ~/.ssh 设置本机免密
ssh-keygen -t rsa 默认在~/.ssh/目录下生成id_rsa：私钥、id_rsa.pub：公钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥导入到认证文件
start-hdfs.sh 开启hdfs
start-yarn.sh 开启yarn
jps 验证进程是否正常启动
版权声明：本文为yumuu原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。