搭建环境 VMwre centos6.5 jdk1.8 hadoop2.6
准备工作 安装centos 配置ip地址 这里不再详细写(我认为开始搭建Hadoop框架的人都有linux基础, 如果没有的话 还是不要想着一步登天了 老老实实去学linux基础)
jdk
hostname //修改主机名
hosts //host 配置对应的主机名和 ip
date //时区
安全机制 //iptable stop
firewall
windows 域名映射 //修改host文件 添加 ip和主机名 可以直接主机名:端口号访问
建议先安装一台配置好jdk 复制虚拟机之后改ip 省很多事儿(VMware改ip真的烦)
伪分布式安装测试START
配置ssh免密码登陆
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
配置Hadoop环境变量
vim/etc/profile
配置两个到../hadoop-*/sbin && /bin
修改Hadoop配置文件
修改jdk环境变量
vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh
配置core-site.xml
vi core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://node06:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/sxt/hadoop/local</value>
</property>
配置hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value> //节点数
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node06:50090</value> //namenode所在
</property>
配置slaves文件
vi slaves
添加从节点主机名儿
伪分布式安装完毕 运行测试
格式化hdfs
hdfs namenode -format(之格式化一次 之后运行不需要再次执行)
启动集群
start-dfs.sh
查看进程角色
jps
查看web ui
ip:50070
创建目录
hdfs dfs -mkdir -p /user/root(默认目录)
查看目录
hdfs dfs -ls /
上传文件
hdfs dfs -put hadoop-2.6.5.tar.gz /user/root
停止集群
stop-dfs.sh