Hadoop搭建笔记

搭建环境 VMwre centos6.5 jdk1.8 hadoop2.6

准备工作 安装centos 配置ip地址 这里不再详细写(我认为开始搭建Hadoop框架的人都有linux基础, 如果没有的话 还是不要想着一步登天了 老老实实去学linux基础)

jdk
hostname //修改主机名
hosts //host 配置对应的主机名和 ip
date //时区
安全机制 //iptable stop
firewall
windows 域名映射 //修改host文件 添加 ip和主机名 可以直接主机名:端口号访问

建议先安装一台配置好jdk 复制虚拟机之后改ip 省很多事儿(VMware改ip真的烦)

伪分布式安装测试START

配置ssh免密码登陆

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

配置Hadoop环境变量

vim/etc/profile 配置两个到../hadoop-*/sbin && /bin

修改Hadoop配置文件

修改jdk环境变量

vi hadoop-env.sh
vi mapred-env.sh
vi yarn-env.sh

配置core-site.xml

vi core-site.xml

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://node06:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/var/sxt/hadoop/local</value>
</property>

配置hdfs-site.xml

<property>
    <name>dfs.replication</name>
    <value>1</value> //节点数
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>node06:50090</value> //namenode所在
</property>

配置slaves文件


vi slaves

添加从节点主机名儿

伪分布式安装完毕 运行测试

格式化hdfs

hdfs namenode -format(之格式化一次 之后运行不需要再次执行)

启动集群

start-dfs.sh

查看进程角色

jps

查看web ui

ip:50070

创建目录

hdfs dfs -mkdir -p /user/root(默认目录)

查看目录

hdfs dfs -ls /

上传文件

hdfs dfs -put hadoop-2.6.5.tar.gz /user/root

停止集群

stop-dfs.sh

伪分布式安装测试END

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇