- 浏览: 299984 次
- 性别:
- 来自: 北京
文章分类
- 全部博客 (165)
- hadoop (47)
- linux (11)
- nutch (7)
- hbase (7)
- solr (4)
- zookeeper (4)
- J2EE (1)
- jquery (3)
- java (17)
- mysql (14)
- perl (2)
- compass (4)
- suse (2)
- memcache (1)
- as (1)
- roller (1)
- web (7)
- MongoDB (8)
- struts2 (3)
- lucene (2)
- 算法 (4)
- 中文分词 (3)
- hive (17)
- noIT (1)
- 中间件 (2)
- maven (2)
- sd (0)
- php (2)
- asdf (0)
- kerberos 安装 (1)
- git (1)
- osgi (1)
- impala (1)
- book (1)
- python 安装 科学计算包 (1)
最新评论
-
dandongsoft:
你写的不好用啊
solr 同义词搜索 -
黎明lm:
meifangzi 写道楼主真厉害 都分析源码了 用了很久. ...
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
meifangzi:
楼主真厉害 都分析源码了
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
zhdkn:
顶一个,最近也在学习设计模式,发现一个问题,如果老是看别人的博 ...
Java观察者模式(Observer)详解及应用 -
lvwenwen:
木南飘香 写道
高并发网站的架构
hadoop部署:
登录用户:suse
HOSTNAME:server0
4台机器:
192.168.2.10 server0(namenode)
192.168.2.11 server1(datanode)
192.168.2.12 server2(datanode)
192.168.2.13 server3(datanode)
1.首先强调的是 确保各个机器节点之间(任意两台机器之间可以ping IP/主机名 可以ping通)
ping IP
ping 主机名
2.修改server0的 /etc/hosts 配置文件
vi /etc/hosts 在 localhost的下面添加(位置任意)
127.0.0.1 localhost
#hadoop master
192.168.2.10 server0
192.168.2.11 server1
192.168.2.12 server2
192.168.2.13 server3
**修改 server0 (默认可能为localhost)
3.修改server1,server2,server3的 /etc/hosts 配置文件
(server1,server2,server3)均如下所示
127.0.0.1 localhost
192.168.2.11 server1
192.168.2.12 server2
192.168.2.13 server3
** **修改 server1/server2/server3 (默认可能为localhost)
4.SSH设置
1>所有节点生成RSA密钥对
ssh-keygen -t rsa(拷贝执行)
2>一直回车 默认保存路径为/home/suse/.ssh/下
3>将master的生成的id_rsa,id_rsa.pub 写入authorized_keys
cat id_rsa.pub >> authorized_keys
cat id_rsa >> authorized_keys
4>将所有slave的 id_rsa.pub 都写入 master的 authorized_keys,最后将master下的 authorized_keys 分发到所有slave
scp /home/suse/.ssh/authorized_keys server1:/home/suse/.ssh/
scp /home/suse/.ssh/authorized_keys server2:/home/suse/.ssh/
scp /home/suse/.ssh/authorized_keys server3:/home/suse/.ssh/
之后通过ssh 各主机名称 验证是否通过
最后,在所有机器执行用户权限命令chmod,命令如下
chmod 644 authorized_keys
第一次连接需要密码,输入yes和机器密码就可以。以后即不用再输入
5.配置文件
core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://server0:9000</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
<property>
<name>dfs.datanode.socket.write.timeout</name>
<value>0</value>
<description>A base for other temporary directories.</description>
</property>
fs.default.name:hadoop 文件系统路径 (配置文件中一定要用主机名。如果用ip的话 以后各节点通信会不能正确解析)
dfs.datanode.socket.write.timeout 防止socket 异常
----------------------------------------------------------------------------------------------------
hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/server/bin/hadoop/name</value>
<description>
hadoop文件元数据空间
</description>
</property>
<property>
<name>dfs.http.address</name>
<value>192.168.2.10:50070</value>
<description>
NameNode HTTP状态监视地址
</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/server/bin/hadoop/temp</value>
<description>
hadoop临时目录
</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/server/bin/hadoop/data</value>
<description>
N数据本地目录
</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description>
复本数
</description>
</property>
-----------------------------------------------------------------------------------------
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>server0:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
<property>
<name>mapred.map.tasks</name>
<value>8</value>
<description>The default number of map tasks per job.
Ignored when mapred.job.tracker is "local".
</description>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>8</value>
<description>The default number of map tasks per job
Ignored when mapred.job.tracker is "local".
</description>
</property>
<property>
<name>mapred.local.dir</name>
<value>/server/bin/hadoop/mapred/local</value>
<description>tasktracker上执行mapreduce程序时的本地目录</description>
</property>
<property>
<name>mapred.system.dir</name>
<value>/tmp/hadoop/mapred/system</value>
</property>
-----------------------------------------------------------------------------------------------------------------
master配置
localhost
server0
------------------------------------------------------------------------------------------------------------------
slave 配置
localhost
server1
server2
server3
----------------------------------------------------------------------------------------------------------------------
6.拷贝
将配置好的hadoop 文件拷贝到所有的 slave中
7.启动
启动之前 现format下hdfs文件
bin/hadoop namenode -format
bin/start-all.sh
bin/stop-all.sh
8.测试是否启动成功
jps 命令 :显示如下
suse@localhost:/server/bin/hadoop/logs> jps
12490 TaskTracker
11854 NameNode
12343 JobTracker
12706 Jps
3832 SecondaryNameNode
11992 DataNode
suse@localhost:/server/
http://localhost:50070 (查看节点数)
http://localhost:50030 (查看任务执行情况)
登录用户:suse
HOSTNAME:server0
4台机器:
192.168.2.10 server0(namenode)
192.168.2.11 server1(datanode)
192.168.2.12 server2(datanode)
192.168.2.13 server3(datanode)
1.首先强调的是 确保各个机器节点之间(任意两台机器之间可以ping IP/主机名 可以ping通)
ping IP
ping 主机名
2.修改server0的 /etc/hosts 配置文件
vi /etc/hosts 在 localhost的下面添加(位置任意)
127.0.0.1 localhost
#hadoop master
192.168.2.10 server0
192.168.2.11 server1
192.168.2.12 server2
192.168.2.13 server3
**修改 server0 (默认可能为localhost)
3.修改server1,server2,server3的 /etc/hosts 配置文件
(server1,server2,server3)均如下所示
127.0.0.1 localhost
192.168.2.11 server1
192.168.2.12 server2
192.168.2.13 server3
** **修改 server1/server2/server3 (默认可能为localhost)
4.SSH设置
1>所有节点生成RSA密钥对
ssh-keygen -t rsa(拷贝执行)
2>一直回车 默认保存路径为/home/suse/.ssh/下
3>将master的生成的id_rsa,id_rsa.pub 写入authorized_keys
cat id_rsa.pub >> authorized_keys
cat id_rsa >> authorized_keys
4>将所有slave的 id_rsa.pub 都写入 master的 authorized_keys,最后将master下的 authorized_keys 分发到所有slave
scp /home/suse/.ssh/authorized_keys server1:/home/suse/.ssh/
scp /home/suse/.ssh/authorized_keys server2:/home/suse/.ssh/
scp /home/suse/.ssh/authorized_keys server3:/home/suse/.ssh/
之后通过ssh 各主机名称 验证是否通过
最后,在所有机器执行用户权限命令chmod,命令如下
chmod 644 authorized_keys
第一次连接需要密码,输入yes和机器密码就可以。以后即不用再输入
5.配置文件
core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://server0:9000</value>
<description>The name of the default file system. A URI whose
scheme and authority determine the FileSystem implementation. The
uri's scheme determines the config property (fs.SCHEME.impl) naming
the FileSystem implementation class. The uri's authority is used to
determine the host, port, etc. for a filesystem.</description>
</property>
<property>
<name>dfs.datanode.socket.write.timeout</name>
<value>0</value>
<description>A base for other temporary directories.</description>
</property>
fs.default.name:hadoop 文件系统路径 (配置文件中一定要用主机名。如果用ip的话 以后各节点通信会不能正确解析)
dfs.datanode.socket.write.timeout 防止socket 异常
----------------------------------------------------------------------------------------------------
hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/server/bin/hadoop/name</value>
<description>
hadoop文件元数据空间
</description>
</property>
<property>
<name>dfs.http.address</name>
<value>192.168.2.10:50070</value>
<description>
NameNode HTTP状态监视地址
</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/server/bin/hadoop/temp</value>
<description>
hadoop临时目录
</description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/server/bin/hadoop/data</value>
<description>
N数据本地目录
</description>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description>
复本数
</description>
</property>
-----------------------------------------------------------------------------------------
mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>server0:9001</value>
<description>The host and port that the MapReduce job tracker runs
at. If "local", then jobs are run in-process as a single map
and reduce task.
</description>
</property>
<property>
<name>mapred.map.tasks</name>
<value>8</value>
<description>The default number of map tasks per job.
Ignored when mapred.job.tracker is "local".
</description>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>8</value>
<description>The default number of map tasks per job
Ignored when mapred.job.tracker is "local".
</description>
</property>
<property>
<name>mapred.local.dir</name>
<value>/server/bin/hadoop/mapred/local</value>
<description>tasktracker上执行mapreduce程序时的本地目录</description>
</property>
<property>
<name>mapred.system.dir</name>
<value>/tmp/hadoop/mapred/system</value>
</property>
-----------------------------------------------------------------------------------------------------------------
master配置
localhost
server0
------------------------------------------------------------------------------------------------------------------
slave 配置
localhost
server1
server2
server3
----------------------------------------------------------------------------------------------------------------------
6.拷贝
将配置好的hadoop 文件拷贝到所有的 slave中
7.启动
启动之前 现format下hdfs文件
bin/hadoop namenode -format
bin/start-all.sh
bin/stop-all.sh
8.测试是否启动成功
jps 命令 :显示如下
suse@localhost:/server/bin/hadoop/logs> jps
12490 TaskTracker
11854 NameNode
12343 JobTracker
12706 Jps
3832 SecondaryNameNode
11992 DataNode
suse@localhost:/server/
http://localhost:50070 (查看节点数)
http://localhost:50030 (查看任务执行情况)
发表评论
-
博客地址变更
2013-08-16 10:29 1162all the guys of visiting the bl ... -
hadoop 源码分析(六)hadoop taskTracker 生成map 和reduce任务流程
2013-04-09 17:36 2713taskTracker 生成map reduce ... -
hadoop 源码分析(六)hadoop taskTracker 生成map 和reduce任务流程
2013-04-09 17:33 0taskTracker 生成map reduce ... -
hadoop 源码分析(五)hadoop 任务调度TaskScheduler
2013-04-01 11:07 3909hadoop mapreduce 之所有能够实现job的运行 ... -
hadoop 源码分析(四)JobTracker 添加job 到schduler 队列中
2013-03-29 18:37 2846启动 JobTracker 1. 进入main方法: ... -
hadoop 源码分析(三) hadoop RPC 机制
2013-03-28 15:13 2380Hadoop 通信机制采用自己编写的RPC. 相比于 ... -
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker
2013-03-27 12:57 36981.JobClient 客户端类 通过 ... -
hadoop 源码分析(一) jobClient 提交到JobTracker
2013-03-26 13:41 3579Hadoop 用了2年多了.从最初一起创业的 ... -
RHadoop 安装教程
2013-02-01 17:18 1588RHadoop 环境安装 硬件: centos6 ... -
pig
2012-11-16 19:28 1178转自:http://www.hadoopor.c ... -
hadoop与hive的映射
2012-11-15 10:21 2344hadoop与hive的映射 ... -
hadoop distcp
2012-07-31 10:00 2789hadoop distcp 使用:distcp ... -
MapReduce中Mapper类和Reducer类4函数解析
2012-07-20 18:05 2094MapReduce中Mapper类和Reducer类4函数解析 ... -
hadoop metrics 各参数解释
2012-07-17 18:59 1480hadoop metrics 各参数解释 研究使用hadoo ... -
Hbase几种数据入库(load)方式比较
2012-07-17 14:52 13521. 预先生成HFile入库 这个地址有详细的说明http:/ ... -
Hadoop客户端环境配置
2012-05-11 14:59 1741Hadoop客户端环境配置 1. 安装客户端(通过端用户可以 ... -
hadoop 通过distcp进行并行复制
2012-05-02 15:25 2410通过distcp进行并行复制 前面的HDFS访问模型都集中于 ... -
linux crontab 执行hadoop脚本 关于hadoop环境变量引入
2012-04-10 12:11 0crontab问题 crontab的特点:PATH不全和无终 ... -
hadoop fs 命令封装
2012-04-09 09:39 0hadoop fs 命令封装 #!/usr/bin/env ... -
map-reduce编程核心问题
2012-02-22 13:38 12441-How do we break up a large p ...
相关推荐
hadoop集群配置文档
Hadoop集群配置文件备份
hadoop配置详细教程,涵盖了Hadoop集群配置从头到尾的所有细节部署,其中注意点已用红色标记,此文档曾用于企业Hadoop集群搭建教程,涵盖了 准备篇---配置篇----启动测试篇---问题篇,解决网络上Hadoop集群配置教程...
Hadoop集群配置及MapReduce开发手册
hadoop集群配置之———hive安装与配置(超详细)
Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...
hadoop集群配置之————flume安装配置(详细版)
hadoop集群配置 很实用的入门参考书
hadoop集群配置 一主两副 hbase zookeeper
HADOOP集群配置方法,详细记载了每一步配置
hadoop集群配置范例
在hadoop集群配置中边搭边记录的小白,一起学习!
有详细的Hadoop集群配置说明,另外还讲解了mapreduce开发和Hadoop性能优化。
windows下hadoop集群配置