博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
分布式Hadoop安装(二)
阅读量:5946 次
发布时间:2019-06-19

本文共 1283 字,大约阅读时间需要 4 分钟。

二、集群环境安装Zookeeper

1.         hadoop0,namenode机器下,配置zookeeper,先解压安装包。

使用命令:tar -zxvf zookeeper-3.4.4.tar.gz

2.         Hadoop0,配置zookeeper的环境变量

a)         打开/etc/profile,增加并修改如下内容

 

export ZOOKEEPER_HOME=/usr/local/zookeeperexport PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH:$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

 3.         进入zookeeper的配置目录,首先把zoo_sample.cfg重命名一下,可以重新复制一遍。

使用命令:cp zoo_sample.cfg zoo.cfg

4.         修改配置zoo.cfg,修改添加如下内容:

dataDir=/usr/local/zookeeper/dataserver.0=hadoop0:2888:3888server.1=hadoop1:2889:3889

dataDir用于存放第5步的myid文件

Hadoop0、hadoop1分别是主机名,节点数量最好是奇数;

2888端口,是从机器(follower)连接到主机器(leader)的端口号;

端口3888,是进行leadership选举的端口号;

注意,如果是在一台机器上搭建,则应避免端口冲突。

5.         dataDir所指定的目录下创建一个文件名为myid的文件

文件中的内容只有一行,为本主机对应的id值,也就是第4步中server.id中的id。例如:在hadoop0中的myid的内容应该写入0。

6.         将配置好的zookeeper安装文件及profile远程复制分发

scp –rq /usr/local/zookeeper hadoop1:/usr/local

scp –rq /etc/profile hadoop1:/etc

7.         拷贝完成后修改对应的机器上的myid。例如修改hadoop1中的myid为1

8.         启动ZooKeeper集群,在每一个节点上执行命令zkServer.sh start

9.         Jps验证,每个阶段均,输出如下结果:

 

其中,QuorumPeerMain是zookeeper进程,启动正常。

10.     其他常用命令:

a)         查看集群中角色的命令(或是Leader,或是Follower):zkServer.sh status

b)         客户端连接zookeeper:zkCli.sh –server hadoop0:2181,客户端成功后,可通过如下命令操作zk

 

ls(查看当前节点数据),

ls2(查看当前节点数据并能看到更新次数等数据) ,

create(创建一个节点) ,

get(得到一个节点,包含数据和更新次数等数据),

set(修改节点)

delete(删除一个节点)

c)         停止zookeeper进程:zkServer.sh stop

转载地址:http://rqfxx.baihongyu.com/

你可能感兴趣的文章
视频点播-资源用量
查看>>
好程序员分享大势所趋 HTML5成Web开发者最关心的技术 ...
查看>>
北汽集团荣辉:抓不住自动驾驶 就抓不住车企的命脉 | 自动驾驶这十年 ...
查看>>
豆瓣评分8.8,这本程序员案头必备宝典,10年沉淀,新版再现 ...
查看>>
运行 Spring Boot 应用的 3 种方式!
查看>>
【内容安全】虚拟化及云环境下数据库审计优缺点分析
查看>>
crmeb电商系统
查看>>
xttprep.tmpl
查看>>
mycat垂直分库
查看>>
无需停机,手把手教您将 Docker CE 切换为 Docker EE
查看>>
Ubuntu 14.04 Web服务器,Apache的安装和配置
查看>>
MaxCompute 图计算用户手册(上)
查看>>
自带科技基因,打造纯原创IP,“燃烧小宇宙”获数千万A轮融资
查看>>
未能加载文件或程序集"Newtonsoft.Json, Version=4.5.0.0
查看>>
C#多线程编程系列(二)- 线程基础
查看>>
Jenkins 内置变量(学习笔记二十四)
查看>>
PostgreSQL 10.1 手册_部分 II. SQL 语言_第 13 章 并发控制_13.2. 事务隔离
查看>>
虚拟机概念
查看>>
【云周刊】第195期:全球首家!阿里云获GNTC2018 网络创新大奖 成唯一获奖云服务商...
查看>>
【VS】使用vs2017自带的诊断工具(Diagnostic Tools)诊断程序的内存问题
查看>>