myid file is missing-迪欧吧

ZooKeeper 是大型分布式系统中可靠的协调系统，它以树状结构存储数据，以领导选举和信息同步机制保证了集群的高可用性，以事件通知机制协助事件订阅者及时捕捉数据的变化，可协助实现 Dubbo、Kafka 等架构。本文以 CentOS 和 Windows 为例，总结了 ZooKeeper 集群的安排操作，并以自带的脚本命令操作其数据。

1.概述

ZooKeeper 是 Hadoop 的一个子项目，是大型分布式系统中可靠的协调系统。分布式应用程序以此实现更高级别的办事，可用于分布式系统的配置维护、名字办事、分布式同步、组办事等：

用于 Dubbo: 作为配置中心;

用于 Kafka: 作为 Broker/Producer/Consumer 共享的配置中心。

官网首页: https://zookeeper.apache.org/

官网文档: https://zookeeper.apache.org/doc/current/

1.1 ZAB协议

集群间通过 ZAB(ZooKeeper Atomic Broadcast)协议保持数据一致性，该协议包罗两个阶段：

1.1.1 领导选举(Leader Election)

选举出一个 Leader(所有写操作传送给 Leader)，其他机器被称为 Follower;

当前 Leader 崩溃或失去大多数 Follower 后，会选举出新的 Leader;

1.1.2 信息同步(Atomic broadcast)

用于同步 Leader 与 Follower 之间的信息，保证数据一致。

1.2 内部原理

https://zookeeper.apache.org/doc/current/zookeeperOver.html

存储方式与标准文件系统非常相似，每个节点称作 znode，本身包含数据，还可以拥有子节点。

客户端以TCP连接一台节点，该节点故障时，客户端会切换至其他节点。

客户端可以订阅某些节点的事件(watcher机制)，当节点内容或其子节点有变化时，客户端会收到通知。

• 高性能：多读少写的情况下，速度很快;存储于内存中，并有持久存储中的事务日志和快照;
• 高可用性(无中心化结构可避免单点故障): 个别节点故障不影响整体使用;
• 监视机制: 客户端可以监视一个结点(node)，当结点断开或有修改时，客户端会收到通知;
• 挨次一致性: 来自客户端的更新将按照它们发送的挨次进行应用。
• 原子性: 保证数据完整、一致，更新成功或失败，没有部分结果。
• 单系统映像: 无论办事器连接到哪个办事器，客户端都会看到相同的办事视图。
• 可靠性: 一旦更新被应用，它将一直持续到客户覆盖更新。
• 及时性: 系统的客户观点在必然的时间范围内保证是最新的。

1.3 系统要求

ZooKeeper 以 Java 版本运行，Java 版本要求为 1.6 ;

支持的操作系统包罗: GNU/Linux, Solaris, FreeBSD, Windows。

2.Linux 下安装

https://zookeeper.apache.org/doc/current/zookeeperStarted.html

2.1 下载并解压(35M)

# https://archive.apache.org/dist/zookeeper/ # https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/ wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz sudo rm -rf /opt/zookeeper-3.4.11 sudo tar -zxf zookeeper-3.4.11.tar.gz -C /opt sudo chown -R root:root /opt/zookeeper-3.4.11 sudo rm -rf /opt/zookeeper-3.4.11/bin/*.cmd

2.2 设置环境变量

## sudo vim /etc/profile ## 所有用户有效 export ZOOKEEPER_HOME=/opt/zookeeper-3.4.11 export PATH=$PATH:$ZOOKEEPER_HOME/bin

文件保留后，Linux用户重新登录后生效。

2.3 准备目录与配置文件

# sudo vim $ZOOKEEPER_HOME/bin/zkInit.sh # sudo -E sh $ZOOKEEPER_HOME/bin/zkInit.sh for INDEX in {1..3}; do sudo rm -rf $ZOOKEEPER_HOME/{data,logs}/$INDEX sudo mkdir -p $ZOOKEEPER_HOME/{data,logs}/$INDEX echo $INDEX | sudo tee $ZOOKEEPER_HOME/data/$INDEX/myid > /dev/null # zoo.cfg 参考: grep -v "^#" $ZOOKEEPER_HOME/conf/zoo_sample.cfg cat > $ZOOKEEPER_HOME/conf/zoo-$INDEX.cfg << EOF tickTime=2000 ## ZooKeeper 的最小时间单位(ms) initLimit=10 ## 投票选举新 leader 的初始化时间(以 tickTime 为单位) syncLimit=5 ## Leader 检测 Follower 可用性心跳的超不时间(以 tickTime 为单位) clientPort=218$INDEX ## 客户端用来连接 ZooKeeper 的端口 dataDir=$ZOOKEEPER_HOME/data/$INDEX ## 数据目录(存储内存数据库快照) dataLogDir=$ZOOKEEPER_HOME/logs/$INDEX ## 日志目录(存储事务日志) server.1=localhost:2281:2291 server.2=localhost:2282:2292 server.3=localhost:2283:2293 EOF done

其中的 clientPort=218$INDEX 是提供给客户端连接的端口(2181,2182,2183);

其中的 server.N = hostname : port1 : port2：

• N(1,2,3): “必需”是一个数字(表示这是第几号server)，不然报错 java.lang.NumberFormatException: For input string: "xxx"
• hostname(localhost): 是该 server 所在的域名或IP地址，为了通用，可替换为域名zk{n}.company.com 并在 hosts 里配置;
• port1(2281,2282,2283): 当前 server 是 leader 时，监听此端口接受 followers 的连接，注意followers不会监听此端口(直到它升级为 leader)
• port2(2291,2292,2293): 是选举 leader 时所使用的端口。

必需生成文件 $ZOOKEEPER_HOME/data/%n/myid，其内容为 zoo.cnf 中的 N(办事器ID), 不然抛出异常 java.lang.IllegalArgumentException: $ZOOKEEPER_HOME/data/{n}/myid file is missing

2.4 办事的配置并启动

## sudo vim /usr/lib/systemd/system/[email protected] ## 其中的 %i 将来会被替换为具体的 1/2/3 [Unit] Description=ZooKeeper After=syslog.target network.target [Service] Type=forking Environment="ZOOCFG=zoo-%i.cfg" ExecStart=/opt/zookeeper-3.4.11/bin/zkServer.sh start ExecStop=/opt/zookeeper-3.4.11/bin/zkServer.sh stop [Install] WantedBy=multi-user.target

配置为自动启动，并立即启动：

sudo systemctl daemon-reload sudo systemctl enable zookeeper@{1,2,3} sudo systemctl start zookeeper@{1,2,3} sudo netstat -natp | grep LISTEN | grep -E "218|228|229" # sudo systemctl stop zookeeper@{1,2,3}

2.5 防火墙放行

如果非本机应用需要连接 ZooKeeper，必需把所有 clientPort 端口放行。

### sudo vim /etc/sysconfig/iptables -A INPUT -m state --state NEW -m tcp -p tcp --dport 2181 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2182 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp --dport 2183 -j ACCEPT ### 重启生效: sudo systemctl restart iptables

2.6 客户端验证

zkCli.sh -server localhost:2181 ## 进入命令行状态 help ## 显示所有命令格式 quit ## 退出命令行状态 history ## 显示历史命令 ls path [watch] createpath data acl delete path [version] set path data [version] get path [watch] stat path [watch] sync path listquota path setquota -n|-b val path delquota [-n|-b] path addauth scheme auth setAcl path acl getAcl path printwatches on|off redo cmdno

也可集连接和命令于一行：

zkCli.sh -server localhost:2181 ls /

2.7 清空数据【慎用】

sudo systemctl stop zookeeper@{1,2,3} sudo rm -rf $ZOOKEEPER_HOME/{logs,data}/{1,2,3}/version-* sudo systemctl start zookeeper@{1,2,3}

2.8 卸载办事【慎用】

sudo systemctl stop zookeeper@{1,2,3} sudo systemctl disable zookeeper@{1,2,3} sudo rm -rf $ZOOKEEPER_HOME

3.Windows 下安装(可用于开发)

3.1 下载

https://archive.apache.org/dist/zookeeper/

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/

https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

3.2 安装

3.2.1 解压

3.2.2 修改系统环境变量

set ZOOKEEPER_HOME={???}zookeeper-3.4.11 set PATH=%ZOOKEEPER_HOME%bin

3.2.3 修改 confzoo-%n.cfg

cd/d %ZOOKEEPER_HOME% del /q bin*.sh rd/s/q data logs for %n in (1,2,3) do @mkdir logs%n for %n in (1,2,3) do @mkdir data%n for %n in (1,2,3) do @echo %n> data%nmyid for %n in (1,2,3) do @copy/b confzoo_sample.cfg confzoo-%n.cfg

修改文件 confzoo-%n.cfg 如下(别离替换其中的 %n 为 1,2,3)：

tickTime=2000 initLimit=10 syncLimit=5 clientPort=218%n dataDir=D:/Software/Architecture/zookeeper-3.4.11/data/%n dataLogDir=D:/Software/Architecture/zookeeper-3.4.11/logs/%n server.1=localhost:2281:2291 server.2=localhost:2282:2292 server.3=localhost:2283:2293

参数说明与 Linux 中相关内容一样。

3.2.4 修改脚本

删除 binzkEnv.cmd 中的 set ZOOCFG=%ZOOCFGDIR%zoo.cfg 一行;

for %n in (1,2,3) do @copy/b binzkServer.cmd binzkServer%n.cmd

修改各个文件 zkServer%n.cmd 在 call "%~dp0zkEnv.cmd" 之前加一行：

set ZOOCFG=%~dp0%..confzoo-%n.cfg，注意替换 %n 别离为 1/2/3

3.3 启动办事

zkServer1.cmd zkServer2.cmd zkServer3.cmd

3.4 客户端验证

zkCli.cmd -server centos:2181 ## 连接 Linux 上办事 zkCli.cmd -server localhost:2181 ## 连接本机上办事 ## 更多内容拜见前面 Linux 中相应部分

4.集群安排(生产环境)

办理员指南: https://zookeeper.apache.org/doc/current/zookeeperAdmin.html

• 要求至少为三台 ZooKeeper 办事器，最好是奇数个办事器(以便多数正常机器处理少数机器的故障)，通常三台足够了，如果想更可靠，可增加至五台;
• 为避免各办事器同时发生故障，最好安排在不同机器、不同网络交换机(电路、冷却系统等)、甚至不同机房;
• 为避免内存交换，要设置足够大的 JVM 堆，比如 4G 机器可指定 3G;

以上内容则是玖云博客网发布关于（myid file is missing）的内容信息！欢迎分享转载

未经允许不得转载：迪欧吧_技术交流_资源分享_热点资讯_免费VPS空间 » myid file is missing-迪欧吧