来源：蜘蛛抓取(WebSpider)
时间：2016-11-20 06:02
标签：
zookeeper 监控界面
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员，您的IP地址所在网段被ITeye拒绝服务，这可能是以下两种情况导致：
一、您所在的网段内有网络爬虫大量抓取ITeye网页，为保证其他人流畅的访问ITeye，该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站，该代理服务器被网络爬虫利用，大量抓取ITeye网页
请您点击按钮解除封锁&&&国之画&&&& &&&&&&
&& &&&&&&&&&&&&&&&&&&&&
鲁ICP备号-4
打开技术之扣，分享程序人生！您现在的位置：
总共35469条微博动态微博:
查看: 262|回复: 0
&成长值: 1095TA的每日心情无聊 10:48签到天数: 356 天[LV.8]以坛为家I
一、简介zkui它提供了一个管理界面，可以针对zookeepr的节点值进行CRUD操作，同时也提供了安全认证。
二、下载安装
1、下载地址
2、mvn clean install，执行前需要安装环境，maven环境，执行成功后会生成一个jar文件。
3、将config.cfg复制到上一步生成的jar文件所在目录，然后修改配置文件中的zookeeper地址。
4、执行 nohup java -jar zkui-2.0-SNAPSHOT-jar-with-dependencies.jar & ，注意后面的那个&，是指不退出的意思。
5、测试，，如能看到如下页面则代表zookeeper安装运行正常。（如果报118错误，说明防火墙没关）
1.png (10.81 KB, 下载次数: 0)
11:12 上传
2.png (26.93 KB, 下载次数: 0)
11:12 上传
123.png (37.43 KB, 下载次数: 0)
09:40 上传
6.用默认的账号和密码登录
username:adminpassword:manager
会员福利：
考虑到 有些用户不想安装maven 或者 mvn clean install 太慢了，毕竟不是国内，这里给大家提供下jar和配置文件。
点击下载：
科帮网-享受科技、热爱生活 1、本主题所有言论和图片纯属会员个人意见，与本社区立场无关2、本站所有主题由该帖子作者发表，该帖子作者与享有帖子相关版权3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和的同意4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任5、本帖部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责6、如本帖侵犯到任何版权问题，请立即告知本站，本站将及时予与删除并致以最深的歉意7、管理员和版主有权不事先通知发贴者而删除本文
Powered byZookeeper 监视
chencheng09
绑定的课程：
Zookeeper C API 的声明和描述在 include/.h 中可以找到，另外大部分的 Zookeeper C API 常量、结构体声明也在 zookeeper.h 中，如果如果你在使用 C API 是遇到不明白的地方，最好看看 zookeeper.h，或者自己使用 doxygen 生成 Zookeeper C API 的帮助文档。Zookeeper 中最有特色且最不容易理解的是监视(Watches)。Zookeeper 所有的读操作——getData(),&getChildren(), 和&exists()&都 可以设置监视(watch)，监视事件可以理解为一次性的触发器， 官方定义如下： a watch event is one-time trigger, sent to the client that set the watch, which occurs when the data for which the watch was set changes。对此需要作出如下理解：（一次性触发）One-time trigger当设置监视的数据发生改变时，该监视事件会被发送到客户端，例如，如果客户端调用了 getData(&/znode1&, true) 并且稍后 /znode1 节点上的数据发生了改变或者被删除了，客户端将会获取到 /znode1 发生变化的监视事件，而如果 /znode1 再一次发生了变化，除非客户端再次对 /znode1 设置监视，否则客户端不会收到事件通知。（发送至客户端）Sent to the clientZookeeper 客户端和服务端是通过 socket 进行通信的，由于网络存在故障，所以监视事件很有可能不会成功地到达客户端，监视事件是异步发送至监视者的，Zookeeper 本身提供了保序性(ordering guarantee)：即客户端只有首先看到了监视事件后，才会感知到它所设置监视的 znode 发生了变化(a client will never see a change for which it has set a watch until it first sees the watch event). 网络延迟或者其他因素可能导致不同的客户端在不同的时刻感知某一监视事件，但是不同的客户端所看到的一切具有一致的顺序。（被设置 watch 的数据）The data for which the watch was set这意味着 znode 节点本身具有不同的改变方式。你也可以想象 Zookeeper 维护了两条监视链表：数据监视和子节点监视(data watches and child watches) getData() and exists() 设置数据监视，getChildren() 设置子节点监视。 或者，你也可以想象 Zookeeper 设置的不同监视返回不同的数据，getData() 和 exists() 返回 znode 节点的相关信息，而 getChildren() 返回子节点列表。因此， setData() 会触发设置在某一节点上所设置的数据监视(假定数据设置成功)，而一次成功的 create() 操作则会出发当前节点上所设置的数据监视以及父节点的子节点监视。一次成功的 delete() 操作将会触发当前节点的数据监视和子节点监视事件，同时也会触发该节点父节点的child watch。Zookeeper 中的监视是轻量级的，因此容易设置、维护和分发。当客户端与 Zookeeper 服务器端失去联系时，客户端并不会收到监视事件的通知，只有当客户端重新连接后，若在必要的情况下，以前注册的监视会重新被注册并触发，对于开发人员来说 这通常是透明的。只有一种情况会导致监视事件的丢失，即：通过 exists() 设置了某个 znode 节点的监视，但是如果某个客户端在此 znode 节点被创建和删除的时间间隔内与 zookeeper 服务器失去了联系，该客户端即使稍后重新连接 zookeeper服务器后也得不到事件通知。
已学习课程数：4
已发表笔记数：92
1. 安装rrdtool1.1. 安装依赖包? 拷贝CentOS软件包将CentOS安装光盘中的rpm包拷贝到/root/下，以备使用。? 安装zlib开发包rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpm? 安装freetype开发包：rpm -ivh /root/CentOS/freetype-devel-2.2.1-21.el5_3.x86_64.rpm? 安装libart开发包：rpm -ivh /root/CentOS/libart_lgpl
首先是页面：报错任务的页面（报错的任务就称为任务1，运行成功的任务就称为任务2）：图1 任务2的页面：图2 图1中点击2（History）连接，发现还是在原始连接；而图3的History链接点击后就会出现2的页面。如果在图3中直接点击log，那么会出现log找不到的错误（在图2中点击则没有问题）。图3 通过上面的对比，可以发现图1和图3的url链接是对应的，但是图1点击History还是链接会图1页面，图3却可以连接到图2界面。在图1和图3中直接点击log，会出现log找不到的错误，一般如下：图4 在图2
package org.conan.myhadoop.
import java.io.IOE
import java.util.HashM
import java.util.I
import java.util.M
import org.apache.hadoop.fs.P
import org.apache.hadoop.io.IntW
import org.apache.hadoop.io.Lon
在运行Spark应用程序的时候，driver会提供一个webUI给出应用程序的运行信息，但是该webUI随着应用程序的完成而关闭端口，也就是说，Spark应用程序运行完后，将无法查看应用程序的历史记录。Spark history server就是为了应对这种情况而产生的，通过配置，Spark应用程序在运行完应用程序之后，将应用程序的运行信息写入指定目录，而Spark history server可以将这些运行信息装载并以web的方式供用户浏览。& & & 要使用history
本实验平台是在一台物理机上搭建的，物理机的配置是16G内存，4核8线程CPU。平台的环境配置如下：&机器名&配置&角色&软件安装&hadoop1&2G内存，双核&hadoop：NN/DN Spark：Master/worker&/app/hadoop/hadoop220/app/hadoop/spark100/app/scala2104/usr/java/jdk1.7.0_21&hadoop2&2G内存，双
Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通过Spark生态圈，AMPLab运用大数据、云计算、通信等各种资源，以及各种灵活的技术方案，对海量不透明的数据进行甄别并转化为有用的信息，以供人们更好的理解世界。Spark生态圈已经涉及到机器学习、数据挖掘、数据库、信
本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper 本实验相关的hadoop配置文件下载（HA+JN+ZK+proxy）：根据上面相关资料重新配置HA+JournalNode+zookeeper环境，并格式化后启动，然后使用物理机192.168.100.111(机器名wyy)作为客户端来访问集群。$ /app/hadoop/zookeeper345/bin/zkServer.sh start$ /app/hadoop/hadoop220/sbin/hadoop
NN是HDFS的核心，一旦破坏，hadoop整个系统将瘫痪。hadoop2.2.0提供了NN HA，提高了NN的可用性。但如果发生了NN故障转移，那么需要处理故障点。本实验主要是针对NN故障转移的几种情况的处理：实验一：原Active NN意外挂机或JVM溢出等原因造成，但原Active NN文件系统完好实验二：原Active NN元数据损坏或重新部署新的NN 本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper本实验相关的hadoop配置文件下载（HA+JN+
1：实验目的 A：client如何访问HA HDFSB：client如何访问HA HDFS + Federation 2：client如何访问HA HDFS本实验环境搭建指导：HDFS HA系列实验之二：HA+JournalNode+zookeeper本实验相关的hadoop配置文件下载（HA+JN+ZK）根据上面相关资料重新配置HA+JournalNode+zookeeper环境，并格式化后启动，然后使用物理机192.168.100.111(机器名wyy)作为客户端来访问集群。 A：启动集群$ /app
o什么是Zookeeper& ZK是一个高效的分布式协调服务，它暴露了一些公用服务，比如命名/配置管理/同步控制/群组服务等。我们可以使用ZK来实现比如达成共识/集团管理/leader选举等。oZookeeper server组成& ZK server根据其身份特性分为三种：leader，Follower，Observer，其中Follower和Observer又统称Learner（学习者）。&&& Leader：负责客户端的writer类型请求
zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的&The Chubby lock service for loosely-coupled distributed systems&论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。&
zookeeper安装和使用 zookeeper的安装基本上可以按照 http://hadoop.apache.
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析zookeeper的工作原理，对于如何使用zookeeper不是本文讨论的重
分布式环境中大多数服务是允许部分失败，也允许数据不一致，但有些最基础的服务是需要高可靠性，高一致性的，这些服务是其他分布式服务运转的基础，比如naming service、分布式lock等，这些分布式的基础服务有以下要求：高可用性高一致性高性能对于这种有些挑战CAP原则的服务该如何设计，是一个挑战，也是一个不错的研究课题，Apache的ZooKeeper也许给了我们一个不错的答案。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它暴露了一个简单的原语集，分布式应用程序可以基于它实现同步
1 概述 & --------------------------------------------------------------------------------Zookeeper分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在于通过分布式ZooKeeper集群（一个Lead
Zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式，它们分别是恢复模式（选主）和广播模式（同步）。当服务启动或者在领导者崩溃后，Zab就进入了恢复模式，当领导者被选举出来，且大多数Server完成了和leader的状态同步以后，恢复模式就结束了。状态同步保证了leader和Server具有相同的系统状态。为了保证事务的顺序一致性，zookeeper采用了递增的事务id号（zxid）来标识事务。所有的提议（proposal）都
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。
1.最终一致性：client不论连接到哪个Server，展示给它都是同一个视图，这是zookeeper最重要的性能。2 .可靠性：具有简单、健壮、良好的性能，如果消息m被到一台服务器接受，那么它将被所有的服务器接受。3 .实时性：Zookeeper保证客户端将在一个时间间隔范围内获得服务器的更新信息，或者服务器失效的信息。但由于网络延时等原因，Zookeeper不能保证两个客户端能同时得到刚更新的数据，如果需要最新数据，应该在读数据之前调用sync()接口。4 .等待无关（wait-free）：慢的或者失
当leader崩溃或者leader失去大多数的follower，这时候zk进入恢复模式，恢复模式需要重新选举出一个新的leader，让所有的Server都恢复到一个正确的状态。Zk的选举算法有两种：一种是基于basic paxos实现的，另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。先介绍basic paxos流程：1 .选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；2 .选举线程首先向所有Server发起
&&&&动力节点Java培训 下面给出的Java开发中ClassLoader中的描述，哪些描述是正确的（C）&AClassLoader没有层次关系&B所有类中的ClassLoader都是AppClassLoader&C通过classforname(StringclassName)能够动态加载一个类&D不同的ClassLoader加载同一个Class文件，所得的类是相同的& 拓展知识ClassLoader知识
动力节点Java培训 面试题：Java是如何管理内存的？& 答案：Java的内存管理就是对象的分配和释放问题。在Java中，Java程序员需要通过关键字new为每个对象申请内存空间，所有的对象在堆中分配空间。另外，对象的释放是有GC决定和执行的。在Java中，内存的分配是由程序完成的。而内存的释放室友GC完成的，这种收支两条线的方法确实简化了程序员的工作。但同时，它也加重了JVM的工作。这也是Java程序运行速度较慢的原因之一。因为GC为了能够正确释放对象，必须监控每一个对象的运行状态，包括
&&&&动力节点Java培训 面试题&Whichofthefollowingwillcompilecorrectly?(D)&Ashortmyshort=99S&Bintt=”abc”.length()&Cfloatz=1.0&Dcharc=17c& 解析：shortmyshort=99S这句要执行自动装箱，调用shortvalue方法，显然99S无法得到值。& 将floatz=1.0；改为
&动力节点Java培训 面试题：Java中的垃圾收集器相对于以前的语言优势是什么？& 答案：过去的语言（如C语言）要求程序员显示的分配内存、释放内存。程序在需要时分配内存，不需要时释放内存。但是这种做法常常引起“内存泄露”，即由于某种原因使分配的内存始终没有得到释放。如果该任务不断重复，程序最终会耗尽内存并异常终止，至少无法继续运行。相比之下，Java开发不要求程序员显示的分配地分配内存和释放内存，避免了很多潜在问题。Java在创建对象时会自动分配内存，并当该对象的引用不存在时释放
动力节点Java培训& 面试题：下面哪一项说法是正确的？&A：在一个子类中，一个方法不是public的就不能被重载&B：覆盖一个方法只需要满足相同的方法名和参数类型就可以了&C：覆盖一个必须要有相同的方法名参数和返回类型&D：一个覆盖的方法必须有相同的方法名、参数名和参数类型& 答案：C& 问题解析：对于在同一个访问区被声明的几个具有不同参数列的同名函数，程序会根据不同的参数列来确定具体调用哪个函数，这种机制叫重载，重载不关心函数
&——动力节点java& 面试题：下面哪个选项的说法是正确的？&A：构造函数不能被重载&B：构造函数不能被覆盖&C：一个构造函数可以返回一个私有的或一个对象的引用&D：构造函数代码执行时是从当前的类层级到它祖先的类& 答案：B& 问题解析：重载构造函数是一个主要的技术，可以允许多种方式初始化一个类。通过定义，构造函数是没有返回值的。所以选项C是错误的，这种说法并没有任何意义。选项D中构造函数代码的执行是从它最老的祖先类开
&——动力节点java& 面试题& 什么是reflection？其他语言有这种特点吗？& 答案：Java中的反射是一种强大的工具，它能够创建灵活的代码，这些代码可以在运行时装配，无需在组件之间进行链接。反射允许在编写与执行时，使程序代码能够接入装载到JVM中的类的内部信息，而不是源代码中选定的类协作的代码。这使反射成为构建灵活应用的主要工具。需要注意的是，如果使用不当，发射的成本会很高。&Java中的类发射reflection是Java程序开发语言的
动力节点Java培训 现如今的计算机专业绝大多数的学生是零基础，毕业之际，有的成了大神，有的还是零基础，所以零基础的同学只有找对方向，才能成功，下面就动力节点的Java老师分享一下多年的教学经验，让你从零基础Java小白变成人人羡慕的Java大神。&1.学会写程序& 程序就是，将自己的思考用程序表现出来。比如复杂的小工具、大数计算器等。这个过程中你逐渐了解数组、指针、内存布局、函数，了解递归、栈、链表，然后学习基本的数据结构。之后再写程序，你需要考虑代码的优雅、简单、时间空间效率高
&——动力节点java培训& 如果你想要开启作为web开发人员的职业生涯，那么你需要涉及的不仅仅是知道如何写代码，还有一些必备技能也是必须掌握的。& 今天动力节点的Java培训老师，为大家讲解一下，一个Java工程师，除了编程外还需要具备的必备技能。& 必备技能一：书面沟通& 在开始每天的工作之前，你可能需要先回复邮件。电子邮件迅速成为了生产力的死亡陷阱。与此同时，电子邮件也是展示你对别人有多大价值的门户。书面技能依然是事实业务沟通的领头羊。
& 在如今加班严重的行业中IT行业首屈一指程序员更是难逃加班的悲惨命运，生活作息不规律，饮食上马马虎虎，导致疲劳过度；疲劳过度是因为工作时间长,劳动强度加重,心理压力大,存在精疲力竭的亚健康状态。& 所以为了程序员的身体健康，动力节点（Java培训）特咨询健康专家，得来几个缓解疲劳过度的小方法& 一、按生物钟有规律地作息.& 成人该保持8小时正常的睡眠时间，可是理想很丰满，现实很骨感，每天保证6-7小时的睡眠时间就已经很不错了，合理的休息可以更有效率的工作。
Storm单机+zookeeper集群安装
1、安装zookeeper集群
2、准备机器
10.10.3.44 flumemaster1
10.10.3.129 flumemaster2
10.10.3.132 flumecollector1
10.10.3.115 flumeNg1
3、配置hosts文件(4台服务器上面都需要配置)
vi /etc/hosts
需求：将mysql中的表b05_age的数据导入hive中
yum install sqoop（sqoop必须安装在有hive client的服务器上面，如果没有执行yum install hive）
复制mysql的驱动jar到/usr/lib/sqoop/lib下面
2、异常处理
正确命令:（将关系型数据的表结构复制到hive中）
sudo -u hive sqoop create-hive-table --connect jdbc:my
准备机器：
192.168.1.241
192.168.1.242
192.168.1.243
1、查看ip地址是否为静态ip，如果不是进行配置
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.1.241
1. 我用的Oracle 客户端最好的工具是PL/SQL Developer, 当然，如果用免费的Toad也不错，感觉现在用Toad的人还是挺多的。
2. Oracle SQL如果想提高速度有几个方式
1）创建索引，尽量建立唯一索引
2）当要创建的索引列的值取值比较小，建议创建Bitmap的索引而不是默认的Btree的。（比如性别，学历等）
3）在where条件后尽量采用数字类型的字段，比varchar的速度快
4）尽量不用用IN,Not In,union这样的条件查
1. 通过freemarker静态化
2. 通过jsp filter静态化
主要思路：请求servlet-&判断静态文件是否存在并且静态文件创建时间是否在阀值之内--&如果不是，则访问数据库生成静态文件-&否则直接跳转静态文件
然后通过urlReWrite直接将访问servlet的请求改为html,完成seo
最后通过SQUID缓存前台数据
一、从数据库中取相应数据并替换掉模板中的对应标签，下面是一个简单的示例
java.io.IOE
java.io.InputS
java.io.OutputS
java.io.OutputStreamW
java.io.PrintW
java.net.InetSocketA
java.util.L
java.util.M
服务器优化说明
WEB服务器优化
更换tomcat5为tomcat6
版本copy测试服务版本即可
加大tomcat内存
修改bin下的catalina.sh文件,增加青绿色部分
JAVA_OPTS='-Xms768m -Xmx1648m -XX:MaxPermSize=512m'
加大tomcat连接数
修改conf下的server.xml文件，修改青绿色部分参数值
s.username,
decode(l.type,'tm','table lock','tx','row lock',null) lock_level,
o.object_name,
o.object_type,
s.serial#,
s.terminal,
s.machine,
s.program,
from v$session s,v$lock l,dba_objects o
where l.sid = s.s
一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@晨色星空J2EE也给了我很大帮助，这里也谢谢@晨色星空J2EE之前在弄这个的时候，跟群里的一些人讨论过，有的人说，直接用storm不就可以做实时处理了，用不着那么麻烦；其实不然，做软件开发的都知道模块化
1. Storm介绍2. Storm环境配置3. Storm程序流程4. Storm总结及问题1. Storm介绍 1.1&实时流计算背景 随着互联网的更进一步发展，信息浏览、搜索、关系交互传递型，以及电子商务、互联网旅游生活产品等将生活中的流通环节在线化。对于实时性的要求进一步提升，而信息的交互和沟通正在从点对点往信息链甚至信息网的方向发展，这样必然带来数据在各个维度的交叉关联，数据爆炸已不可避免。因此流式处理和NoSQL产品应运而生，分别解决实时框架和数据大 规模存储计算的问题。 流式处理可
