Zookeeper的shell操作】的更多相关文章

前文 一.CentOS7 hadoop3.3.1安装(单机分布式.伪分布式.分布式 二.JAVA API实现HDFS 三.MapReduce编程实例 四.Zookeeper3.7安装 Zookeeper的Shell操作 @ 目录 前文 Zookeeper的Shell操作 1.显示所有命令 2 .查看当前Zookeeper中所含的内容 3.查看当前节点数据 4.创建节点: 5.获取节点: 6.修改节点: 7.监听节点: 8.删除节点: ZooKeeper服务命令: 启动ZK服务: sh bin/z…
一.客户端连接服务器 zkCli.sh start 二.命令操作 进入到客户端操作行,键入help 查看zookeeper命令列表 常用命令 1) 查看节点列表:ls 路径 2) 创建节点:create /节点名 数据 #create -e 创建临时节点,create -s 创建有序节点 3) 设置节点内容:set /节点名 4) 获取节点内容:get /节点名 5) 删除节点内容:rmr 路径 6) 断开连接:quit…
Zookeeper的shell操作 Zookeeper命令工具 在启动Zookeeper服务之后,输入以下命令,连接到Zookeeper服务: [hadoop@hadoop1 ~]$ zkCli.sh -server hadoop2:2181 [hadoop@hadoop1 ~]$ zkCli.sh -server hadoop2:2181 Connecting to hadoop2:2181 2018-03-21 19:55:53,744 [myid:] - INFO [main:Enviro…
zookeeper的shell下操作 进入%ZK_HOME%/bin 执行zkCli.sh [-server ip:port] #如不指定,则连接本机   创建: create [-s] [-e] path data acl #创建数据节点 --其中 -s表示顺序节点 -e表示临时节点,两个都不加则是持久节点 --acl 指定权限控制,不赋值则不进行任何权限控制   练习:创建/zk-book 其中数据为123 Create /zk-book 123   列出: ls path [watch]…
一. 安装 1. 启动Zookeeper集群 2. 启动Hadoop集群 3. 上传并解压HBase -bin.tar.gz -C /opt/module 4. 修改配置文件 #修改habse-env.sh export JAVA_HOME=/opt/module/jdk1..0_144 export HBASE_MANAGES_ZK=false JDK1.8需要注释 #export HBASE_MASTER_OPTS.... #export HBASE_REGIONSERVER_OPTS...…
2.6.与 Hive 的集成2.6.1.HBase 与 Hive 的对比1) Hive(1) 数据仓库Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以方 便使用 HQL 去管理查询.(2) 用于数据分析.清洗Hive 适用于离线的数据分析和清洗,延迟较高.(3) 基于 HDFS.MapReduceHive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终将是转换为 MapReduce 代码执行. 2) HBase(1) 数据库是一种面…
1.HBase的配置 还是以前配置的集群,见:http://www.cnblogs.com/DarrenChan/p/6493373.html 我们约定:weekend03和weekend04放HMaster,weekend05.weekend06和weekend07放HRegionServer 1.上传hbase安装包 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/c…
第1章 HBase 简介1.1 什么是 HBase1.2 HBase 特点1.3 HBase 架构1.3 HBase 中的角色1.3.1 HMaster1.3.2 RegionServer1.3.3 其他组件第2章 HBase 安装2.1 Zookeeper 正常部署2.2 Hadoop 正常部署2.3 HBase 的解压2.4 HBase 的配置文件2.5 HBase 远程发送到其他集群2.6 HBase 服务的启动2.7 查看 HBase 页面第3章 HBase Shell 操作3.1 基本…
注意:这次使用的是第二部分安装的集群,不是高可用集群 为了方便,开发,必须写集群脚本,试想集群的机器是100台以上,而不是3台的情况.... 集群启动脚本 vim /home/admin/tools/start-cluster.sh #!/bin/bash echo "================ 开始启动所有节点服务 ===========" echo "================ 正在启动Zookeeper ===========" for i in…
Phoenix的shell操作 一.Phoenix的Shell操作 1.进入(hbase01是主机名,2181是zookeeper的端口) 2.退出(注意结尾不加分号) 3.查询所有表(注意结尾不加分号) 4.创建表(除了上面带感叹号的语句,其余语句都得加分号) 5.删除表结构 6.修改表结构 7.查看表结构信息 8.创建表某一列索引 9.删除索引 10.向表中插入一条数据(注意:数据值需要用引号时只能用单引号,双引号会报错) 11.删除表中数据(注意:数据值需要用引号时只能用单引号,双引号会报…
(1)分布式文件系统 随着数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统 .它是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和存储空间. 而它最主要的特性就是通透性.让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般.即使系统中有某些节点脱机,整体来说系统仍然可以持续运作而不会有数据损失 分布式文件管理系…
Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 1.shell操作 1.1全部的HDFS shell操作命名能够通过hadoop fs获取: [root@hadoop ~]# hadoop fs Usage: java FsShell            [-ls <path>]            [-lsr <path>]            [-du <…
一个.hadoop1.1.0演示 hadoop它适合于大容量数据存储和分布式计算平台 hadoop核心由hdfs和mapreduce组成 hdfs这是一个主从结构,仅有一个.是namenode:从节点有非常多个 分布式文件系统与HDFS (HDFS体系结构与基本概念) Distributed File System 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到很多其它的操作系统管理的磁盘中.可是不方便管理和维护,因此迫切须要一种系统来管理多台机器上  的文件,这就是分布式文件管…
Linux shell 操作 postgresql:删除间隔日期的数据-删除指定日期的数据-vacuumdb 清理数据库 -清理日志 -定期执行脚本 *修改pg_hba.conf 设置本地连接无密码,trust # "local" is for Unix domain socket connections only local all all trust # IPv4 local connections: host all all 127.0.0.1/32 trust crontab…
上一篇:每篇半小时1天入门MongoDB——1.MongoDB介绍和安装 配置环境变量 Win10系统为例 右键单击“此电脑”——属性——高级系统设置——高级——环境变量,添加C:\Program Files\MongoDB\Server\3.0\bin;.注意:要以;隔开各种变量. 这样的话就可以直接在CMD命令窗口中输入mongo 表示环境变量设置成功,并已经连接到默认数据库test中. 我们可以输入mongod --help来查看相关的帮助信息 C:\Users\zouqi>mongod…
RHEL自动安装zookeeper的shell脚本 A:本脚本运行的机器,Linux RHEL6 B,C,D,...:待安装zookeeper cluster的机器, Linux RHEL6 首先在脚本运行的机器A上确定可以ssh无密码登录到待安装zk的机器B,C,D,...上,然后就可以在A上运行本脚本: $ ./install_zookeeper 前提: B, C, D机器必须配置好repo,本脚本使用的是cdh5的repo, 下面的内容保存到:/etc/yum.repos.d/cloude…
1. HDFS的shell操作 1.1. 支持的命令及参数 [yun@mini05 zhangliang]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] &…
HDFS shell操作及HDFS Java API编程 1.熟悉Hadoop文件结构. 2.进行HDFS shell操作. 3.掌握通过Hadoop Java API对HDFS操作. 4.了解Hadoop文件操作原理. 1.查看HDFS的NameNode和DataNode目录结构. 2.通过HDFS shell进行文件上传,目录创建等操作. 3.通过Java API进行文件增删查改操作. Hdfs shell 操作: 查看hdfs根目录: Hdfs dfs -ls / 创建文件夹 Hdfs d…
0. 说明 记录 ZooKeeper 的读写操作和选举机制 1. ZooKeeper 的读写操作 读操作:所有 ZooKeeper 节点都可以提供读请求(包括 follower 和 leader ) 写操作:需要先通过 leader 节点,leader 同意之后,可以向指定节点写入 2. ZooKeeper 的选举机制 2.1 说明 ZooKeeper 虽然在配置文件中并没有指定 master 和 slave,但是 ZooKeeper 工作时,只有一个节点为 leader,其他则为 follow…
一.HDFS的shell命令简介 我们都知道HDFS 是存取数据的分布式文件系统,那么对HDFS 的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等.对HDFS 的操作命令类似于lLinux 的shell 对文件的操作,如ls.mkdir.rm 等.我们在执行HDFS的shell操作的时候,一定要确定hadoop 是正常运行的,我们可以使用使用jps 命令确保看到各个hadoop 进程.我们可以执行命令hadoop fs,来查看HDFS的shel…
From : http://www.2cto.com/database/201306/220570.html Shell操作mysql数据库   mysql  -hhostname -Pport -uusername-ppassword  -e  相关mysql的sql语句,不用在mysql的提示符下运行mysql,即可以在shell中操作mysql的方法.   #!/bin/bash   HOSTNAME="192.168.111.84":                      …
(1)MySQL的启动 重启了一次服务器后,使用> mysql -u root -p登陆是出现下面的错误: ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2) 查看状态: > /etc/rc.d/init.d/mysqld  status 显示stop,未运行:>/etc/rc.d/init.d/mysqld  restart (2)mysql数据库导入.…
从FTP服务器上下载文件或上传文件到FTP服务器是生产环境中比较常见的场景之一. shell操作FTP的方式整理如下: 思路一:使用shell调用ftp等客户端 使用FTP方式,通过shell调用ftp等客户端,从而完成FTP文件的上传.下载等操作. 方式一:ftp方式 一个基本的ftp工具,需安装ftp(yum -y install ftp,后同).一个样例如下: ########################################################### ##函数功…
一.shell操作日期时间 linux 系统为我们提供了一个命令 date,专门用来显示或者设置系统日期时间的.      语法格式为:      date [OPTION]... [+FORMAT] 或者      date [-u|--utc|--universal] [MMDDhhmm[[CC]YY][.ss]]      常用的可选项有:      --help 显示辅助信息      --version 显示 date 命令版本信息      -u 显示目前的格林威治时间      -…
1.hadoop1.0与hadoop2.0的区别:…
一.shell和bash shell --unix --Bourne shell ,bash --linux --Bourne again shell.bash (GNU Bourne-Again Shell) 是许多Linux发行版的默认shell. 二.命令解释器的作用 解释用户输入的命令, 执行对应的操作.用户在虚拟终端输入命令,shell解析命令,搜索环境变量,找到输入的命令运行这个程序,终端下才会有对应的输出. 三. shell操作的快捷键 命令或者目录补齐 快捷键:Tab 遍历历史记…
mongo实践-通过js shell操作mongo 保存命令: j={name:"wangjingjing",age:15} db.user.save(j); 查询命令: var cursor = db.user.find(); while(cursor.hasNext())printJson(cursor.next()); printJson(cursor[4]); var arr = cursor.toArray(); db.user.find({name:"wangji…
有些事不是努力就可以改变的,五十块的人民币设计的再好看,也没有一百块的招人喜欢. 前言 由于公司年底要更换办公地点,所以最近投了一下简历,发现面试官现在很喜欢问dubbo.zookeeper和高并发等.由于公司没有使用dubbo,只知道dubbo是一个远程服务调用的分布式框架,zookeeper为分布式应用程序协调服务.因此,本周查阅资料整理下zookeeper学习笔记. 安装zookeeper 安装参考链接https://blog.csdn.net/qiunian144084/article/…
Hbase的数据结构 基本要素:命名空间.表.行.列.单元格,region,时间戳. 1.命名空间:NameSpaces的作用 Table:表,所有的表都是命名空间的成员,即表必属于某个命名空间,如果没有指定,则在default默认的命名空间中. RegionServer group:一个命名空间包含了默认的RegionServer Group. Permission:权限,命名空间能够定义访问控制列表ACL(Access Control List).例如,创建表,读取表,删除,更新等等操作.…
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系统环境变量: ~/.bash_profile export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79 export PATH=$TAVA_HOME/bin:$PATH 环境变量生效:source ~/bash_profile 验证Java是否配置成功:java -…