1.namenode –format:格式化DFS 文件系统 2.secondaryNameNode: 运行DFS的 SecondaryNameNode 进程 hadoop secondarynamenode [-checkpoint  [force]] //当 EditLog超过规定大小( 默认64MB)时,启动检查 secondarynamenode的checkpoint 过程:如果启用 force选项,则强制执行checkpoint过程. [-geteditsize]           …

一.HDFS的客户端种类 1.网页形式  =>用于测试 网址为你的namenode节点的ip+50070的端口号,如: 192.168.50.128:50070 2.命令行形式 =>用于测试 3.企业级API 二.HDFS客户端的命令行操作 注释:/hdfs为HDFS上的目录 /root/linux为本地集群路径 1.查看帮助 hdfs dfs -help 2.查看目录下的信息 hdfs dfs -ls / hdfs dfs -ls -R / (查看根目录下所有文件和目录) 3.上传文件到HD…

hadoop学习及实践笔记—— HDFS shell命令行常见操作 附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [ge…

本人微信公众号,欢迎扫码关注! HDFS概念及命令行操作 一.HDFS概念 1.1 概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色. HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改.适合用来做数据分析,并不适合用来做网盘应用. 1.2 组成 1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode. 2)NameNode负责管理整个文件系统…

1.  概述 数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数据性数据库里数据--->hadoop)+kafka(将实时日志在线--->sparkstream在数据进行实时处理分析) 存储层:HDFS+Hbase(非关系型数据库)+kafka(节点上默认存储1G数据) 资源调度层:Yarn 计算层:MapReduce+ Hive(计算+存储型框架:sql--…

前几天在写代码的时候电脑突然坏掉,老大交代的任务没完成,非常痛恨自己用svn或者git保存代码,相信很多程序员遇到过,硬盘坏掉,存在硬盘中的代码丢失,无法找回的问题,svn和git可谓程序员界的福音,那么问题来了,什么是svn和git呢? svn和git其实都是一种用来管理项目的控制版本工具,他们有很多好处,比如 1.防止代码丢失----可以把自己的代码上传到服务器上 2.适合多人开发----合并代码超级简单 3.能够进行版本回退 4.能解决冲突和bug 5.可以做分支 6.责任到人----可以…

之前分享过多次Mysql主题,今天继续分享mysql命令行入门   1. 那么多mysql客户端工具,为何要分享命令行操作? -快捷.简单.方便 -在没有客户端的情况下怎么办 -如果是mysql未开启第三方访问,客户端就是白瞎   2. 如何通过命令行进入mysql   --Start-- [root@localhost~]# mysql -u root -p    #老徐注释:输入左侧命令,回车 root是用户名 Enter password:                         …

windows下使用TortoiseGit代替Git命令行操作 大家在使用svn的时候,都非常喜欢使用小乌龟,也就是TortoiseSVN:那么git也有小乌龟版本,即TortoiseGit. 1.安装TortoiseGit 安装使用TortoiseGit的前提,是windows下msysGit环境都安装并设置好,并且已经生成了私钥和公钥,即可开始配合TortoiseGit使用. 安装没什么要求,根据自己的系统,32bit或者64bit对应选择安装即可. 2.配置TortoiseGit与msys…

http://lovesoo.org/linux-command-line-operation.html 1.1命令行操作 目录: <wp_nokeywordlink>Shell简介 <wp_nokeywordlink>Shell 控制台使用方法 1.1.1 Shell简介 shell 是用户和Linux 操作系统之间的接口.Linux 中有多种shell,其中缺省使用的是bash. Linux 系统的shell 作为操作系统的外壳为用户提供使用操作系统的接口,它是一个命令语言解释…

本文专门介绍MongoDB的命令行操作.其实,这些操作在MongoDB官网提供的Quick Reference上都有,但是英文的,为了方便,这里将其稍微整理下,方便查阅. 这里用来做测试的是远端(10.77.20.xx)的Mongo数据库. 1.登录和退出 mongo命令直接加MongoDB服务器的IP地址(比如:mongo 10.77.20.xx),就可以利用Mongo的默认端口号(27017)登陆Mongo,然后便能够进行简单的命令行操作. 至于退出,直接exit,然后回车就好了. $ mo…

Ant命令行操作 Ant构建文件可以将项目编译,打包,測试,它是Apache软件基金会jakarta文件夹中的一个子项目,具有跨平台性,操作简单,并且非常easy上手. 关于Ant执行,能够在项目中找到build.xml直接执行,还能够在命令行切换到构建文件文件夹执行.前者比較的快,而后者相对来说慢点,在命令行中输入Ant命令就能够执行Ant,若没有指定不论什么參数, Ant会在当前文件夹下检索build.xml文件,假设找到了就执行该文件,假设没有找到了会,会提示没有找到相关的build.xm…

最近在进行svn二次开发,使用的是svnkit.看了很多svnkit的api,渐渐发现都是和SVN的命令行操作对应的.顺便研究一下svn的命名行操作. 1.将文件checkout到本地目录: 基本命令:svn checkout 服务器地址 本地目的文件夹 可简化为:svn co 服务器地址 本地目的文件夹 效果: 2.将文件add到服务器 基本命令:svn add 工作目录中的文件 效果: 注意:若不是工作目录会提示错误: 3.查看文件信息: 基本命令:svn info 工作目录的文件 效果:…

1 前言 有接手一个新项目,项目中到了 Mysql 数据库 ,这里总结下 windows 命令行操作 Mysql 数据库. 2 Cmd操作数据库 2.1 连接Mysql服务器,命令如下:(root用户) mysql -h localhost -u root -p 回车之后输入密码. 2.2 查看可用的databases,命令如下: show databases; 2.3 想用那个库都可以,只要输入命令use +要使用库就行,命令如下:(注意没 分号 :) use test 2.4 查看有哪些表…

一. 分布式安装部署 1.0 下载地址 官网首页: https://zookeeper.apache.org/ 下载地址: http://mirror.bit.edu.cn/apache/zookeeper/ 1.1 集群规划 在node21.node22和ode23三个节点上部署Zookeeper,三个节点都已安装jdk. IP 节点名称 Zookeeper JDK 192.168.100.21 node21 Zookeeper JDK 192.168.100.22 node22 Zookee…

一.Kafka命令行操作 1.查看当前集群已存在的主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --list 2.创建主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --create --relication-factor 3 \ >--partition 1 \ >---topic xinnian 3.删除主题 bin/kafka-topic.sh --zookeeper hd09-01:2181…

Kafka命令行操作 1)查看当前服务器中的所有topic [test@ip101 kafka]$ bin/kafka-topics.sh --zookeeper ip101:2181 --list 2)创建topic [test@ip101 kafka]$ bin/kafka-topics.sh --zookeeper ip101:2181 --create --replication-factor 3 --partitions 1 --topic first 选项说明: --topic 定义…

WinSCP命令行操作     WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端.同时支持SCP协议.它的主要功能就是在本地与远程计算机间安全的复制文件. 直接在cmd下输入winscp进入winscp操作介面,查看帮助直接在下面输入help就可以看到所以可用到的命令. 连接到远程机器:open root@192.168.2.19输入密码就成功登录了 输入help:winscp> helpcall     执行任意远程Shell命令cd       改变远程工作目录ch…

一直使用eclipse操作java程序,但RMI程序需要命令行操作,故研究了下java的命令行操作. javac 用于编译.java文件,生成.class文件 假设文件夹dir下有pa.java和a.java,并且a用到了pa的实例,那么在编译a时,是需要.class文件的.即编译程序时,程序之间的依赖关系是.class文件. -classpath javac -classpath /.../classSource a.java -cp命令其实就是-classpath 有时候,编译a.java所…

MySQL基础操作 MySQL基础操作--命令行操作…

Git命令行操作,在Mac上使用的话,Mac会自带了Git,直接在终端或者iTerm都可以执行Git命令操作:    Git命令行操作,在Windows系统电脑上使用的话,需要安装Git,安装好Git后,桌面上会有 git bash,可以执行Git命令操作: ssh-key -t rsa -C "deliliu@vip.qq.com" 准备工作:Mac的话是在  .ssh隐藏文件夹,需要把这些钥码,和公司的服务器Git管理平台绑定 配置邮箱,和名称 git config —-list…

Ubuntu server版上使用命令行操作VPNclient VPN,虚拟专用网络,这个技术还是非常有用的.近期笔者參与的项目中就使用上了VPN,大概情况是这种.有两个开发团队,在异地,代码服务器在深圳了,它使用的是企业内部局域网,支持上网功能的,我们在公网上弄了个阿里云服务器.装了ubuntu vpn的server.事实上我们如今要做的就是把代码服务器通过VPN拨号上去.组建一个新的本地网络.怎么大家VPN的server笔者就不在这描写叙述了,网上已经有大把资料了,笔者以下就简要介绍一下自己…

今天找了很久,如何在服务器直接查看memcache 的值, 来确定php中memcache是否已经写进去了 https://www.ttlsa.com/memcache/memcache-list-all-keys/ 这个方法不仅适用于windowns 的cmd   .  也适用于linux 命令行操作, 下面是具体内容 今天在做一个Memcache的session测试,但是在测试的过程中,发现Memcache没有一个比较简单的方法可以直接象redis那样keys *列出所有的Session k…

我们在 dos 命令行操作中文时,会报错 ’); ERROR (HY000): Incorrect string value: '\xD5\xC5\xC8\xFD' for column 原因:因为 mysql 的客户端编码的问题我们的是 utf8,而系统的 cmd 窗口编码是 gbk解决方案(临时解决方案):修改 mysql 客户端编码. show variables like 'character%'; 查看所有 mysql 的编码 在图中与客户端有关的编码设置:client conneti…

git常用命令行操作: 点击 git bash 进入到命令行: git clone https://github.com/wlz1244/qingoo.git   //下载一个master分支代码 git branch wlz  //新建wlz分支 git checkout wlz  //切换到wlz分支 git pull origin dev //将远程dev分支更新到本地wlz分支 ··············写代码 git add . git commit -m "XXXXX" …

linux的基本的命令行操作 第一步前登陆你的服务器 //创建文件夹的方法 mkdir 文件名 //进入指定文件夹 cd 文件名 //查看文件夹下的内容 ls or ll // 查看当前的路径 pwd // 返回上一级目录 cd .. //删除一个文件夹 rm -rf 文件名 //创建一个文件并且编辑 vi/vim 文件名.扩展名 //拷贝文件的方法 cp 要拷贝的文件名 拷贝出的文件名 //文件的移动 mv 要移动的文件名 指定的路径下 //删除一个文件 rm 文件名 //查看文件的内容 ca…

使用命令行操作mysql的一些简单步骤: //进入MySQL数据库    > mysql -hlocalhost -uroot -p//显示  所有数据库    > show databases;//进入 指定 数据库    > use 数据库名;//显示 所有表    > show tables;/*    crud...;*/ //中文显示乱码    > set names gbk; 如果出现这个 mysql: Character set 'UTF-8' is not a…

命令行操作(mysql.exe)    0.登录  :       mysql -u root -p    1.显示数据库列表:    show databases;     2.选择数据库:      use 库名;    3.显示数据表列表     show tables;    4.显示数据表的结构: desc 表名;    5.建库:       create database 库名 charset utf8;    6.建表:       use 库名:     create tabl…

Mac 下 Git 的基础命令行操作 sudo apt-get install git-core //安装Git 用户配置 git config --global user.name "Your Name" //配置用户名称 git config --global user.email "Your Email" //配置用户邮箱 git config --list //查看配置信息 第一次初始化git版本库 开始一个新的项目,初始化新的代码仓库,要对现有的某个项目开…

转自:linux下用script和scriptreplay对命令行操作录像 在Linux中可以使用script命令来记录命令行的操作过程,并使用scriptreplay命令对命令操作进行回放,操作步骤如下: 录制 在命令行中输入命令: script -t 2 > test.time -a test.txt 此时,命令行显示: Script started, file is test.txt 这时便开始记录命令了,在结束你的命令行操作之后,输入: exit 这时,命令行显示: Script don…

Zookeeper的命令行操作 1. ZooKeeper服务命令 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作 1. 启动ZK服务: sh bin/zkServer.sh start 2. 查看ZK服务状态: sh bin/zkServer.sh status 3. 停止ZK服务: sh bin/zkServer.sh stop 4. 重启ZK服务: sh bin/zkServer.sh restart 2. zk客户端命令 启动客户端: ./zkCli…