小记---------有关hadoop的HDFS命令行操作

HDFS命令操作首先需要在xshell启动hadoop start-all.sh or start-hdfs.sh hadoop fs -ls / (显示当前目录下所有文件) hadoop fs -du /sevenclass (显示目录中所有文件的大小) hadoop fs -cat /a.txt (查看当前文本信息) hadoop fs -text /a.txt (查看当前文本信息) hadoop fs -count /test …

HDFS命令行操作

启动后可通过命令行使用hadoop. (1)所有命令 (先将$HADOOP_HOME/bin加入到.bashrc的$PATH变量中) [html] view plaincopy [hadoop@node14 hadoop-0.21.0]$ ll $HADOOP_HOME/bin total 88 -rwxr-xr-x 1 hadoop hadoop 4131 Aug 17 2010 hadoop -rwxr-xr-x 1 hadoop hadoop 8658 Aug 17 2010 hado…

Hadoop常见重要命令行操作及命令作用

关于Hadoop [root@master ~]# hadoop --help Usage: hadoop [--config confdir] COMMANDwhere COMMAND is one of: fs run a generic filesystem user client version print the version jar <jar> run a jar file checknative [-a|-h] check native hadoop and compressi…

Docker 安装Hadoop HDFS命令行操作

网上拉取Docker模板,使用singlarities/hadoop镜像 [root@localhost /]# docker pull singularities/hadoop 查看: [root@localhost /]# docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE docker.io/singularities/hadoop latest e213c9ae1b36 months ago 1.19 GB 创建docker-comp…

Hadoop系列006-HDFS概念及命令行操作

本人微信公众号,欢迎扫码关注! HDFS概念及命令行操作一.HDFS概念 1.1 概念 HDFS,它是一个文件系统,用于存储文件,通过目录树来定位文件:其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色. HDFS的设计适合一次写入,多次读出的场景,且不支持文件的修改.适合用来做数据分析,并不适合用来做网盘应用. 1.2 组成 1)HDFS集群包括,NameNode和DataNode以及Secondary Namenode. 2)NameNode负责管理整个文件系统…

HDFS分布式文件系统的常用命令行操作

一.HDFS的客户端种类 1.网页形式 =>用于测试网址为你的namenode节点的ip+50070的端口号,如: 192.168.50.128:50070 2.命令行形式 =>用于测试 3.企业级API 二.HDFS客户端的命令行操作注释:/hdfs为HDFS上的目录 /root/linux为本地集群路径 1.查看帮助 hdfs dfs -help 2.查看目录下的信息 hdfs dfs -ls / hdfs dfs -ls -R / (查看根目录下所有文件和目录) 3.上传文件到HD…

HDFS命令行及JAVA API操作

查看进程 jps 访问hdfs: hadoop-root:50070 hdfs bash命令: hdfs dfs <1> -help: 显示命令的帮助的信息 <2> -mkdir:创建一个新目录 -p -mkdir -p /test1/test2:创建目录,p可以创建不存在的父路径 <3> -ls:显示当前目录下的所有文件(-ls -R) -R:递归地查看 <4> -put LICENSE.txt /test 将本地文件上传到HDFS上 …

kafka工作流程| 命令行操作

1. 概述数据层:结构化数据+非结构化数据+日志信息(大部分为结构化) 传输层:flume(采集日志--->存储性框架(如HDFS.kafka.Hive.Hbase))+sqoop(关系型数据性数据库里数据--->hadoop)+kafka(将实时日志在线--->sparkstream在数据进行实时处理分析) 存储层:HDFS+Hbase(非关系型数据库)+kafka(节点上默认存储1G数据) 资源调度层:Yarn 计算层:MapReduce+ Hive(计算+存储型框架:sql--…

HDFS基本命令行操作及上传文件的简单API

一.HDFS基本命令行操作: 1.HDFS集群修改SecondaryNameNode位置到hd09-2 (1)修改hdfs-site.xml <configuration> //配置元数据存储位置 <property> <name>dfs.namenode.name.dir</name> <value>/root/hd/dfs/name</value> </property> //配置数据存储位置 <property…

命令行操作svn和git和git

前几天在写代码的时候电脑突然坏掉,老大交代的任务没完成,非常痛恨自己用svn或者git保存代码,相信很多程序员遇到过,硬盘坏掉,存在硬盘中的代码丢失,无法找回的问题,svn和git可谓程序员界的福音,那么问题来了,什么是svn和git呢? svn和git其实都是一种用来管理项目的控制版本工具,他们有很多好处,比如 1.防止代码丢失----可以把自己的代码上传到服务器上 2.适合多人开发----合并代码超级简单 3.能够进行版本回退 4.能解决冲突和bug 5.可以做分支 6.责任到人----可以…

mysql 命令行操作入门（详细讲解版）

之前分享过多次Mysql主题,今天继续分享mysql命令行入门 1. 那么多mysql客户端工具,为何要分享命令行操作? -快捷.简单.方便 -在没有客户端的情况下怎么办 -如果是mysql未开启第三方访问,客户端就是白瞎 2. 如何通过命令行进入mysql --Start-- [root@localhost~]# mysql -u root -p #老徐注释:输入左侧命令,回车 root是用户名 Enter password: …

windows下使用TortoiseGit代替Git命令行操作

windows下使用TortoiseGit代替Git命令行操作大家在使用svn的时候,都非常喜欢使用小乌龟,也就是TortoiseSVN:那么git也有小乌龟版本,即TortoiseGit. 1.安装TortoiseGit 安装使用TortoiseGit的前提,是windows下msysGit环境都安装并设置好,并且已经生成了私钥和公钥,即可开始配合TortoiseGit使用. 安装没什么要求,根据自己的系统,32bit或者64bit对应选择安装即可. 2.配置TortoiseGit与msys…

linux快速入门 1.1命令行操作

http://lovesoo.org/linux-command-line-operation.html 1.1命令行操作目录: <wp_nokeywordlink>Shell简介 <wp_nokeywordlink>Shell 控制台使用方法 1.1.1 Shell简介 shell 是用户和Linux 操作系统之间的接口.Linux 中有多种shell,其中缺省使用的是bash. Linux 系统的shell 作为操作系统的外壳为用户提供使用操作系统的接口,它是一个命令语言解释…

MongoDB命令行操作

本文专门介绍MongoDB的命令行操作.其实,这些操作在MongoDB官网提供的Quick Reference上都有,但是英文的,为了方便,这里将其稍微整理下,方便查阅. 这里用来做测试的是远端(10.77.20.xx)的Mongo数据库. 1.登录和退出 mongo命令直接加MongoDB服务器的IP地址(比如:mongo 10.77.20.xx),就可以利用Mongo的默认端口号(27017)登陆Mongo,然后便能够进行简单的命令行操作. 至于退出,直接exit,然后回车就好了. $ mo…

Ant命令行操作

Ant命令行操作 Ant构建文件可以将项目编译,打包,測试,它是Apache软件基金会jakarta文件夹中的一个子项目,具有跨平台性,操作简单,并且非常easy上手. 关于Ant执行,能够在项目中找到build.xml直接执行,还能够在命令行切换到构建文件文件夹执行.前者比較的快,而后者相对来说慢点,在命令行中输入Ant命令就能够执行Ant,若没有指定不论什么參数, Ant会在当前文件夹下检索build.xml文件,假设找到了就执行该文件,假设没有找到了会,会提示没有找到相关的build.xm…

SVN的命令行操作

最近在进行svn二次开发,使用的是svnkit.看了很多svnkit的api,渐渐发现都是和SVN的命令行操作对应的.顺便研究一下svn的命名行操作. 1.将文件checkout到本地目录: 基本命令:svn checkout 服务器地址本地目的文件夹可简化为:svn co 服务器地址本地目的文件夹效果: 2.将文件add到服务器基本命令:svn add 工作目录中的文件效果: 注意:若不是工作目录会提示错误: 3.查看文件信息: 基本命令:svn info 工作目录的文件效果:…

windows 命令行操作 Mysql 数据库

1 前言有接手一个新项目,项目中到了 Mysql 数据库 ,这里总结下 windows 命令行操作 Mysql 数据库. 2 Cmd操作数据库 2.1 连接Mysql服务器,命令如下:(root用户) mysql -h localhost -u root -p 回车之后输入密码. 2.2 查看可用的databases,命令如下: show databases; 2.3 想用那个库都可以,只要输入命令use +要使用库就行,命令如下:(注意没分号 :) use test 2.4 查看有哪些表…

Zookeeper（一）CentOS7.5搭建Zookeeper3.4.12集群与命令行操作

一. 分布式安装部署 1.0 下载地址官网首页: https://zookeeper.apache.org/ 下载地址: http://mirror.bit.edu.cn/apache/zookeeper/ 1.1 集群规划在node21.node22和ode23三个节点上部署Zookeeper,三个节点都已安装jdk. IP 节点名称 Zookeeper JDK 192.168.100.21 node21 Zookeeper JDK 192.168.100.22 node22 Zookee…

Kafka命令行操作及常用API

一.Kafka命令行操作 1.查看当前集群已存在的主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --list 2.创建主题 bin/kafka-topic.sh --zookeeper hd09-01:2181 --create --relication-factor 3 \ >--partition 1 \ >---topic xinnian 3.删除主题 bin/kafka-topic.sh --zookeeper hd09-01:2181…

4、Kafka命令行操作

Kafka命令行操作 1)查看当前服务器中的所有topic [test@ip101 kafka]$ bin/kafka-topics.sh --zookeeper ip101:2181 --list 2)创建topic [test@ip101 kafka]$ bin/kafka-topics.sh --zookeeper ip101:2181 --create --replication-factor 3 --partitions 1 --topic first 选项说明: --topic 定义…

WinSCP命令行操作

WinSCP命令行操作 WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端.同时支持SCP协议.它的主要功能就是在本地与远程计算机间安全的复制文件. 直接在cmd下输入winscp进入winscp操作介面,查看帮助直接在下面输入help就可以看到所以可用到的命令. 连接到远程机器:open root@192.168.2.19输入密码就成功登录了输入help:winscp> helpcall 执行任意远程Shell命令cd 改变远程工作目录ch…

java命令行操作

一直使用eclipse操作java程序,但RMI程序需要命令行操作,故研究了下java的命令行操作. javac 用于编译.java文件,生成.class文件假设文件夹dir下有pa.java和a.java,并且a用到了pa的实例,那么在编译a时,是需要.class文件的.即编译程序时,程序之间的依赖关系是.class文件. -classpath javac -classpath /.../classSource a.java -cp命令其实就是-classpath 有时候,编译a.java所…

MySQL基本操作之命令行操作

MySQL基础操作 MySQL基础操作--命令行操作…

Android-Git命令行操作

Git命令行操作,在Mac上使用的话,Mac会自带了Git,直接在终端或者iTerm都可以执行Git命令操作: Git命令行操作,在Windows系统电脑上使用的话,需要安装Git,安装好Git后,桌面上会有 git bash,可以执行Git命令操作: ssh-key -t rsa -C "deliliu@vip.qq.com" 准备工作:Mac的话是在 .ssh隐藏文件夹,需要把这些钥码,和公司的服务器Git管理平台绑定配置邮箱,和名称 git config —-list…

Ubuntu server版上使用命令行操作VPNclient

Ubuntu server版上使用命令行操作VPNclient VPN,虚拟专用网络,这个技术还是非常有用的.近期笔者參与的项目中就使用上了VPN,大概情况是这种.有两个开发团队,在异地,代码服务器在深圳了,它使用的是企业内部局域网,支持上网功能的,我们在公网上弄了个阿里云服务器.装了ubuntu vpn的server.事实上我们如今要做的就是把代码服务器通过VPN拨号上去.组建一个新的本地网络.怎么大家VPN的server笔者就不在这描写叙述了,网上已经有大把资料了,笔者以下就简要介绍一下自己…