Hadoop_常用命令(hdfs上) hadoop fs所有文件系统都可以使用 hdfs dfs仅针对于hdfs文件系统 - 1 - 查看所有目录(文件夹)及文件  hdfs dfs -ls / - 2 - 在hdfs文件系统中创建目录(文件夹) hdfs dfs -mkdir /test - 3 - 在hdfs文件系统中创建文件 hdfs dfs -touchz /words_1.txt - 4 - 在hdfs文件系统中删除文件 hdfs dfs -rm /words_1.txt hdfs d…

git 常用命令以及推荐git新建上传个人博客 $ git clone  //本地如果无远程代码,先做这步,不然就忽略 $ git status //查看本地自己修改了多少文件 $ git add . //添加远程不存在的git文件 $ git commit  -m "更新说明" //提交修改 $ git pull //提交代码前先更新线上代码 $ git push  //更新提交到到远程服务器上 $ git checkout master //进入master主分支,也可以拉去进入其…

1.下载git.https://git-scm.com/   注册码云:https://gitee.com/2.安装git:  默认安装即可:  安装完成之后打开git bash进行最后一步配置  输入命令:$ git config --global user.name "Your Name"            $ git config --global user.email "email@example.com" 3.本地创建SSH秘钥,输入命令:ssh-ke…

  git 上传步骤: git  init  初始化Git仓库 git  add .  提交你修改的文件 git status  查看项目当中的状态(红色代表的是 未add  的文件    绿色的是已经add但是还没有commit的文件) git  commit  -m " 备注"    将缓冲区的内容提交到你的仓库 git push origin  分支(你的分支) 不要在主分支上修改任何东西   clone下来代码  创建新的分支   在新分支上修改代码 git branch  分…

版本控制工具学习 http://www.itpxpj.com/course.do?method=getAllCourseInFront&classTypeId=21 1.[ClearCase]config.spec例子 http://www.itpxpj.com/course.do?method=getCourseInFront&classTypeId=21&courseId=104 element * CHECKEDOUT element * /main/dev_branch/L…

1. 前言 什么是Linux Linux是一套免费使用和自由传播的操作系统.说到操作系统,大家比较熟知的应该就是Windows和MacOS操作系统,我们今天所学习的Linux也是一款操作系统. 为什么要学Linux 那么我们为什么要学习Linux呢,主要出于两个方面的原因. 1). 企业用人要求 以下,是从知名招聘网站上搜索的java开发工程师的岗位要求,在很多的岗位要求中都提到了Linux操作系统的经验. 为什么作为javaEE开发工程师,企业还要求我们会Linux操作系统的相关知识呢? 这是…

记下常用命令,慢慢补充 1.hadoop 查看hdfs上的目录: hadoop fs -ls /给hdfs上目录授予权限:   hadoop fs -chmod 777 /tmp/hive 在hdfs上创建一个目录: hadoop fs -mkdir /jiatest 把文件上传到hdfs指定目录: hadoop fs -put test.txt /jiatest 上传jar包到hadoop上跑: hadoop jar maven_test-1.0-SNAPSHOT.jar org.jiahon…

本文用于记录Hadoop中HDFS相关概念以及常用命令,以便日后查询. 概念之间无先后顺序,只是用于记录. 参考的Hadoop的版本是2.7.3 1. 角色 hadoop fs [hdfs dfs] // 普通用户 hdfs dfsadmin // hdfs管理员 2. edit日志和fsimage文件融合 a. hadoop集群启动时融合 生成新的inprogress_edits日志文件,将旧的inprogress_edits日志文件与fsimage文件融合,但是不生成新的fsimage文件b…

HDFS背景 随着数据量的增大,在一个操作系统中内存不了了,就需要分配到操作系统的的管理磁盘中,但是不方便管理者维护,迫切需要一种系统来管理多态机器上的文件,这就是分布式文件管理系统. HDFS的概念 HDFS英文hadoop distributed file system ,是一个分布式文件系统,用于存储文件,通过目录树记录定位文件,其次他是分布式的,由很多服务器联合起来实现其功能,集群中的服务器各有角色.HDFS的设计适合一次吸入,多次读取的场景,且不支持文件的修改.适合做数据分析. HDF…

一.HDFS的常用命令 1.查看根目录下的信息:./hadoop dfs -ls 2.查看根目录下的in目录中的内容:./hadoop dfs -ls in或者./hadoop dfs -ls ./in 3.删除文件:./hadoop dfs -rmr 文件名 4.上传文件到HDFS:./hadoop dfs -put 系统目录下的文件 hadoop目录 5.将HDFS的文件复制到本地:./hadoop dfs -get haddo目录 本地目录 6.查看HDFS下某个文件的内容:./hadoo…