[前提是已有一个基本可用的ceph集群] 一,在指定节点上部署mds: ceph-deploy mds create ceph-node1 二,新建两个存储池,用于保存cephfs的数据和元数据. ceph osd pool create cephfs_data ceph osd pool create cephfs_metadata 三,创建好存储池后,可以用 fs new 命令创建文件系统. ceph fs new cephfs cephfs_metadata cephfs_data 四,文

原文:http://michaelkang.blog.51cto.com/1553154/1698287 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项简写描述 --verbose-v详细的日志. --valgrindN/A(只适合开发者和质检人员)用 Valgrind 调试. --allhosts-a在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restartN/A核心转储后自动重启. --norestartN/A核心转储后不自动重启. -

fs命令 -help [cmd]  //显示命令的帮助信息 -ls(r) <path>  //显示当前目录下所有文件 -du(s) <path>  //显示目录中所有文件大小 -count[-q] <path>  //显示目录中文件数量 -mv <src> <dst>  //移动多个文件到目标目录 -cp <src> <dst>  //复制多个文件到目标目录 -rm(r)  //删除文件(夹) -put <local

错误呈现: 解决过程: (参考链接:https://www.cnblogs.com/kevinq/p/5103653.html) 1.输出hadoop的详细日志,并执行hadoop fs命令来查看错误信息 执行 export HADOOP_ROOT_LOGGER=DEBUG,console [root@ATzoe ~]# export HADOOP_ROOT_LOGGER=DEBUG,console[root@ATzoe ~]# hadoop fs -ls hdfs://ATzoe:9000/

Hadoop fs 命令详解   参考文档:https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#df 1. 环境:hadoop-2.6.0 2. 参数说明: hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <

Cephfs使用挂载方式有两种 1.使用linux kernel挂载 mount 2.使用ceph-fuse挂载. 1.下图为mount挂载 mount -t ceph 10.110.180.112:6789:/ /mnt/ceph-ceshi-rbd2/ -o name=admin,secret=AQBYqRBcbCfoCxAA0aBmuyhm31MC0XVjEfd97Q== 挂载FS 的语法命令是:原生挂载方法 Mount -t ceph <ceph_mon_IP>:<mon_por

本文非原创,转载自http://www.superwu.cn/2013/07/31/312 另外参考:http://www.blogjava.net/changedi/archive/2013/08/12/402696.html Hadoop框架之HDFS的shell操作 既然HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建.修改.删除.修改权限等,文件夹的创建.删除.重命名等.对HDFS的操作命令类似于Linux的shell对文件的操作,如ls.

1. 环境:hadoop-2.6.0 2. 参数说明: hadoop fs [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] [-chown [-R] [OWNER

目录 [1.环境准备] [2.部署管理] [3.集群扩容] [4.用户管理] [5.密钥环管理] [6.块设备管理] [7.快照管理] [8.参考链接] 简要说明: 最近心血来潮,对分布式存储感兴趣,听说Ceph不错,查看Ceph中文官方文档,发现讲解得非常详细,为了以后方便查找相关命令,决定整理一下Ceph的常用命令,以下所有内容来源于官方文档.只为方便自己查找.学习,未经验证. [1.环境准备] #1.1 ceph-deploy 管理节点] #把 Ceph 仓库添加到 ceph-deploy

参考:https://segmentfault.com/a/1190000002672666 命令基本格式: hadoop fs -cmd < args > 1.ls hadoop fs -ls / 列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls -R / 列出hdfs文件系统所有的目录和文件 2.put hadoop fs -put < local file > < hdfs file > hdfs file的父目录一定要存在,否则命令不会执行

版本:Hadoop 2.7.4 -- 查看hadoop fs帮助信息[root@hadp-master sbin]# hadoop fsUsage: hadoop fs [generic options][-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...][-checksum <src> ...][-chgrp [-R] GROUP PATH...][-chmod [-R] <

最近使用hive做一些etl工作,除了日常sql的编写,了解hadoop及hive的一些底层原理性质的东西包括调优非常有必要,一次hive调优就把原来的零散文件做了合并.首先记下hadoop常用的命令:(hadoop fs -help列出全部) 1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HA

标签(空格分隔): ceph,ceph运维,ceph配置 查看ceph配置 1. 查看ceph默认配置: # ceph --show-config 2. 查看 type.num 的ceph默认配置: 如需查看osd.1,mon.node1的ceph配置 # ceph -n osd.1 --show-config # ceph -n mon.node1 --show-config 或 # ceph-osd -i 1 --show-config # ceph-mon -i node1--show-c

1.查看集群配置信息 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show 2.在部署节点修改了ceph.conf文件,将新配置推送至全部的ceph节点 ceph-deploy --overwrite-conf config push node1-4 3.检查仲裁状态,查看mon添加是否成功 ceph quorum_status --format json-pretty 4.列示pool列表 ceph osd lsp

1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml.使用local代表将本地文件系统作为hadoop的DFS.如果传递uri做参数,那么就是特定的文件系统

1.查看ceph集群配置信息 1 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show   2.在部署节点修改了ceph.conf文件,将新配置推送至全部的ceph节点 1 ceph-deploy  --overwrite-conf config push dlp node1 node2 node3   3.检查仲裁状态,查看mon添加是否成功 1 ceph quorum_status --format json-p

1,hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-site.xml.使用local代表将本地文件系统作为hadoop的DFS.如果传递uri做参数,那么就是特定的文件系统

ceph osd pool 操作小计 #列出所有pool root@ceph:~# ceph osd pool ls [detail] #新建pool root@ceph:~# ceph osd pool create <poolname> <pg_num> #删除pool root@ceph:~# ceph osd pool rm <pool-name> <pool-name> --yes-i-really-really-mean-it #重命名 root

结合网络.官网.手动查询等多方渠道,整理ceph维护管理常用命令,并且梳理常规命令在使用过程中的逻辑顺序.另外整理期间发现ceph 集群的命令体系有点乱,详细情况各自体验. 一:ceph集群启动.重启.停止 1:ceph 命令的选项如下: 选项简写描述 --verbose-v详细的日志. --valgrindN/A(只适合开发者和质检人员)用 Valgrind 调试. --allhosts-a在 ceph.conf 里配置的所有主机上执行,否 则它只在本机执行. --restartN/A核心转储

常用命令ceph -w ceph df ceph features ceph fs ls ceph fs status ceph fsid ceph health ceph -s ceph status ceph mgr module ls ceph mgr module enable dashboard ceph mgr services ceph mon feature ls ceph node ls ceph osd crush rule ls ceph osd crush rule du