rsync 特性 可以镜像保存整个目录树和文件系统. 可以很容易做到保持原来文件的权限.时间.软硬链接等等. 无须特殊权限即可安装. 快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件.rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽. 安全:可以使用 scp.ssh 等方式来传输文件,当然也可以通过直接的 socket 连接. 支持匿名传输,以方便进行网站镜象. 语法 rsync 有六种不同的工作模式. rsync [OPTION]...…

断点续传是使用大写P参数,-P这个参数是综合了--partial --progress两个参数 rsync -avzP /home/hadoop/jdk1..0_73.tar.gz root@10.20.77.172:/home/hadoop/temp/ 确保两个目录完全同步,删除目标目录里面,源目录不包含的内容 . rsync -avzP --delete /home/hadoop/hadoop-/ root@10.20.77.172:/home/hadoop/temp/ rsync -e *…

FROM : http://www.qiansw.com/rsync-cn.html rsync是一款好用的*nux文件同步工具.下面是其参数的中文解释. Rsync 参数选项说明 -v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum 打开校验开关,强制对文件传输进行校验-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD-r, --recursive 对子目录以递归模式处理-R, --rela…

C3P0连接池参数配置说明 created by cjk on 2017.8.15 常用配置 initialPoolSize:连接池初始化时创建的连接数,default : 3(建议使用) minPoolSize:连接池保持的最小连接数,default : 3(建议使用) maxPoolSize:连接池中拥有的最大连接数,如果获得新连接时会使连接总数超过这个值则不会再获取新连接,而是等待其他连接释放,所以这个值有可能会设计地很大,default : 15(建议使用) acquireIncreme…

Rsync参数介绍   一.Rsync Rsync是一款开源的.快速的.多功能的.可实现全量及增量的本地或远程数据镜像同步备份的优秀工具.rsync适用于unix/linux/windows等多种操作系统平台. http://www.samba.org/ftp/rsync/rsync.html Rsync全称为remote rynchronization,rsync具有可使本地和远程两台主机之间的数据快速复制同步镜像.远程备份的功能,这个功能类似于scp命令,但优于scp.还可以在本地主机的不同…

Rsync的参数详细解释 -v, --verbose 详细模式输出-q, --quiet 精简输出模式-c, --checksum 打开校验开关,强制对文件传输进行校验-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD-r, --recursive 对子目录以递归模式处理-R, --relative 使用相对路径信息-b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename.可以使用--s…

spark-submit提交spark任务的具体参数配置说明 1.spark提交任务常见的两种模式 2.提交任务时的几个重要参数 3.参数说明 3.1 executor_cores*num_executors 3.2 executor_cores 3.3 executor_memory 3.4 driver-memory 1.spark提交任务常见的两种模式 local[k]:本地使用k个worker线程运行saprk程序.这种模式适合小批量数据在本地调试代码用.(若使用本地的文件,需要在前面加…

rsync是类unix系统下的数据镜像备份工具. 它的特性如下:可以镜像保存整个目录树和文件系统.可以很容易做到保持原来文件的权限.时间.软硬链接等等.无须特殊权限即可安装.快速:第一次同步时 rsync 会复制全部内容,但在下一次只传输修改过的文件.rsync 在传输数据的过程中可以实行压缩及解压缩操作,因此可以使用更少的带宽.安全:可以使用scp.ssh等方式来传输文件,当然也可以通过直接的socket连接.支持匿名传输,以方便进行网站镜象. rsync的安装,centos默认已经自带就安装…

rsync 支持:  本机数据 <-------> 远程数据/本地数据 意义:  支持增量拷贝 --> 备份,节省带宽,时间   rsync -avL 一.常用选项  ************       -a === rlptgoD      ************ -r:同步目录 -l:软链接     -L: 拷贝软链接的源文件 -p:权限 -t:时间 -g,o: 属主(o),属组(g) -D: 设备文件 -v:可视化   --delete:  删除 一致同步 --exclude:…

1  修改$SPARK_HOME/conf目录下的spark-defaults.conf文件 添加以下配置项 spark.sql.hive.convertMetastoreParquet       false hive.exec.compress.output     false 如果spark.sql.hive.convertMetastoreParquet不设置为false,前台清单预览看到的内容为乱码. 由于parquet格式的文件内置了压缩,故输出结果不需要进行压缩,如果设置为压缩,清…