yarn cluster模式 例行任务一般会采用这种方式运行 指定固定的executor数 作业常用的参数都在其中指定了,后面的运行脚本会省略 spark-submit \ --master yarn-cluster \ --deploy-mode cluster \ #集群运行模式 --name wordcount_${date} \ #作业名 --queue production.group.yanghao \ #指定队列 --conf spark.default.parallelism=1…

Driver spark.driver.cores driver端分配的核数,默认为1,thriftserver是启动thriftserver服务的机器,资源充足的话可以尽量给多. spark.driver.memory driver端分配的内存数,默认为1g,同上. spark.driver.maxResultSize driver端接收的最大结果大小,默认1GB,最小1MB,设置0为无限. 这个参数不建议设置的太大,如果要做数据可视化,更应该控制在20-30MB以内.过大会导致OOM. sp…

Linux下查看某个进程打开的文件数-losf工具常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux操作系统中,一切皆文件.通过文件不仅仅可以访问常规数据,还可以访问网络连接和硬件.比如说传输控制协议 (TCP) 和用户数据报协议 (UDP) 套接字等.有时候我们可能需要统计一下那个进程占用了那类文件,或者该进程总共打开的文件数等等,此时我们就需要一个工具帮我们查看相应的信息啦,它就是本片博客的主人公-lsof. 一.losf是个什么玩意? 1>.los…

<凤栖梧> 柳永 伫倚危楼风细细,望极春愁,黯然生天际.草色烟光残照里,无言谁会凭栏意? 拟把疏狂图一醉,对酒当歌,强乐还无味,衣带渐宽终不悔,为伊消得人憔悴. 简要步骤:adb devices---了解包名--adb shell monkey -p 包名 -v 运行次数(多个参数的组合形成不同的用例以求最大的覆盖)--当崩溃或无响应时分析monkey日志 常规monkey命令(可直接在项目里使用): adb shell monkey -p com.jiochat.jiochatapp --t…

简要步骤:adb devices---了解包名--adb shell monkey -p 包名 -v 运行次数(多个参数的组合形成不同的用例以求最大的覆盖)--当崩溃或无响应时分析monkey日志 常规monkey命令(可直接在项目里使用): adb shell monkey -p com.jiochat.jiochatapp --throttle 100 --ignore-crashes --ignore-timeouts --ignore-security-exceptions --igno…

PHP命令行执行程序php.exe参数说明 -f <file>:以命令行方式运行指定的PHP文件,只要指定具体的PHP文件(带绝对路径),php.exe就可以执行PHP文件,所以这个参数单个使用其实有没有都无所谓,他有点类似于在游览器方式下显示PHP执行的结果,区别在于由于是以命令行方式运行,它是以HTML源码的形式输出,如果执行有错误,也会列出出错信息. 使用方法 c:\php\php -f <file> 或 c:\php\php <file> -F <file…

monkey实战--测试步骤.常用参数.常规monkey命令   简要步骤:adb devices---了解包名--adb shell monkey -p 包名 -v 运行次数(多个参数的组合形成不同的用例以求最大的覆盖)--当崩溃或无响应时分析monkey日志 常规monkey命令(可直接在项目里使用): adb shell monkey -p com.jiochat.jiochatapp --throttle 100 --ignore-crashes --ignore-timeouts --…

转自http://www.rowkey.me/blog/2016/11/02/java-profile/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io JVM常用参数选项 jvm 可配置的参数选项可以参考 Oracle 官方网站给出的相关信息:http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.html 下面只列举其中的几个常…

production环境中iptables常用参数配置 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我相信在实际生产环境中有很多运维的兄弟跟我一样,很少用到iptables的这个命令.因为大家的服务器的防火墙都是关闭的,但是如果你的 服务器是有公网IP的话就会面临各种安全的问题呢,所以我建议大家还是开启防火墙,这个命令其实挺有意思的,就是配置起来比较繁琐,但是原理还 是很容易理解的,关于其原理百度上面一大堆,我这就不再废话啦~ 一.在配置之前,我们需要扫盲一下知识点: 1.…

chattr的常用参数详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在实际生产环境中,有的运维工程师不得不和开发和测试打交道,在我们公司最常见的就是部署接口.每天每个人部署的接口10~20个不等, 测试有时候会我们我们要服务器的账号,有的时候实在忙不过来了她们也会自己去部署,但是我们会突然在讨论群中发现有人说:"谁删除了我的xx 库信息","怎么xx平台不能用了,刚刚还是好好的呢"等等一些列的话.最后查明原因是有人替换了"plat…

dmidecode常用参数详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. dmidecode这个命令真是神器啊,他能快速的获取服务器的硬件信息,而且这个命令有很多的花式玩法,今天让我们一起来学习一下啊 这个命令的奇妙之处吧.如果您只在命令行敲击dmidecode这个命令的话,它会将服务器的设备硬件信息,包括设备型号.BIOS.系统. 主板.处理器.内存.缓存详细信息等等都例举出来,这样很不方便呢~ 1.参数:-s,只显示指定DMI字符串的信息(DMI即DesktopMan…

find常用参数详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux系统中,在init 3模式情况下都是命令行模式,这个时候我们想要找到一个文件的就得依赖一个非常好用的命令find,也是我们要学些的命令哟 再Linux操作系统的世界里,有各个不同的发行版本,redhat,centos,ubantu,suse,debian,fedora等等,我们需要在这些不通的操作系统中找一个文件,那么 我们开始今天的命令吧! 在学find命令之前,我们一起了解一下模糊匹配的命令l…

cat常用参数详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 最近,我的一个朋友对linux特别感兴趣,于是我觉得每天交给他一个命令的使用,这样一个月下来也会使用30个命令,基本的操作他应该是没啥问题啦,接下来让我们看看 今天的命令吧. 还记得我们昨天学的命令吗?让我们一起看看我的目录下有是吗文件或者目录吧: 通过昨天学的命令,我们看出来了log.txt是我最近修改的一个文件,那么如何去看这个文件的内容呢?让我们一起学习cat吧 一.Cat的基本用法就是cat + [参数…

find一些常用参数的一些常用实例和一些具体用法和注意事项. 1．使用name选项: 文件名选项是find命令最常用的选项,要么单独使用该选项,要么和其他选项一起使用.  可以使用某种文件名模式来匹配文件,记住要用引号将文件名模式引起来.  不管当前路径是什么,如果想要在自己的根目录$HOME中查找文件名符合*.log的文件,使用~作为 'pathname'参数,波浪号~代表了你的$HOME目录. find ~ -name "*.log" -print 想要在当前目录及子目录中查找所有…

ls常用参数详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 玩Linux的老司机们每天都要敲的命令,但是这个鸡蛋的命令还有很多中玩法哟~跟着我一起敲一遍吧!在这里我就列举几个常用的选项吧 一."ls -l"这个选项和"ll"是等效的哟:(显示当前目录内容的长列表) 如果你执行了上面的命令,就能查看你当前目录下非隐藏文件,让我们看一点这些文件的信息吧: 第一列: 1.共有十个占位符,第一个占位符表示文件类型,后面的九个字符表示的是文件的权限信息…

FFmpeg的使用及常用参数 一.下载: 官网:http://ffmpeg.org/ 二.demo: 1 class Program 2 { 3 static void Main(string[] args) 4 { 5 string srcFileName = @"F:\资料\Demo\FFmpeg_Demo\videoold\PROMO.wmv"; 6 string destFileName = @"F:\资料\Demo\FFmpeg_Demo\videonew\PROM…

c#  ffmpeg常用参数 转换文件格式的同时抓缩微图: ffmpeg -i "test.avi" -y -f image2 -ss 8 -t 0.001 -s 350x240 'test.jpg' 对已有flv抓图: ffmpeg -i "test.flv" -y -f image2 -ss 8 -t 0.001 -s 350x240 'test.jpg' -ss后跟的时间单位为秒 Ffmpeg转换命令 ffmpeg -y -i test.mpeg -bitex…

声明:IWin32Window owner   ,  HelpNavigator navigator ,    string keyword 上面的三个参数类型不是很了解.没有做讨论. 等以后了解多了,再做补充... 下面讨论的一些常用参数,在平时使用,已经绰绰有余了... ////////////////////////////////////////////////////////////////////////////////////////////////////////////////…

    在Linux下,对于参数的设置,一般来说,都遵循这个规律.每一个功能程序,一定对于一个对于名字的配置文件.     涉及到多用户的功能配置,一定有一个全局的配置文件,对所有用户都生效,而每个用户肯定有各自的配置文件,对各自用户生效,相互独立.     下面就分布总结一下在ubuntu下面,一些常用参数的配置. 1. Shell设置     全局配置文件: /etc/profile            系统登录时,读取此配置文件设置通用环境.     全局环境变量: /etc/envir…

rsync常用参数详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在linux中,一切皆是文件,包括你的终端,硬件设备信息,目录,内核文件等等.所以工作中我们难免会遇到拷贝文件的操作,而且是经常要用的, 工作中我最常用的本地拷贝就用cp,远程拷贝我就用scp,别问我为什么这个命令简单,如果你说这个命令谁都会,不行,我要提高一下我的逼格,我要用 其他的命令来拷贝本地文件,有没有呢?当然是有的,如果你要实现远程拷贝,命令可就多了去了,今天咱们一起来学习一下rsync这个命令吧…

1.堆的大小可以通过 -Xms 和 -Xmx 来设置,一般将他们设置为相同的大小,目的是避免在每次垃圾回收后重新调整堆的大小,比如 -Xms=2g -Xmx=2g 或者 -Xms=512m -Xmx=512m 2.年轻代大小可以通过 -Xmn 来设置,比如-Xmn=2g 或者 -Xmn512m,此值对系统性能影响较大,Sun官方推荐配置为整个堆的3/8 3.年老代大小 = 堆大小 – 年轻代大小 4.持久代或者永久代大小可以通过 -XX:PermSize 和 -XX:MaxPermSize 来控…

五.mongodb启动时其他常用参数的使用(都是选用): 1).--logappend,指定日志的写入方式为追加,强烈建议使用: 2).--port,指定mongodb的端口号,当不使用这个参数的时候,默认是27017: 3).--fork,使mongodb以后台进程的方式运行,当使用这个参数启动以后,可以在同一个终端中进行其他操作,比如ps.mongo,而不需要重新打开中端: 4).-replSet,使用副本集时的参数: 5).其他参数:--directoryperdb.--config等(暂…

多线程问题: 1.java中为什么要使用多线程使用多线程,可以把一些大任务分解成多个小任务来执行,多个小任务之间互不影像,同时进行,这样,充分利用了cpu资源. 2.java中简单的实现多线程的方式 继承Thread类,重写run方法; class MyTread extends Thread{ public void run() { System.out.println(Thread.currentThread().getName()); } } 实现Runable接口,实现run方法: cl…

本文简单介绍一下read_csv()和 to_csv()的参数,最常用的拿出来讲,较少用的请转到官方文档看. 一.pd.read_csv() 作用:将csv文件读入并转化为数据框形式. pd.read_csv(filepath_or_buffer, sep=',', delimiter=None, header='infer', names=None, index_col=None, usecols=None, squeeze=False, prefix=None, mangle_dupe_co…

Bootstrap modal(模态窗)常用参数.方法和事件: 参数: 名称 类型 默认值 描述 Backdrop Boolean或字符串“static” True True:有背景,点击modal外部,modal消失. False:无背景,点击modal外部,modal不消失. Static:有背景,点击modal外部,modal不消失. Keyboard Boolean True True:键盘上的esc按下关闭modal False:键盘上的esc按下不关闭modal Show Boole…

Linux.ls 查看常用参数 在linux中ls查看文件常用参数: -l :详情文件 -h : 格式化文件大小 -r :将查询的结果列表进行翻转 -S :按文件大小进行排列…

程序编译运行的过程 预处理.处理一些#include,#define命令,生成.i或者.ii文件: 编译.编译器进行语法分析,语义分析,中间代码生成,目标代码生成,优化,生成.s文件 汇编.汇编器把汇编代码翻译成机器码,生成.o文件 链接.链接器进行地址和空间分配,符号决议,重定位,生成.out文件. 编译器编译源代码后生成的文件叫做目标文件.目标文件从结构上讲,它是已经编译后的可执行文件格式,只是还没有经过链接的过程,其中可能有些符号或有些地址还没有被调整. gcc和g++的区别 都是GNU组…

0. 说明 记录 Hive 常用参数的配置 1. 设置本地模式 让 Hive 自动使用 Hadoop 的本地模式运行作业,提升处理性能 适合小文件,一般用于测试 set hive.exec.mode.local.auto=true; 输入文件大小低于此值会进入本地模式 SET hive.exec.mode.local.auto.inputbytes.max=500000000; 输入文件个数低于此值会进入本地模式 SET hive.exec.mode.local.auto.input.files…

Nginx的upstream模块相当于是建立一个函数库一样,把后端的服务器地址放在了一个池子里,而proxy模块则是从这个池子里调用了这些服务器. http_proxy_module模块常用参数: proxy_set_header:让后端服务器能获取到前端用户真实IP,而不只是代理服务器的IP proxy_set_header Host $host; 当后端服务器配置多个web站点时,该选项可以让服务器识别出具体要访问的是哪个站点,而不会将第一个站点作为默认站点传递给用户 proxy_set_h…

Linux系统IO分析工具之iotstat常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.安装iostat [root@flume115 ~]# yum -y install sysstat 2>.查看iostat的帮助信息 [root@flume115 ~]# man iostat 3>.查看部分cpu状态信息 [root@flume115 ~]# iostat -c 4>.某些使用block为单位的列强制使用Kilobytes为单位 [ro…