常用Transformation 注:某些函数只有PairRDD只有,而普通的RDD则没有,比如gropuByKey.reduceByKey.sortByKey.join.cogroup等函数要根据Key进行分组或直接操作 RDD基本转换: RDD[U] map(f: T => U) T:原RDD中元素类型 U:新RDD中元素类型 函数将T元素转换为新的U元素 rdd.map(x => x + 1) {1, 2, 3, 3} =>{2, 3, 4, 4} RDD[U] flatMap(f…

1.Linux如何查看端口 使用lsof(list open files)命令,lsof -i:端口号 用于查看某一端口的占用情况,比如查看8000端口使用情况,lsof -i:8000. 或者使用netstat命令 netstat -tunlp | grep 端口号,用于查看指定的端口号的进程情况,如查看8000端口的情况,netstat -tunlp | grep 8000. 还有更好的命令ss(Socket Statistics) ss命令可以用来获取socket统计信息, 默认不添加选项…

.选取了DOM操作中实用并常用的部分,省略了实用但有明显兼容性的部分2.DOM属性和方法的类型归属可能并不完全准确3.某些一般兼容性和特点做了标识(主要是ie8-9上下) 节点类型 节点类型 节点值 标签节点(Element) 1 属性节点(Attr) 2 文本节点(Text) 3 CDATA节点(CDATASetion) 4 实体引用节点(EntityReference) 5 实体节点(Entity) 6 处理指令节点(ProcessingInstruction) 7 注释节点(Comment…

MySQL是一个十分轻便的dbms,轻便.灵活,更适用于中小型数据的存储与架构.MySQL被数以万计的网站采用,从5版本以后,陆续支持了游标.触发器.事务.存储过程等高级应用,这也给MySQL的易用性和企业服务的发展添加了重要的砝码.数据库的基础很少,但数据库的性能优化却是特别重要的,所以多多优化. 零. 用户管理 1. 切换用户 第一种方法 1.dos进入mysql安装bin目录下: cd /d d:\sftwr\mysql\bin 2.输入:mysql  -u root -p db 3.输入…

aggregate 函数原型:aggregate(zeroValue, seqOp, combOp) seqOp相当于Map combOp相当于Reduce zeroValue是seqOp每一个partion的初始值,是一个元组,默认为0. 计算列表中总数: sc.parallelize( [[123],[4,5,6],[7,8,9]] )\ .aggregate(0, lambda: x,y: sum(y)+x, lambda x,y: x+y) # [('world', 1), ('hell…

const 简单类型数据常量 // const实际上保证的,并不是变量的值不得改动,而是变量指向的那个内存地址不得改动.对于简单类型的数据(数值.字符串.布尔值),值就保存在变量指向的那个内存地址,因此等同于常量. const PI = 3.1415926; console.log(PI) 对象常量 const foo = Object.freeze({}); // 常规模式时,下面一行不起作用: // 严格模式时,该行会报错 foo.prop = 123; 除了将对象本身冻结,对象的属性也应该…

javascript中字符串常用操作整理 字符串的操作在js中非常频繁,也非常重要.以往看完书之后都能记得非常清楚,但稍微隔一段时间不用,便会忘得差不多,记性不好是硬伤啊...今天就对字符串的一些常用操作做个整理,一者加深印象,二者方便今后温习查阅. 也可到独立博客查看:javascript中字符串常用操作总结 String对象属性 (1) length属性 length算是字符串中非常常用的一个属性了,它的功能是获取字符串的长度.当然需要注意的是js中的中文每个汉字也只代表一个字符,这里可能跟…

vim程序编辑器---常用操作整理 移动光标方法 o 在光标行的下一行,进入编辑模式 $ 移动到光标这行,最末尾的地方 G(大写) 移动到文件最末行 :set  nu 文件显示行数 :set  nonu 取消显示的行数 nG 移动到文件中第n行 gg 移动到文件最开始的地方 /word 在文档中向下搜索word这个字符 ?word 在文档中向上搜索word这个字符 n 向下搜索文件重复出现word字符的部分 N 向上搜索文件重复出现word字符的部分 x 在光标处开始删除 dd 删除光标整行 y…

一.常用Http操作 1.Get请求,有参数,无参数 2.Post 请求,有参数,无参数 3.文件简单下载 修改NetHelper中Post请求方法Bug:请求编码默认UTF8,字符串内存流读取后这是到开始位置. /// <summary> /// Post 请求,无参(注:默认使用UTF8编码) /// </summary> /// <param name="url"></param> /// <returns></r…

项目中常用js方法整理成了common.js var h = {}; h.get = function (url, data, ok, error) { $.ajax({ url: url, data: data, dataType: 'json', success: ok, error: error }); } h.post = function (url, data, ok, error) { $.ajax({ url: url, data: data, type: 'post', data…