首页
Python
Java
IOS
Andorid
NodeJS
JavaScript
HTML5
【
Spark之常用操作
】的更多相关文章
Spark之常用操作
-- 筛选 val rdd = sc.parallelize(List("ABC","BCD","DEF")) val filtered = rdd.filter(_.contains("C")) filtered.collect() Result: Array[String] = Array(ABC, BCD) -- 相乘 val rdd,,,,)) val times2 ) times2.collect() Result:…
spark RDD 常见操作
fold 操作 区别 与 co 1.mapValus 2.flatMapValues 3.comineByKey 4.foldByKey 5.reduceByKey 6.groupByKey 7.sortByKey 8.cogroup 9.join 10.LeftOutJoin 11.RightOutJoin 1.map(func) 2.flatMap(func) 3.mapPartitions(func) 4.mapPartitionsWithIndex(func) 5.simple(with…
Spark Dataset DataFrame 操作
Spark Dataset DataFrame 操作 相关博文参考 sparksql中dataframe的用法 一.Spark2 Dataset DataFrame空值null,NaN判断和处理 1.1 显示前10条数据 1.2 删除所有列的空值和NaN 1.3 删除某列的空值和NaN 1.4 删除某列的非空且非NaN的低于10的 1.5 填充所有空值的列 1.6 对指定的列空值填充 1.7 查询空值列 1.8 查询非空列 二.Dataset行列操作和执行计划 2.1 常用包 2.2 创建Spa…
【三】用Markdown写blog的常用操作
本系列有五篇:分别是 [一]Ubuntu14.04+Jekyll+Github Pages搭建静态博客:主要是安装方面 [二]jekyll 的使用 :主要是jekyll的配置 [三]Markdown+jekyll在Gitpages上写blog的常用操作 :主要Markdown的使用 [四]搭建Markdown的编辑器 [五]将博客从jekyll迁移到了hexo 参考:[Markdown+jekyll在Gitpages上写blog的常用操作]和[Markdown中文文档] Markdown…
php模拟数据库常用操作效果
test.php <?php header("Content-type:text/html;charset='utf8'"); error_reporting(E_ALL); echo "模拟数据库常用操作效果<br>"; echo "<a href='check.php?action=add'>执行增加操作</a><br>"; echo "<a href='check.php…
Mac OS X常用操作入门指南
前两天入手一个Macbook air,在装软件过程中摸索了一些基本操作,现就常用操作进行总结, 1关于触控板: 按下(不区分左右) =鼠标左键 control+按下 =鼠标右键 双指上下拖 滚屏 双指左右拖 浏览器前进/后退 三指左右拖 切换程序 三指上下拖 …
mysql常用操作语句
mysql常用操作语句 1.mysql -u root -p 2.mysql -h localhost -u root -p database_name 2.列出数据库: 1.show databases; 3.选择数据库: 1.use databases_name; 4.列出数据表: 1.show tables; 5.显示表格列的属性: 1.show columns from table_name; 2.describe table_name; 6.导出整个数据库: 1.mysqldu…
nodejs配置及cmd常用操作
一.cmd常用操作 1.返回根目录cd\ 2.返回上层目录cd .. 3.查找当前目录下的所有文件dir 4.查找下层目录cd window 二.nodejs配置 Node.js安装包及源码下载地址为:https://nodejs.org/en/download/. Windowv 上安装Node.js Windows 安装包(.msi) : 32 位安装包下载地址 : http://nodejs.org/dist/v0.10.26/node-v0.10.26-x86.msi 64 位安装包下载…
Oracle常用操作——创建表空间、临时表空间、创建表分区、创建索引、锁表处理
摘要:Oracle数据库的库表常用操作:创建与添加表空间.临时表空间.创建表分区.创建索引.锁表处理 1.表空间 ■ 详细查看表空间使用状况,包括总大小,使用空间,使用率,剩余空间 --详细查看表空间使用状况,包括总大小,使用空间,使用率,剩余空间 select t.* from (SELECT D.TABLESPACE_NAME, SPACE "SUM_SPACE(M)", BLOCKS SUM_BLOCKS, ) "USED_SPACE(M)", ) , )…
python 异常处理、文件常用操作
异常处理 http://www.jb51.net/article/95033.htm 文件常用操作 http://www.jb51.net/article/92946.htm…