1.scala一些预热操作

1.1 to 是一个方法,()可以进行 参数传递,map()把每一个元素取出来进行相应的操作,

  1.  print(1.to(10).map(_*10))
  2.  结果
  3.  Vector(10, 20, 30, 40, 50, 60, 70, 80, 90, 100)

1.2取数组中的每一个值

  1.  val arr=Array(1,2,3,4,5,6,7,8,9)
  2.  //直接遍历每一个值
  3.  for (i<-arr) print(i+" ")
  4.  //通过下标遍历每一个值 until是取值左闭右开
  5.  for(i <- 0 until arr.length) println(arr(i))

1.3 List的flatten 可以将一个list嵌套list、list嵌套字符串压平

  1.  val ls1=List(1,2,3,4,5,6,7,8,9)
  2.  val ls2=ls1.grouped(5)
  3.  val ls3=ls2.toList
  4.  println(ls3) //List(List(1, 2, 3, 4, 5), List(6, 7, 8, 9))
  5.  println(ls3.flatten) //list套list有压平操作 也可以压平 list中套多个字符串的情况
  6.  结果:list(1, 2, 3, 4, 5, 6, 7, 8, 9)

1.4取一个元组的第n个值

  1.  val t=(1,2,3,4,4,5,6)
  2.  print(t._2) ////去元组的第n个

2.wordcount

  1.  val lines=List("hello tom hello jerry","hello tom hello kitty hello china")
  2.  方法一:
  3.  val wc=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.size)).toList.sortBy(_._2).reverse
  4.  方法二:
  5.  val wc2=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.size)
  6.  方法三:
  7.  val wc3=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.foldLeft(0)(_+_._2))
  8.  如果是在spark上:
  9.  val wc4=lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).sortBy(_._2,false).collect

2.1flatMap=map+flatten

  1.  val words=lines.flatMap(_.split(" "))
  2.  结果:
  3.  List(hello, tom, hello, jerry, hello, tom, hello, kitty, hello, china)

可以拆分map过程

  1.  lines.map(_.split(" "))
  2.  拿到每一个元素(字符串),按照空格切割,切割后返回两个数组,仍放在List中
  3.  res0: List[Array[String]] = List(Array(hello, tom, hello, jerry), Array(hello, tom, hello, kitty, hello, china))

flatten过程

  1.  lines.map(_.split(" ")).flatten
  2.  List(hello, tom, hello, jerry, hello, tom, hello, kitty, hello, china)

2.2 将单词出现一次和1放在一起(放入元组)

  1.  val wordsAndOne=words.map((_,1))
  2.  List((hello,1), (tom,1), (hello,1), (jerry,1), (hello,1), (tom,1), (hello,1), (kitty,1), (hello,1), (china,1))

2.3 groupBy按照单词分组返回map

  1.  第一个_ 表示List中的每一个元组,取元组中的某一个元素用._n,即按照元组中的某一元素分组,返回是一个map
  2.  val grouped =wordsAndOne.groupBy(_._1)
  3.  Map(kitty -> List((kitty,1)), china -> List((china,1)), tom -> List((tom,1), (tom,1)), hello -> List((hello,1), (hello,1), (hello,1), (hello,1), (hello,1)), jerry -> List((jerry,1)))

2.4求和

  1.  t就是每一个对偶元组, 仍返回一个map
  2.  val result = grouped.map(t=>(t._1,t._2.size))
  3.  Map(kitty -> 1, china -> 1, tom -> 2, hello -> 5, jerry -> 1)

直接对第一个单词和list.size 但scala中不予许这样的操作

  1.  第一个_ 拿到一个对偶元组,取元组中的第一个元组。_._2.size即是取对偶元组第二个的大小。
  2.  val result=grouped.map(_._1,_._2.size)

2.5 按出现次数从大到小排序M:默认自然排序, map没有sortBy 先将map.toList

  1.  val finalResult=result.toList.sortBy(_._2).reverse
  2.  List((hello,5), (tom,2), (jerry,1), (china,1), (kitty,1)

3.方法二中:mapValues的_ 指的是元组的值 即v。key 不动,只是对values进行处理  结果 k v 一起返回

val wc2=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.size)
 

4.方法三中:

fold(0)(_+_)  0 是初始值
Map(kitty -> List((kitty,1)), china -> List((china,1)), tom -> List((tom,1), (tom,1)), hello -> List((hello,1), (hello,1), (hello,1), (hello,1), (hello,1)), jerry -> List((jerry,1)))
foldLeft(0)(_+_._2)第一个_表示初始值或者上一次累加的结果 中第二个_ ,表示拿到的每一个元组,第三个元组的中第n个值

val wc3=lines.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).mapValues(_.foldLeft(0)(_+_._2))
 

5.reduce和fold操作

  1.  val a=Array(1,2,3,4,5,6)
  2.  println(a.sum) //求和 21
  3.  println(a.reduce(_+_))//21 聚合操作要求传递两个参数
  4.  println(a.reduce(_-_))//-19 也可以进行减法操作

a.reduce(_+_) 默认调用 a.reduceLift   (((((1+2)+3)+4)+5)+6)


println(a.par.reduce(_+_)) //21  par转化成并行化操作
 

fold 也支持并行化--并行计算,及柯里化

  1.  val b=Array(1,2,3,4,5,6)
  2.  println(b.fold(10)(_+_)) //31和cpu核心数无关
  3.  println((b.par.fold(10)(_+_))) //61和cpu核心数有关,2核心4线程,所以4*10
  4.  println((b.par.fold(0)(_+_))) //21
  5.   
  6.  println(b.foldLeft(10)(_+_)) //31
  7.  println(b.foldRight(10)(_+_)) //31

scala 基础的更多相关文章

  1. 【Scala学习之一】 Scala基础语法

    环境 虚拟机:VMware 10 Linux版本:CentOS-6.5-x86_64 客户端:Xshell4 FTP:Xftp4 jdk1.8 scala-2.10.4(依赖jdk1.8) spark ...

  2. Scala学习(一)--Scala基础学习

    Scala基础学习 摘要: 在篇主要内容:如何把Scala当做工业级的便携计算器使用,如何用Scala处理数字以及其他算术操作.在这个过程中,我们将介绍一系列重要的Scala概念和惯用法.同时你还将学 ...

  3. Scala基础(1)

    Scala基础语法 声明与定义: val,常量声明                       val  x:T(把x声明成一个类型为T的常量)  x是变量的名字,T是变量的类型          v ...

  4. scala 基础知识总结

    在最开始处引入 log 相关的 包 import org.apache.log4j.{Logger,Level} 在需要屏蔽日志输出的地方加上这两行代码 // 屏蔽不必要的日志显示在终端上 Logge ...

  5. 1.scala基础语法总结

    Scala基础语法总结:Scala 与 Java 的最大区别是:Scala 语句末尾的分号 ; 是可选的.如果一行里写多个语句那么分号是需要的 val s = "菜鸟教程"; pr ...

  6. Scala 基础(8)—— 占位符_和部分应用函数

    1. 占位符 _ 针对 Scala 基础(7)—— 函数字面量和一等函数 中最后提到的,关于 filter 函数字面量的精简写法,可以使用占位符 _ 来代替. 占位符_,用来表示一个或者多个参数.(这 ...

  7. Scala 基础(7)—— 函数字面量和一等函数

    1. 函数字面量 在 Scala 基础(3)—— 基础类型和基础操作 中提到了函数字面量,这里具体解释函数字面量的语法. 下面展示一个具体的函数字面量,它由三部分组成: (x: Int, y: Int ...

  8. Scala 基础(5)—— 构建函数式对象

    有了 Scala 基础(4)—— 类和对象 的前提,现在就可以来构建一个基于 Scala 的函数式对象. 下面开始构造一个有理数对象 Rational. 1. 主构造方法和辅助构造方法 对于每一个类的 ...

  9. Scala基础知识[一]

    摘要:在Scala 是 Scalable Language 的简写,是一门多范式(multi-paradigm)的编程语言.设计初衷是要集成面向对象编程和函数式编程的各种特性.Scala 运行在Jav ...

  10. Scala基础简述

    * Scala基础简述 本文章作为Scala快速学习的教程,前提环境是:我假设在此之前,你已经学会了Java编程语言,并且我们以随学随用为目标(在此不会深度挖掘探讨Scala更高级层次的知识).其中语 ...

随机推荐

  1. 第34 memcached缓存

    1.缓存数据库 缓存:将数据存储在内存中,只有当磁盘胜任不了的时候,才会启用缓存. 缺点:断电数据丢失(双电),用缓存存储数据的目的只是为了应付大并发的业务,至于数据存储及可靠性不要找他了.   数据 ...

  2. 一行代码实现自定义转场动画--iOS自定义转场动画集

    WXSTransition 这款非常不错,力推 这是作者源码简书地址: http://www.jianshu.com/p/fd3154946919 这是作者源码github地址 https://git ...

  3. Tools - 浏览器Chrome

    Chrome HomePage:https://www.google.com/chrome/ Chrome应用商店:https://chrome.google.com/webstore/categor ...

  4. java调用高德地图api实现通过ip定位访问者的城市

    所需东西:高德地图的key 注意:这个key是 web服务的key  和js的key不是一个key(若没有则自行创建,创建教程在文末) 高德地图的api文档:https://lbs.amap.com/ ...

  5. Liferay7 BPM门户开发之24: Liferay7应用程序安全

    整理中...... Resources, Roles, and PermissionsPortal Access Control List (PACL) Custom SSO Providers Au ...

  6. python多进程没有锁队列范例

    假设有一些任务要完成.为了完成这项任务,将使用几个过程.所以,将保持两个队列.一个包含任务,另一个包含已完成任务的日志. 然后实例化流程来完成任务.请注意,python队列类已经同步. 这意味着,我们 ...

  7. [Node.js与数据库]node-mysql 模块介绍

    [Node.js与数据库]node-mysql 模块介绍   转载至:https://itbilu.com/nodejs/npm/NyPG8LhlW.html#multiple-statement-q ...

  8. C# signtool error:no certificates were found that met all the given criteria 错误解决方案

    程序运行时报错:signtool error:no certificates were found that met all the given criteria (汉译:符号工具错误:没有找到符合所 ...

  9. 写好Java代码的30条经验总结

    成为一个优秀的Java程序员,有着良好的代码编写习惯是必不可少的.下面就让我们来看看代码编写的30条建议吧. (1) 类名首字母应该大写.字段.方法以及对象(句柄)的首字母应小写.对于所有标识符,其中 ...

  10. Linux学习笔记之七————Linux常用命令之编辑器、服务器

    <1>gedit编辑器 gedit是一个Linux环境下的文本编辑器,类似windows下的写字板程序,在不需要特别复杂的编程环境下,作为基本的文本编辑器比较合适.   <2> ...