一些scala的操作

【一些scala的操作】的更多相关文章

Scala实战高手****第6课：零基础实战Scala集合操作及Spark源码解析

本课内容1.Spark中Scala集合操作鉴赏2.Scala集合操作实战 ------------------------------------------------------------------------------------------------------------------------ /** * 大数据技术是数据的集合以及对数据集合的操作技术的统称,具体来说: * 1.数据集合:会涉及数据的搜集.存储等,搜集会有很多技术,存储现在比较经典的是使用Hadoop, * …

Scala集合操作

大数据技术是数据的集合以及对数据集合的操作技术的统称,具体来说: 1.数据集合:会涉及数据的搜集.存储等,搜集会有很多技术,存储技术现在比较经典方案是使用Hadoop,不过也很多方案采用Kafka. 2.对数据集合的操作技术,目前全球最火爆的是Spark. Spark的框架实现是语言是Scala,首选应用程序开发语言也是Scala,所以Scala对集合以及集合操作的支持就非常重要且非常强大,因此Spark中对很多数据操作算子和Scala中对集合的操作是一样的. Scala中数据的创建与操作…

Scala文件操作

Scala中的文件操作基本可以依赖于Java的实现,包括输入.输出流的使用. object FileOps {def main(args: Array[String]) { val file = Source.fromFile("E:\\WangJialin.txt") for (line <- file.getLines){ println(line)} file.close val webFile = Source.fromURL("http://spark.ap…

Scala数组操作

数组操作初始化固定长度的数组 // 初始化长度为10的数组 val array = new Array[Int](10) // 初始化创建含有hello与Scala的数组 val s = Array("hello","scala") 创建可变的数组(类似java的集合) Scala中创建长度可变的数组,类似与java中的ArrayList一样Scala提供了ArrayBuffer,下面是ArrayBuffer的用法: // 创建集合等同于下面的new ArrayB…

Scala 数组操作之Array、ArrayBuffer以及遍历数组

ArrayBuffer 在Scala中,如果需要类似于Java中的ArrayList这种长度可变的集合类,则可以使用ArrayBuffer. // 如果不想每次都使用全限定名,则可以预先导入ArrayBuffer类 import scala.collection.mutable.ArrayBuffer // 使用ArrayBuffer()的方式可以创建一个空的ArrayBuffer val b = ArrayBuffer[Int]() // 使用+=操作符,可以添加一个元素,或者多个元素 //…

Scala获取当前目录下所有文件 import java.io.File //获取目录下的所有文件,当前项目目录输入new File(".") def getFiles1(dir: File): Array[File] = { dir.listFiles.filter(_.isFile) ++ dir.listFiles.filter(_.isDirectory).flatMap(getFiles1) Scala中路径的表示如: val visitlog = sc.textFile(…

Scala学习——操作外部数据

scala操作外部数据一.scala读取文件及网络数据 package top.ruandb.scala.Course08 import scala.io.Source object FileApp { def main(args: Array[String]): Unit = { val FILEPATH = "D:\\test\\a.txt" val URL = "https://www.baidu.com" readLine(FILEPATH) readCh…

Scala io操作

1. 读文件 scala特有的是scala.io.Source,例如: import scala.io._ Source.fromFile(“cn.scala”,”utf8”).mkString 逐行读文件内容: Source.fromFile(new java.io.File(“cn.scala”)).getLines().foreach(println) 2. 写文件 import java.io., java.nio.channels., java.nio._ // 写文件 val f =…

IDEA写scala简单操作

今天尝试了一下在IntelliJ IDEA里面写Scala代码,并且做到和Java代码相互调用,折腾了一下把过程记录下来. 首先需要给IntelliJ IDEA安装一下Scala的插件,在IDEA的启动界面点击 Configure -> Plugins,然后搜索Scala,点击 Install 即可,安装完插件以后,就可以创建Scala Project和Scala Class等. 安装Scala SDK:第一次用IDEA创建Scala Project的时候会提示你安装Scala SDK,它里面可…

scala map操作简单总结

在函数式编程中有一个核心的概念之一是转换,所以大部份支持函数式编程语言,都支持一种叫map()的动作,这个动作是可以帮你把某个容器的内容,套上一些动作之后,变成另一个新的容器. 现在我们考虑如何用Option的map方法实现length: xxx的输出形式: 先算出 Option 容器内字符串的长度然后在长度前面加上 “length: ” 字样最后把容器走访一次,印出容器内的东西 scala> value1.map(_.length).map("length: " + _).…

Scala 归约操作- - - - -reduce

object 归约操作_reduce { def main(args: Array[String]): Unit = { val list=List(,,,,) val result=list.reduce(_+_) println("结果1为:"+result) println("结果2为:"+list.reduceLeft(_+_)) println("结果3为:"+list.reduceRight(_+_)) println("结…

Scala数组操作实战详解

增删改查,要注意的是,Array数组是定长数组,ArrayBuffer数组才是变长数组. 其他集合也存在可变不可变.例如,List,Set,Map 多维数组定义方法与Java类似.…

Scala 数组操作之数组转换

使用yield和函数式编程转换数组 // 对Array进行转换,获取的还是Array val a = Array(1, 2, 3, 4, 5) val a2 = for (ele <- a) yield ele * ele // 对ArrayBuffer进行转换,获取的还是ArrayBuffer val b = ArrayBuffer[Int]() b += (1, 2, 3, 4, 5) val b2 = for (ele <- b) yield ele * ele // 结合if守卫,仅转…

geotrellis使用（五）使用scala操作Accumulo

要想搞明白Geotrellis的数据处理情况,首先要弄清楚数据的存放,Geotrellis将数据存放在Accumulo中. Accumulo是一个分布式的Key Value型NOSQL数据库,官网为(https://accumulo.apache.org/),在使用Ambari安装hadoop集群一文中已经介绍了如何安装Hadoop集群以及Accumulo. Accumulo以表来分区存放数据,结构为Key Value,其中Key又包含RowID和Column,Column又包含Family.Q…

Scala学习(三)----数组相关操作

数组相关操作摘要: 本篇主要学习如何在Scala中操作数组.Java和C++程序员通常会选用数组或近似的结构(比如数组列表或向量)来收集一组元素.在Scala中,我们的选择更多,不过现在我们先假定不关心其他选择,而只是想马上开始用数组.本篇的要点包括: 1. 若长度固定则使用Array,若长度可能有变化则使用ArrayBuffer 2. 提供初始值时不要使用new 3. 用()来访问元素 4. 用for (elem<-arr)来遍历元素 5. 用for (elem<-arr if…)…yie…

Scala进阶之路-I/O流操作之文件处理

Scala进阶之路-I/O流操作之文件处理作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 说起Scala语言操作文件对象其实是很简单的,大部分代码和Java相同. 一.使用Scala拷贝文件实现 /* @author :yinzhengjie Blog:http://www.cnblogs.com/yinzhengjie/tag/Scala%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ EMAIL:y1053419035@qq.com */ pac…

大数据系列修炼-Scala课程02

Scala数组操作实战详解接着昨天的课程,下面我们继续学习关于Scala数组操作详解.Scala数组的定义 //数组定义 //定长数组格式 /** * val arrayName = new Array[datatype](length) * val arrayName = Array(constant1,constant2,....) */ //不定长数组定义格式 /* * var arrayBufferName =ArrayBuffer[datatype]() */ 数组的基本操作:包括截…

scala配置intellij IDEA15.0.3环境及hello world！

1. Intellij IDEA Scala开发环境搭建 Intellij IDEA 15.0.3 默认配置里面没有Scala插件,需要手动安装,在Intellij IDEA 15.0.3 第一次运行时选择configure plugins,选择默认后在软件主界面去配置,但是本人测试发现,这种设置方式经常会因为网络问题配置失败,建议直接到 http://www.jetbrains.net/confluence/display/SCA/Scala+Plugin+for+IntelliJ+IDEA,…

Scala的安装，入门，学习，基础

1:Scala的官方网址:http://www.scala-lang.org/ 推荐学习教程:http://www.runoob.com/scala/scala-tutorial.html Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性.Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序. 2:Scala的优点: (1):优雅:这是框架设计师第一个要考虑的问题,框架的用户是应用开发程序员,API是否优雅直接影响用户体验. (2):速…

Spark学习之键值对操作总结

键值对 RDD 是 Spark 中许多操作所需要的常见数据类型.键值对 RDD 通常用来进行聚合计算.我们一般要先通过一些初始 ETL(抽取.转化.装载)操作来将数据转化为键值对形式.键值对 RDD 提供了一些新的操作接口(比如统计每个产品的评论,将数据中键相同的分为一组,将两个不同的 RDD 进行分组合并等).我们也会讨论用来让用户控制键值对 RDD 在各节点上分布情况的高级特性:分区.有时,使用可控的分区方式把常被一起访问的数据放到同一个节点上,可以大大减少应用的通信开销.这会带来明显的性能…

使用idea搭建Scala 项目

主要内容 Intellij IDEA开发环境简介 Intellij IDEA Scala开发环境搭建 Intellij IDEA常见问题及解决方案 Intellij IDEA常用快捷键 1. Intellij IDEA开发环境简介具体介绍请参见:http://baike.baidu.com/link?url=SBY93H3SPkmcmIOmZ8H60O1k4iVLgOmdqoKdGp9xHtU-Pbdsq2cpn75ZPZPWAJxeUlwr0ravraQzOckh777beq Intelli…

scala 随笔

创建map,并向map添加元素 val idMap = Map( "group_id" -> "GID", "sim_id" -> "SIM_ID", "list_sim_id" -> "LIST_SIM_ID" )idMap += ("foo" -> "bar") 关键字Option, Some, None https:/…

scala开发环境

1. Intellij IDEA Scala开发环境搭建 Intellij IDEA 15.0.3 默认配置里面没有Scala插件,需要手动安装,在Intellij IDEA 15.0.3 第一次运行时选择configure plugins,选择默认后在软件主界面去配置,但是本人测试发现,这种设置方式经常会因为网络问题配置失败,建议直接到 http://www.jetbrains.net/confluence/display/SCA/Scala+Plugin+for+IntelliJ+IDEA,…

scala学习笔记(1)

scala ------------------------- java语言脚本化 1.安装scala-2.12.1.msi 2.进入到scala的命令行 3.Tab键会有补全的功能 1.scala程序并不是一个解释器,实际上,你输入的内容会很快的被编译成字节码文件,然后这段字节码文件会提交给java虚拟机进行相关的运行. 2.声明值和变量:除了直接使用res0.res1等这些名称之外,也可以自己进行相关的定义. scala>val answer = 8*5+2 通过val定义的值实际上是一个常…

Scala-文件操作

Scala-文件操作一.遍历一个文件中的每一行方法一: 使用Source.getLines返回的迭代器方法二: 将Source.getLines返回的迭代器,转换成数组方法三: 调用Source.mkString,返回文本中所有的内容二.遍历一个文件中的每一个字符三.从URL以及字符串中读取字符四.结合Java IO流,读取任意文件 4.1 结合Java IO流,写文件 4.2 递归遍历子目录访问目录: 4.3 序列化以及反序列化(Java序列化和反序列化机制) 五.控制台输入…

浅谈Slick（3）－ Slick201：从fp角度了解Slick

我在上期讨论里已经成功的创建了一个简单的Slick项目,然后又尝试使用了一些最基本的功能.Slick是一个FRM(Functional Relational Mapper),是为fp编程提供的scala SQL Query集成环境,可以让编程人员在scala编程语言里用函数式编程模式来实现对数据库操作的编程.在这篇讨论里我想以函数式思考模式来加深了解Slick.我对fp编程模式印象最深的就是类型匹配:从参数类型和返回结果类型来了解函数功能.所以上面我所指的函数式思考方式主要是从Slick函数的类…