1.trimEnd:截取末尾几个长度的字符串 import scala.collection.mutable.ArrayBuffer val a = ArrayBuffer[Int]() a+=(1,2,3,4,5) a.trimEnd(3) a res15: scala.collection.mutable.ArrayBuffer[Int] = ArrayBuffer(1, 2)…

一.fastjson工具 pom依赖 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.62</version> </dependency> Json字符串<->对象 import com.alibaba.fastjson.JSON import com.alibaba…

http://blog.csdn.net/pipisorry/article/details/52902348 Scala字符串 在 Scala 中,字符串的类型实际上是 Java String,它本身没有 String 类. 在 Scala 中,String 是一个不可变的对象,所以该对象不可被修改.这就意味着你如果修改字符串就会产生一个新的字符串对象.但其他对象,如数组就是可变的对象. 创建字符串 创建字符串实例如下: var greeting = "Hello World!";…

String 前文已经说明了字符串的声明方式: var s = "Hello World"; var s: String = "Hello World"; 在 Scala 中,字符串的类型实际上是 Java String(java.lang.String),它本身没有 String 类.我们可以在Scala中使用Java String的所有方法. String对象是不可变对象, 更改String内容的操作实际上是创建了一个新的字符串. scala> var s…

Scala字符串 在Scala中的字符串和Java中的一样,字符串是一个不可变的对象,也就是一个不能修改的对象.可以修改的对象,如数组,称为可变对象.字符串是非常有用的对象,在本节的最后部分,我们将介绍java.lang.String类的一些重要方法. 1.创建一个字符串 以下是创建一个字符串的代码 - var greeting = "Hello world!"; // 或者 var greeting:String = "Hello world!"; Scala 每…

scala中的字符串类就是java中的java.lang.String类.不过scala也为String提供了一个富封装类:scala.runtime.RichString. scala可以将java.lang.String类自动转换为scala.runtime.RichString类.这样就可以非常方便地使用capitalize().lines()和reverse()等方法相对较便捷的方法(有时候这样做也会带来一些问题,比如涉及到类型比较的时候). 在scala里,对于字符串的支持中最显著的一…

[From]  https://unmi.cc/scala-2-10-0-feature-string-interpolation/ Scala 2.10.0 新特性之字符串插值 2013-01-20 — Yanbin Scala 在处理字符串方面终于也与时俱进了,引入了字符串插件,这在许多脚本语言中就早已这么做了.有了这个特性,字面量字符串和变量连接可以不需要总是用加号进行丑陋的连接了.有些脚本语言会是只对双引号字符串解析其中的变量,单引号的不会,当然Scala 是要区分字符串和字符类型. 直…

目录[-] 1.   Scala有多cool 1.1.     速度! 1.2.     易用的数据结构 1.3.     OOP+FP 1.4.     动态+静态 1.5.     DSL 1.6.     够复杂 1.7.     够有趣 1.8.     开发社区 2.   lang 2.1.     和Java的异同 2.1.1.  语法 2.1.2.  库 2.2.     变量 2.2.1.  保留字 2.2.2.  变量标识 2.2.3.  变量定义 2.2.3.1     va…

.类型参数化数组 val arrayString = Array[String](2); arrayString (0)="Hello"; arrayString (1)="World"; for (i <- 0 to 1){ print(arrayString (i)) } 需要留意上面代码的几个地方如下: 1.无论是在创建数组时的维度指定,还是对数组元素的访问都是使用括号,这里本质上是调用了Array类对应的方法返回的结果完成的操作: 2.scala基本原…

正则表达式语法:https://msdn.microsoft.com/zh-cn/library/ae5bf541(VS.80).aspx 基础知识:正则表达式30分钟入门教程 http://www.jb51.net/tools/zhengze.html  版本:v2.33 (2013-1-10) 作者:deerchao 转载请注明来源 使用格式:  见java API  http://docs.oracle.com/javase/7/docs/api/ java : java.util.reg…

一.前言 大数据领域的Spark.Kafka.Summingbird等都是由Scala语言编写而成,相比Java而言,Scala更精炼.由于笔者从事大数据相关的工作,所以有必要好好学习Scala语言,之前也学习过,但是没有记录,所以就会忘记,感觉Scala确实比Java方便精炼很多,下面以Scala Cookbook英文版作为参考资料,从头到尾梳理Scala相关知识点,也加深印象.PS:这是在研究Zookeeper源码的间隙中交叉学习,不至于总是看源码太枯燥. 二.String 在Scala的R…

1.PairRDD介绍     Spark为包含键值对类型的RDD提供了一些专有的操作.这些RDD被称为PairRDD.PairRDD提供了并行操作各个键或跨节点重新进行数据分组的操作接口.例如,PairRDD提供了reduceByKey()方法,可以分别规约每个键对应的数据,还有join()方法,可以把两个RDD中键相同的元素组合在一起,合并为一个RDD. 2.创建Pair RDD     程序示例:对一个英语单词组成的文本行,提取其中的第一个单词作为key,将整个句子作为value,建立 P…

一.前言 大数据领域的Spark.Kafka.Summingbird等都是由Scala语言编写而成,相比Java而言,Scala更精炼.由于笔者从事大数据相关的工作,所以有必要好好学习Scala语言,之前也学习过,但是没有记录,所以就会忘记,感觉Scala确实比Java方便精炼很多,下面以Scala Cookbook英文版作为参考资料,从头到尾梳理Scala相关知识点,也加深印象.PS:这是在研究Zookeeper源码的间隙中交叉学习,不至于总是看源码太枯燥. 二.String 在Scala的R…

整体介绍 Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性. 联邦理工学院洛桑(EPFL)的Martin Odersky于2001年基于Funnel的工作开始设计Scala.Java平台的Scala于2003年底/2004年初发布..NET平台的Scala发布于2004年6月.该语言第二个版本,v2.0,发布于2006年3月. Scala 运行在Java虚拟机上,并兼容现有的Java程序. Scala 源代码被编译成Java字…

scala程序开发入门,快速步入scala的门槛: 1.Scala的特性: A.纯粹面向对象(没有基本类型,只有对象类型).Scala的安装与JDK相同,只需要解压之后配置环境变量即可:B.Scala在安装之前必须先安装JDK,因为Scala的编译结果是中间字节码文件,它需要在JVM上运行,Scala可以调用Java类库来完成某些功能:C.Scala类似于python,一半面向过程一半面向对象,还可以基于shell的命令行进行操作,当然也可以像Java那样先使用scalac编译成中间字节码之后再…

1       快速入门... 4 1.1             分号... 4 1.2             常变量声明... 4 1.2.1         val常量... 4 1.2.2         var变量... 4 1.2.3         类型推导... 5 1.2.4         函数编程风格... 5 1.3             Range. 5 1.4             定义函数... 6 1.5             while.if 6 1.6…

整体介绍 Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性. 联邦理工学院洛桑(EPFL)的Martin Odersky于2001年基于Funnel的工作开始设计Scala.Java平台的Scala于2003年底/2004年初发布..NET平台的Scala发布于2004年6月.该语言第二个版本,v2.0,发布于2006年3月. Scala 运行在Java虚拟机上,并兼容现有的Java程序. Scala 源代码被编译成Java字…

Scala进阶之路-正则表达式案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 废话不多说,正则大家都很清楚,那在Scala如何使用正则了?我们直接上个案例,如下: /* @author :yinzhengjie Blog:http://www.cnblogs.com/yinzhengjie/tag/Scala%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/ EMAIL:y1053419035@qq.com */ package cn.org.yi…

一.Scala概述 scala是一门多范式编程语言,集成了面向对象编程和函数式编程等多种特性.scala运行在虚拟机上,并兼容现有的Java程序.Scala源代码被编译成java字节码,所以运行在JVM上,并可以调用现有的Java类库. 二.第一个Scala程序 Scala语句末尾的分号可写可不写 HelloSpark.scala object HelloSpark{ def main(args:Array[String]):Unit = { println("Hello Spark!"…

一 简介 Scala 是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性.Scala 运行在Java虚拟机上,并兼容现有的Java程序.Scala 源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库. 二 安装与环境配置 Scala 语言可以运行在Window.Linux.Unix. Mac OS X等系统上.Scala是基于java之上,大量使用java的类库和变量,使用 Scala 之前必须先安装 J…

一.条件表达式 在scala中if/else表达式有值,这个值就是跟在if或者else之后的表达式的值. scala> val x = 10 x: Int = 10 scala> val s = if (x>0) 1 else -1 s: Int = 1 在scala中每个表达式都有一个类型.举例来说,表达式if(x>0) 1 else -1的类型是Int,因为两个分支的类型都是Int. 混合表达式的类型是两个分支的类型的公共超类型.例如if(x>0) 1 else &quo…

1. val和var的区别 val定义的是一个常量,无法改变其内容 scala> val s = 0 s: Int = 0 scala> s = 2 <console>:12: error: reassignment to val s = 2 ^ 如果要声明其值可变的变量,可以使用var scala> var s = 0 s: Int = 0 scala> s = 5 s: Int = 5 在scala中建议使用val,除非你真的想改变他的内容. 2. 基本类型 Byt…

(1)Scala中创建多行字符串使用Scala的Multiline String. 在Scala中,利用三个双引号包围多行字符串就可以实现. 代码实例如: val foo = """a bc d""" 运行结果为: a bc d (2) 上述方法存在一个缺陷问题,输入的内容,带有空格.\t之类,导致每一行的开始位置不能整洁对齐. 而在实际应用场景下,有时候我们就是确实需要在scala创建多少字符串,但是每一行需要固定对齐. 解决该问题的方法就是应…

一.Scala基本类型和操作 1.1  基本类型 Scala的基本类型与Java基本类型相同,都是byte.short.int.long.char.string.float.double.boolean.在Scala其只有string归于Java.lang包.其他的都是包Scala的成员.如,int的全名为Scala.Int.然而,由于包Scala和java.lang的所有成员都被每个Scala源文件自动应用,故可以在任何地方直接写作简化名.(如:Boolean.char等) 1.2  字面量…

键值对 RDD是 Spark 中许多操作所需要的常见数据类型 键值对 RDD 通常用来进行聚合计算.我们一般要先通过一些初始 ETL(抽取.转化.装载)操作来将数据转化为键值对形式. Spark 为包含键值对类型的 RDD 提供了一些专有的操作. 1.创建Pair RDD val input = sc.parallelize(List(1, 2, 3, 4)) val pairs = input.map(x => (x+1, x)) for (pair <- pairs){ println(p…

转载来自:http://www.cnblogs.com/spark-china/p/3941878.html 在VMWare 中准备第二.第三台运行Ubuntu系统的机器:   在VMWare中构建第二.三台运行Ubuntu的机器和构建第一台机器完全一样,再次不在赘述.. 与安装第一台Ubuntu机器不同的几点是: 第一点:我们把第二.三台Ubuntu机器命名为了Slave1.Slave2,如下图所示: 创建完的VMware中就有三台虚拟机了: 第二点:为了简化Hadoop的配置,保持最小化的H…

package com.bigdata object ListO { def main(args: Array[String]): Unit = { println() } val list = List(1,2,3,4) for (i <- list) println(i) //添加元素 val list1 = 0::list for (i <- list1) println(i) //合并list val list2 = List("x","y",&…

Spark学习之Spark SQL(8) 1. Spark用来操作结构化和半结构化数据的接口--Spark SQL. 2. Spark SQL的三大功能 2.1 Spark SQL可以从各种结构化数据(例如JSON.Hive.Parquet等)中读取数据. 2.2 Spark SQL不仅支持在Spark程序内使用SQL语句进行查询,也支持从类似商业智能软件Tableau这样的外部工具中通过标准数据库连接器(JDBC/ODBC)连接Spark SQL进行查询. 2.3 当在Spark程序内使用Sp…

本文翻译自官网:Table API  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/tableApi.html Flink Table Api & SQL 翻译目录 Table API是用于流和批处理的统一的关系API. Table API查询可以在批处理或流输入上运行而无需修改. Table API是SQL语言的超集,是专门为与Apache Flink配合使用而设计的. Table API是用于Sca…

一.UDF 1.UDF UDF:User Defined Function.用户自定义函数. 2.scala案例 package cn.spark.study.sql import org.apache.spark.SparkConf import org.apache.spark.SparkContext import org.apache.spark.sql.SQLContext import org.apache.spark.sql.Row import org.apache.spark.…