Scala Type ES Unit null None   null Nil empty array Some[T] according to the table Map object Traversable array case class   object(see Map) Product array…

有一个域 inp_type本来为Interger类型,但有的存储了string类型; 执行这个域的聚合时, "aggs":{ "level2":{ "terms":{ "field":"inp_type" } } } 报的是类型转换错误, { "error": "ClassCastException[org.elasticsearch.search.aggregations.b…

最高的父类型为Any,最低类型为Nothing Any is the supertype of all types, also called the top type. It defines certain universal methods such as equals, hashCode, and toString. Any has two direct subclasses: AnyVal and AnyRef 注意:hashCode,equals,toString方法在Any类型中 An…

Scala学习资料 java 树形 分类器_百度搜索 决策树分类器-Java实现 - CSDN博客 KNN分类器-Java实现 - CSDN博客 学习:java设计模式—分类 - 飞翔荷兰人 - 博客园 SparkMLlib分类算法之决策树学习 - DamonDr - 博客园 [Spark Mllib]决策树,随机森林——预测森林植被类型 - 简书 Spark入门实战系列--8.Spark MLlib(下)--机器学习库SparkMLlib实战 - shishanyuan - 博客园 Spark…

scala object 转Class Scala强制类型转换   asInstanceOf[T] 将对象类型强制转换为T类型. 还是由于泛型存在类型擦除的原因,1.asInstanceOf[String]在运行时会抛出ClassCastException异常,而List(1).asInstanceOf[List[String]]将不会. package resti.web   import org.springframework.beans.factory.annotation.Autowir…

先来看一下下面的内容: 2 days "ago" 5 days "from_now" 如上的内容具体应该是什么呢?不过怎么看也不像是代码.不过既然是在学代码,拿不是代码的东西出来做什么! 非要强说是代码的话,那么执行起来肯定是要报错的--因为scala的Int和RichInt,以及Integer中都没有days这样的方法: 如果说不是代码的话,那么scala中的to或until本来看起来也不像代码: 2 to 6 2 until 7 现在剩下的就是怎么为整型值添加上…

上篇谈到:elasticsearch本身是一个完整的后台系统,对其的操作使用是通过终端api进行的.elasticsearch本身提供了多种编程语言的api,包括java的esjava.而elastic4s是一套基于esjava之上的scala api. 先看看scala 终端 ElasticClient的构建过程: import com.sksamuel.elastic4s.ElasticDsl._ val esjava = JavaClient(ElasticProperties("http…

目录 Java 1.类型检查 2.类型转换 Scala 1.类型检查 2.类型转换 Java 1.类型检查 使用:变量 instanceof 类型 示例 String name = "zhangsan" // 判断name是不是String类型 boolean b = name instanceof String; 2.类型转换 1.String 转 Int / boolean //方式1 返回基本类型 int i = Integer.parseInt("10");…

对于java中的集合元素并不能在scala中拿来就用的,需要进行相应的转换. 1. 转换规则如下 从下面可以看出,有些可以相互转换的,有些只能单向转换: scala.collection.Iterable <=> java.lang.Iterable scala.collection.Iterable <=> java.util.Collection scala.collection.Iterator <=> java.util.{ Iterator, Enumerat…

最近要在 Spark job 中通过 Spark SQL 的方式读取 Elasticsearch 数据,踩了一些坑,总结于此. 环境说明 Spark job 的编写语言为 Scala,scala-library 的版本为 2.11.8. Spark 相关依赖包的版本为 2.3.2,如 spark-core.spark-sql. Elasticsearch 数据 schema { "settings": { "number_of_replicas": 1 }, &qu…

在上期讨论中我们介绍了Scala Macros,它可以说是工具库编程人员不可或缺的编程手段,可以实现编译器在编译源代码时对源代码进行的修改.扩展和替换,如此可以对用户屏蔽工具库复杂的内部细节,使他们可以用简单的声明方式,通过编译器自动产生铺垫代码来实现工具库中各种复杂的类型.对象及方法函数的构建.虽然Def Macros可能具备超强的编程功能,但同时使用者也普遍认为它一直存有着一些严重的诟病:包括用法复杂.容易犯错.运算行为难以预测以及没用完善的集成开发环境工具(IDE)支持等.这些恶评主要是因…

基础 1.1 声明值和变量 在Scala中,鼓励使用val; 不需要给出值或变量的类型,这个信息可以从初始化表达式推断出来.在必要的时候,可以指定类型. 在Scala中,仅当同一行代码中存在多条语句时才需要用分号隔开. 1.2 常用类型 Scala 7中数值类型:Byte, Char, Short, Int, Long, Float和Double,以及Boolean类型.跟Java不同的是,这些类型是类.可以对数值执行方法,1.toString() Scala不需要类型包装,类型之间的转换是Sc…

目录[-] 1.   Scala有多cool 1.1.     速度! 1.2.     易用的数据结构 1.3.     OOP+FP 1.4.     动态+静态 1.5.     DSL 1.6.     够复杂 1.7.     够有趣 1.8.     开发社区 2.   lang 2.1.     和Java的异同 2.1.1.  语法 2.1.2.  库 2.2.     变量 2.2.1.  保留字 2.2.2.  变量标识 2.2.3.  变量定义 2.2.3.1     va…

Effective Scala Marius Eriksen, Twitter Inc.marius@twitter.com (@marius)[translated by hongjiang(@hongjiang)] Table of Contents 序言 格式化: 空格, 命名, Imports, 花括号, 模式匹配, 注释 类型和泛型: 返回类型注解(annotation), 变型, 类型别名, 隐式转换 集合: 层级, 集合的使用, 风格, 性能, Java集合 并发: Future,…

数据清洗时数据科学项目的第一步,往往也是最重要的一步. 本章主要做数据统计(总数.最大值.最小值.平均值.标准偏差)和判断记录匹配程度. Spark编程模型 编写Spark程序通常包括一系列相关步骤: 1. 在输入数据集上定义一组转换. 2. 调用action,用以将转换后的数据集保存到持久存储上,或者把结果返回到驱动程序的本地内存. 3. 运行本地计算,本地计算处理分布式计算的结果.本地计算有助于你确定下一步的转换和action. 2.4 小试牛刀:Spark shell和SparkConte…

本篇翻译的是Elasticsearch官方文档中的一些技巧,是使用Elasticsearch必不可少的必备知识,并且适用于所有的Rest Api. 返回数据格式化 当在Rest请求后面添加?pretty时,结果会以Json格式化的方式显示.另外,如果添加?format=yaml结果会以树的形式显示,默认都是Flase. 返回数据的易读性 结尾添加?human=true,返回的数据会有很好的可读性,比如: time:3600 会显示为 time:1h size:1024 会显示为 1kb 常用的D…

CSSDesk body { background-color: #2574b0; } /*! zybuluo */ article,aside,details,figcaption,figure,footer,header,hgroup,nav,section{display:block}audio,canvas,video{display:inline-block;*display:inline;*zoom:1}audio:not([controls]){display:none}html{…

http://www.cnblogs.com/wgp13x/p/4934521.html 内容一样,样式好的版本. 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作 标签: Hive Impala Elasticsearch Hadoop SQL Elasticsearch for Apache Hadoop [TOC] 摘要: 使用Elasticsearch-SQL可以对存储在Elasticsearch中的数据执行简单的SQL查询操作,然而并不支持多表j…

scala.math.Ordering 自定义排序方法. 例:(col : Int, row : Int, Value : Double )是一个Tuple3.排序默认按第一项作为Key. Ordering.by[(Int,Int,Double),Int](_._2)表示从Tuple3转到Int型.后面为转换函数.此句表示按此Tuple3中第二个元素进行排序. Ordering.by[T,U]( f(T) => U ).为此方法声明原型. 文档中声明为:def by[T, S](f: (T) ⇒…

elasticsearch支持两种协议: http协议. Native Elasticsearch binary protocol(本地elasticsearch二进制协议):elasticsearch自主研发的节点间通信的协议. 还可以通过使用插件来扩展支持的协议.有一些官方的插件. java之外的语言不推荐使用第二种方式,因为第二种方式需要很多自定义序列化. 支持的客户端 Transport Transport是连接到Elasticsearch的本地方法之一.它是官方Elasticsearc…

其实我想找一门“具有Python的简洁写法和融合Java平台的优势, 同时又足够有挑战性和灵活性”的编程语言. Scala 就是一个不错的选择. Scala 有很多语言特性, 建议先掌握基础常用的: 变量.控制结构 .正则与模式匹配.集合.文件读写/目录遍历.高阶函数.并发 Actor 模型: 然后是面向对象特性:类.Trait.泛型.注解 .操作符重载;  最后再细细学习那些复杂不常用的特性:类型转换.编译解析等:注重挖掘根源性的思想,能够推导出其它的特性. 本文使用 Scala 实现 Jav…

最近在做一个电商项目,其中商品搜索中出现一个奇怪的现象,根据某个字段排序的时候会出现商品数量减少的情况.按照一般路要么查不出来,要么正常显示,为什么增加了按照销量排序就会出现查询结果减少的情况. 查了下ES日志发现有报错:nested: NumberFormatException[Invalid shift value in prefixCoded bytes (is encoded value really an INT?) 看得出是数据类型转换错误,但是为什么错还是不清楚.求助GOOGLE.…

官网地址 本文内容 简介 Futures 阻塞 异常 Promises 工具 最近看了<七周七语言:理解多种编程泛型>,介绍了七种语言(四种编程范型)的主要特性:基本语法,集合,并行/并发,其中就有 Scala.你不能指望这种书全面介绍,因为其中任何一门语言都够写一本书了~ 我比较关注并行/并发,但是书中关于 Scala 的并发部分--Actor,可代码编译不通过,官网标注"Deprecated",哎,这书点不负责,示例代码也不写采用编译器的版本~ Java 8 之前,函数…

泛型 类型边界 视图界定 逆变和协变 上下文界定 源代码 1.泛型 泛型用于指定方法或类可以接受任意类型参数,参数在实际使用时才被确定,泛型可以有效地增强程序的适用性, 使用泛型可以使得类或方法具有更强的通用性. 在Scala中用方括号来定义类型参数,即用[]表示, 如 class Pair[T, S](val first, val) 以上将定义一个带有两个类型参数T和S的类,带有类型参数的类是泛型的.如果把类型参数替换成实际的类型将得到普通的类. *简单理解就是类型或者方法后面加个中括号就表示…

# 使用SBT构建Scala应用 ## SBT简介 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的. 虽然Maven同样可以管理Scala项目的依赖并进行构建, 但SBT的某些特性却让人如此着迷,比如: * 使用Scala作为DSL来定义build文件(one language rules them all); * 通过触发执行(trigger execution)特性支…

一.REPL scala解释器读到一个表达式,对它进行求值,将它的打印出来,接着再继续读下一个表达式.这个过程被称作 读取-打印-循环,即REPL. 从技术上讲,scala程序并不是一个解释器.实际发生的是,你输入的内容被快速的编译成字节码,然后这段字节码交由java虚拟机执行.正因如此,大多数scala程序员更倾向将它称作REPL. 二.声明值 2.1val定义的值实际上是一个常量,你无法改变它的内容. scala> val result = * result: Int = scala> r…

[转帖] 原文地址:https://github.com/CSUG/real_world_scala/blob/master/02_sbt.markdown 尊重版权,尊重他人劳动成果,转帖请注明原文地址 使用SBT构建Scala应用 SBT简介 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的. 虽然Maven同样可以管理Scala项目的依赖并进行构建, 但SBT的某些特…

[<快学Scala>笔记] 一.基础 1.变量val 标志符: 声明常量: 如,val answer = 1var 标志符:声明变量: 类型推断:变量的类型由scala根据初始化变量的表达式推断而来: 鼓励使用val: 注:声明变量时不做初始化会报错. 明确类型: scala的变量或函数的类型总是写在变量或函数的后面. val a:Int = 1 val str:String = 2 2.常用类型 Scala支持7种数值类型和1种Boolean类型. Byte/Char/Short/Int/L…

访问修饰符 格式:private[x]或protected[x],x指某个所属包.类或单例对象,表示被修饰的类(或方法.单例对象),在X域中公开,在x域范围内都可以访问: private[包名]:在该包名作用域内,被修饰域都能被访问: private[类名]:在该类的作用域,被修饰域都能被访问: private[this]:仅能在包含了定义的同一对象中访问,用于保证同一类中不能被其它对象访问: 例子: package tests{     private[tests] class Test{  …

Elasticsearch有各种语言的客户端,下面一一列出来: Perl ElasticSearch.pm: Perl客户端 Python pyes: Python客户端pyelasticsearch: Python客户端ESClient: 一个轻量级Python客户端rawes: Python客户端elasticutils: Python客户端 Ruby Tire: Ruby API & DSL, with ActiveRecord/ActiveModel integrationrubberb…