Scala 槽点 - require - 相关文章

Scala 槽点 - require

require def this(name: String, age: Int) = { this() require(name != null && !name.isEmpty, "name") require(age > 0, "illegal age") Preconditions.checkArgument(name != null && !name.isEmpty, "name required")…

Scala断言

断言:提供了一组断言函数以用作在代码中记录和动态检查不变量的方式. import scala.Predef._ def addNaturals(nats: List[Int]): Int = { // assert(nats forall (_ >= 0), "List contains negative numbers") require(nats forall (_ >= 0), "List contains negative numbers") n…

Scala函数式对象-有理数

有理数类的表示实现规范:支持有理数的加减乘除,并支持有理数的规范表示 1.定义Rational 首先,考虑用户如何使用这个类,我们已经决定使用“Immutable”方式来使用Rational对象,我们需要用户在定义Rational对象时提供分子和分母. class Rational(n:Int, d:Int) 可以看到,和Java不同的是,Scala的类定义可以有参数,称为类参数,如上面的n.d.Scala使用类参数,并把类定义和主构造函数合并在一起,在定义类的同时也定义了类的主构造函数.因此…

Scala实践3

一.函数式对象 1.1 rational类的规格和创建 Rational类来源于有理数(rational number),来表示n(分子)/d(分母)的数字,同时对有理数的运算(加减乘除)建模,还具备归元化的特点. 下例子没有建模的: scala> val oneHalf=new Rational(1,2) oneHalf: Rational = 1/2 scala> val twoThirds=new Rational(2,3) twoThirds: Rational = 2/3 scal…

scala编程（六）——函数式对象

Rational 的式样书分数:rational number 是一种可以表达为比率 d n 的数字,这里的 n 和 d 是数字,其中 d 不能为零.n 被称作是分子:numerator,d 被称作是分母:denominator.分数的例子有: 2/1 , 3/2 , 239/112 和 1/2 . 本章我们将要设计的类必须模型化数的行为,包括允许它们执行加,减,乘还有除运算. 一个,或许不怎么重要的,发现是数学上,分数不具有可变的状态.一个分数加到另外一个分数上,产生的结果是一个新的分数…

Kafka运维填坑（转）

前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk集群的连接不时会断开重断 Broker重启耗时很久不允许脏主选举导致Broker被强制关闭 Replica从错误的Partition leader上去同步数据 __consumer_offset…

IllegalArgumentException: requirement failed: Corrupt index found

今天突然接到客户反映线上服务器发送消息异常,登录服务器查看是kafka服务出现了问题,想重启一下服务,结果重启出现一下报错 [2017-06-30 19:29:13,708] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartable) java.lang.IllegalArgumentException: requirement fai…

spark-streming 中调用spark-sql时过程遇到的问题

在spark-streming 中调用spark-sql时过程遇到的问题使用版本:spark-2.1.0 JDK1.8 1. spark-sql中对limit 的查询结果使用sum() 聚合操作不生效如下sql会报出 top10_sts 存在异常. SELECT SUM(mtime_show_times) AS top10_sts FROM tb_movie_bo_pt_params ORDER BY mtime_persion_times DESC LIMIT 10 改成如下sql逻辑正常…

No output operations registered, so nothing to execute

SparkStreaming和KafKa结合报错!报错之前代码如下: object KafkaWordCount{ val updateFunc = (iter:Iterator[(String,Seq[Int],Option[Int])])=>{ iter.flatMap{case(x,y,z) => Some(y.sum+z.getOrElse(0)).map(i => (x,i))} } def main(args: Array[String]): Unit = { val Arr…

Provided Maven Coordinates must be in the form 'groupId:artifactId:version'.

[hadoop@hadoop1 bin]$ ./spark-shell --packages org.mongodb.spark:mongo-spark-connector_2.10-2.2.1 Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: Provided Maven Coordinates must be in the form 'groupId:artifact…

Spark-Streaming kafka count 案例

Streaming 统计来自 kafka 的数据,这里涉及到的比较,kafka 的数据是使用从 flume 获取到的,这里相当于一个小的案例. 1. 启动 kafka Spark-Streaming hdfs count 案例 2. 启动 flume flume-ng agent -c conf -f conf/kafka_test.conf -n a1 -Dflume.root.logger=INFO,console flume 配置文件如下 # Name the components on…

kafka启动失败错误:: replica.fetch.max.bytes should be equal or greater than message.max.bytes

1 详细异常 2019-10-14 14:38:21,260 FATAL kafka.Kafka$: java.lang.IllegalArgumentException: requirement failed: replica.fetch.max.bytes should be equal or greater than message.max.bytes at scala.Predef$.require(Predef.scala:224) at kafka.server.KafkaConfi…

kafka运维填坑

转载自:https://www.jianshu.com/p/d2cbaae38014 前提: 只针对Kafka 0.9.0.1版本; 说是运维,其实偏重于问题解决; 大部分解决方案都是google而来, 我只是作了次搬运工; 有些问题的解决方案未必一定是通用的, 若应用到线上请慎重; 如有疏漏之处, 欢迎大家批评指正; 列表: Replica无法从leader同步消息 Broker到zk集群的连接不时会断开重断 Broker重启耗时很久不允许脏主选举导致Broker被强制关闭 Replica从…

CMAK（Kafka Manager）安装

CMAK 是管理Kafka集群的常用工具,之前的名字叫Kafka Manager.CMAK功能很强大,它可以管理多个Kafka集群,查看集群内部状态,如:topic.broker.consumer.partition,也可用于创建topic,迁移分区等.笔者在安装CMAK过程中遇到并解决了一些问题,现记录下来分享给大家. 1. 编译 Linux服务器编译 CMAK没有提供编译好的安装包,因此需要下载源码后编译出安装包.下载最新的CMAK源码并解压. wget https://github.com…

Beginning Scala study note(7) Trait

A trait provides code reusability in Scala by encapsulating method and state and then offing possibility of mixing them into classes thus allowing code reuse. #define Trait Gliding scala> trait Gliding{ | def gliding(){ println("gliding")} |…

scala tail recursive优化，复用函数栈

在scala中如果一个函数在最后一步调用自己(必须完全调用自己,不能加其他额外运算子),那么在scala中会复用函数栈,这样递归调用就转化成了线性的调用,效率大大的提高.If a function calls itself as its last action, the function's stack frame can be reused. This is called tail recursion.=> Tail recursive functions are iterative proc…

Scala HandBook

目录[-] 1. Scala有多cool 1.1. 速度! 1.2. 易用的数据结构 1.3. OOP+FP 1.4. 动态+静态 1.5. DSL 1.6. 够复杂 1.7. 够有趣 1.8. 开发社区 2. lang 2.1. 和Java的异同 2.1.1. 语法 2.1.2. 库 2.2. 变量 2.2.1. 保留字 2.2.2. 变量标识 2.2.3. 变量定义 2.2.3.1 va…

Effective Scala

Effective Scala Marius Eriksen, Twitter Inc.marius@twitter.com (@marius)[translated by hongjiang(@hongjiang)] Table of Contents 序言格式化: 空格, 命名, Imports, 花括号, 模式匹配, 注释类型和泛型: 返回类型注解(annotation), 变型, 类型别名, 隐式转换集合: 层级, 集合的使用, 风格, 性能, Java集合并发: Future,…

Scala编程--函数式对象

本章的重点在于定义函数式对象,也就是说,没有任何可变状态的对象的类.作为运行的例子,我们将创造若干把分数作为不可变对象建模的类的变体.在这过程中,我们会展示给你Scala面向对象编程的更多方面:类参数和构造函数,方法和操作符,私有成员,子类方法重载,先决条件检查,同类方法重载和自指向. 6.1 类Rational的式样书一个,或许不怎么重要的,发现是数学上,分数不具有可变的状态.一个分数加到另外一个分数上,产生的结果是一个新的分数.而原来的数不会被“改变”.我们将在本章设计的不可变的Ratio…

scala学习心得（2）

scala类中可以通过override 重载方法 scala定义的函数式类不可被改变,这样传进去的参数就需要提前被检验,可以通过scala.predef包中的方法require方法定义辅助构造器 def this(n:Int) = this(n,1) 可以在解释器中定义隐式转换规则,比如 implicit def IntToRational(n:Int) = new ratinal(n) 在scala中可以通过 1 to 4 这种语法来生成range,1 until 4(不包括上边界) 在fo…

Scala 中的函数式编程基础(二)

主要来自 Scala 语言发明人 Martin Odersky 教授的 Coursera 课程 <Functional Programming Principles in Scala>. 2. Higher Order Functions 把其他函数作为参数或者作为返回值,就是 higher order functions,python 里面也可以看到这样使用的情形.在酷壳上的博客有一个例子就是将函数作为返回值. 2.1 匿名函数在 python 里边叫 lambda 函数,常常与 map(…

Scala _ [underscore] magic

I started learning Scala a few days before. Initially i was annoyed by the use of too many symbols in Scala. Especially i was confused by the _ and its different meaning in different places. After a few days of research(aka search), i felt better and…

Scala入门指南与建议

最近在学习使用Scala语言做项目,感觉这门语言实在是太优美了!作为一个本科数学.研究生机器学习专业的混合人才(哈哈),这门语言真的是满足了普通计算机编程(告诉计算机怎么做)和函数式编程(告诉计算机做什么)的所有幻想.学了半个多月,根本停不下来!先来做个总结: 语法简洁,往往比Java少至少一半的代码量.比如: 支持自动类型判断,可以省去很多类型标志. e.g. val x = 2 用伴生对象来生成类,省去new的麻烦.e.g. val cat = Cat("Hello Ketty"…

Scala 类和对象

Scala class: Scala 源文件中可以有很多类(class),这些类默认都是Public的,public是Scala的默认访问级别.在Scala中,声明一个未用priavate修饰的字段 var age,scala编译器会字自动帮我们生产一个私有字段和2个公有方法get和set ,这和C#的简易属性类似.例如: stu.age = 10 (此处的age是def age = (x$1: Int):Unit) println(stu.age) (此处的age是def age: Int)…

scala(二) Future执行逻辑解读

在scala中是没有原生线程的,其底层使用的是java的Thread机制.但是在scala中对java Thread进行了封装,实现了更便于操作线程的Future. 官方文档: Futures provide a way to reason about performing many operations in parallel– in an efficient and non-blocking way. 在使用的时候只需要通过object Future 的apply方法传入执行体即可启动,那么…

Programming In Scala笔记-第六章、函数式对象

这一章主要是以定义和完善一个有理数类Rational为线索,分析和介绍有关类定义,构造函数,方法重写,变量定义和私有化,以及对操作符的定义等. 一.Rational类定义和构造函数 1.定义一个空类 class Rational(n: Int, d: Int) 如果一个class没有函数体时,可以不用写花括号,上面的代码是最简形式.圆括号中的n和d是类参数,Scala编译器会根据这两个类参数,为该类生成一个对应的包含两个参数的主构造函数. 在文本编辑器中输入以上代码后,保存为Rational.s…

【Scala 槽点 - require】的更多相关文章