1.以wordcount为例 package org.apache.spark.examples import org.apache.spark.examples.SparkPi.logger import org.apache.spark.{SparkConf, SparkContext} object word { private val logger = org.slf4j.LoggerFactory.getLogger(this.getClass) def main(args: Arra

使用scala打印九九乘法表,可以有多种实现方法,实现的过程充分的体现的scala语言的优势和巨大的简洁性和高效性, 下面我用了5种方法实现九九乘法表. 使用类似于java,c++等指令风格的的编程实现,源码如下: //这里打印倒向九九乘法口诀表 /*指令风格的编程实现九九乘法表*/ def printMultiTable() { var i = 1 //这里只有i在作用范围内 while (i <= 9) { var j = i //这里只有i和j在作用范围内 while (j <= 9)

有时在Scala中调用Java的库,Java库会返回某些Java的集合或类型,必须经过一些转换才能正常使用. 否则有可能在编译的过程遇到这个错误. 错误字符串 下面是错误的主要信息. Scala Java Error: value filter is not a member of * 解决办法 在代码中引入下面名字空间,引用Java和Scala的各种集合和类型之间的隐式转换. import collection.JavaConversions._

各种报错信息如下: java.lang.NoClassDefFoundError: scala/Function0 at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.java:3048) at java.lang.C

(for(i <- 1 to 9;j <- 1 to i; s = s"$j*$i=${i*j}\t") yield {if(j==1) s"$s\n" else s}).foreach(print); 运行结果 1*1=11*2=22*2=4 1*3=32*3=6 3*3=9 1*4=42*4=8 3*4=12 4*4=16 1*5=52*5=10 3*5=15 4*5=20 5*5=25 1*6=62*6=12 3*6=18 4*6=24 5*6=3

Scala简介    Scala是一门多范式(multi-paradigm)的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性. Scala运行在Java虚拟机上,并兼容现有的Java程序. Scala源代码被编译成Java字节码,所以它可以运行于JVM之上,并可以调用现有的Java类库. 函数编程范式更适合用于Map/Reduce和大数据模型,它摒弃了数据与状态的计算模型,着眼于函数本身,而非执行的过程的数据和状态的处理.函数范式逻辑清晰.简单,非常适合用于处理基于不变数据的批量处

由于拷贝后文档格式有变, 仅摘几段如下. 完整而且代码带语法高亮的源版在: program-in-chinese/Programming_in_Scala_study_notes_zh 前言: 本书已有中文版, 此笔记并不是对原教程的翻译, 而是围绕示例进行选摘, 并顺便将所有示例改成中文命名(不拘泥于原本命名用词, 而是融入中文特色). 本文代码在Scala 2.12.4, Java 1.8.0_45下测试通过 第一章 普适的语言 1.1 var 首都 = Map("中国" ->

Scala与Java的关系... 4 安装Scala. 4 Scala解释器的使用... 4 声明变量... 5 数据类型与操作符... 5 函数调用与apply()函数... 5 if表达式... 6 语句终结符.块表达式... 6 输入和输出... 6 循环... 7 高级for循环... 7 函数的定义与调用... 8 在代码块中定义包含多行语句的函数体... 8 递归函数与返回类型... 8 默认参数... 8 函数调用时带名参数... 9 变长参数... 9 序列作为变长参数... 9

1       快速入门... 4 1.1             分号... 4 1.2             常变量声明... 4 1.2.1         val常量... 4 1.2.2         var变量... 4 1.2.3         类型推导... 5 1.2.4         函数编程风格... 5 1.3             Range. 5 1.4             定义函数... 6 1.5             while.if 6 1.6

控制结构和函数 1. 编写示例程序,展示为什么 package com.horstmann.impatient 不同于 package com package horstmann package impatient 描述: 区别是后者的上层包也可见,而串写的只有当前包范围可见 程序代码: b.scala package com{   package horstmann{     object A{       def hi=println("I am A")     }     pac

1 下载idea  路径https://www.jetbrains.com/idea/download/#section=windows 2安装spark  spark-2.1.0-bin-hadoop2.7 3安装scala  scala-2.11.8 注意spark和scala版本问题 4 添加spark jar到idea 5 添加scala到idea 6 将spark中的log4j.properties拷贝到scala项目中的src下面 log4j.rootCategory=ERROR,

一.继承 1.1 Scala中的继承结构 Scala中继承关系如下图: Any是整个继承关系的根节点: AnyRef包含Scala Classes和Java Classes,等价于Java中的java.lang.Object: AnyVal是所有值类型的一个标记: Null是所有引用类型的子类型,唯一实例是null,可以将null赋值给除了值类型外的所有类型的变量; Nothing是所有类型的子类型. 1.2 extends & override Scala的集成机制和Java有很多相似之处,比

一.继承 1.1 Scala中的继承结构 Scala 中继承关系如下图: Any 是整个继承关系的根节点: AnyRef 包含 Scala Classes 和 Java Classes,等价于 Java 中的 java.lang.Object: AnyVal 是所有值类型的一个标记: Null 是所有引用类型的子类型,唯一实例是 null,可以将 null 赋值给除了值类型外的所有类型的变量; Nothing 是所有类型的子类型. 1.2 extends & override Scala 的集成

运行spark-shell 或者scala命令,出现以下错误: Welcome to Scala version 2.10.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_66). Type in expressions to have them evaluated. Type :help for more information. scala> [init] error: error while loading <root>, erro

无参方法 功能:将方法的定义转换为属性字段的定义: 作用范围:方法中没有参数,并且方法仅能通过读取所包含的对象属性去访问可变状态,而不改变可变状态,就可使用无参方法: 例子: abstract class Element{     def texts:String } class Sub1Element(text:String) extends Element{     val texts:String = text } object RunApplication{     def main(a

今天在配置Log4j日志的时候,发现日志重复打印的问题.网上查了很多资料,发现介绍Log4j配置的文章数量不少,但提到这个问题的文章却寥寥,解决了自己的问题以后,赶紧记录一下. 原文地址:http://www.jianshu.com/p/7f0a1121a6df 本文基于log4j 1.2.17版本进行说明 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> &

我们的数据一天就一个T,数据量不断增大,集群磁盘有限,所以把冷数据放到了oss,偶尔会使用到冷数据,如果使用的时候还的从oss上拉数据这样很浪费时间后来想了个办法可以直接获取到oss上的数据.案例:object OssWc { def main(args: Array[String]): Unit = { if (args.length < 3) { System.err.println( """ |Arguments: | inputPath Input OSS ob

日志级别: 是按严重(重要)程度来分的(如下6种): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF   打印日志的规则: levelP>=levelQ,则levelP会打印在levelQ的log里. 即:如果设置的日志级别是info,则会包括info.warn.error等高级别的日志   如下demo以打印到控制台来做测试.   log4j2依赖 <properties> <

问题 使用gradle启动项目,在tomcat控制台中不停地打印perf4j性能日志,导致开发过程很卡很慢.明明修改了logback.xml配置文件,让它输出到log文件中,而不是控制台,但是不起作用. 在Windows系统中,在启动tomcat后会出现上图这样的情况, 在ubuntu系统中,没有这种情况,应该是在ubuntu系统中,没有tomcat的控制台吧.同样,部署在线上的时候也没有问题. 唯独在windows中进行开发的时候有问题. 解决过程 真的是尝试很久很久. 刚开始调整日志打印路径

1.今天启动启动spark的spark-shell命令的时候报下面的错误,百度了很多,也没解决问题,最后想着是不是没有启动hadoop集群的问题 ,可是之前启动spark-shell命令是不用启动hadoop集群也是可以启动起来的.今天突然报错了. [hadoop@slaver1 spark--bin-hadoop2.]$ bin/spark-shell \ > --master spark://slaver1:7077 \ > --executor-memory 512M \ > --