0. 说明 Scala 安装(Windows)  &  Scala 安装(Linux) 1. Scala 安装(Windows) 1.0 下载 Scala  下载地址 1.1 运行 Scala 安装包 以管理员身份运行运行 scala-2.11.8.msi 1.2 配置环境变量 配置环境变量 新建 SCALA_HOME C:\myprograms\scala.2.11 在 path 中添加以下内容 path=%SCALA_HOME%\bin;%path% 1.3 验证 Scala 进入 Scal…

spark shell 交互 启动:bin 目录下   ./spark-shell  --master local [ ×× ]    --jars ×××.jar   进入[ >> scala ]交互[ spark 由scala开发 ] 退出:quit /  ctrl+D 编程环境 [ 使用spark API] 1.scala编程   自己搭建: * 编程环境搭建 +ubuntu   &   java JDK   &    Scala (Scala解释器) * scala打包…

一.Spark简介 1.什么是Spark Apache Spark是一种快速的集群计算技术,基于Hadoop MapReduce技术,扩展了MapReduce模型,主要特性是在内存中集群计算,速度更快.即使在磁盘上进行复杂计算,Spark依然比MapReduce更加高效.另一方面,Apache Spark扩展了MapReduce模型以使用更多类型的计算. 1.1 使用基于Hadoop的Spark Spark与Hadoop是兼容的,Hadoop组件可以通过以下方式与Spark一起使用: HDFS…

scala> :helpAll commands can be abbreviated, e.g., :he instead of :help.:edit <id>|<line>        edit history:help [command]          print this summary or command-specific help:history [num]           show the history (optional num is comm…

为了将Hadoop和Spark的安装简单化,今日写下此帖. 首先,要看手头有多少机器,要安装伪分布式的Hadoop+Spark还是完全分布式的,这里分别记录. 1. 伪分布式安装 伪分布式的Hadoop是将NameNode,SecondaryNameNode,DataNode等都放在一台机器上执行,Spark同理,一般用于开发环境. 1.1 准备工作 系统准备:一台Ubuntu16.04机器,最好能够联网 准备好四个安装包:jdk-8u111-linux-x64.tar.gz,scala-2.1…

本文分析的Kafka代码为kafka-0.8.2.1.另外,由于Kafka目前提供了两套Producer代码,一套是Scala版的旧版本:一套是Java版的新版本.虽然Kafka社区极力推荐大家使用Java版本的producer,但目前很多已有的程序还是调用了Scala版的API.今天我们就分析一下旧版producer的代码.  producer还分为同步和异步模式,由属性producer.type指定,默认是sync,即同步发送模式.本文主要关注于同步发送的代码走读.下面以console-pr…

节前某个部门的测试环境反馈tomcat会意外退出,我们到实际环境排查后发现不是jvm crash,日志里有进程销毁的记录,从pause到destory的整个过程: org.apache.coyote.AbstractProtocol pause Pausing ProtocolHandler org.apache.catalina.core.StandardService stopInternal Stopping service Catalina org.apache.coyote.Abstr…

基础 1.1 声明值和变量 在Scala中,鼓励使用val; 不需要给出值或变量的类型,这个信息可以从初始化表达式推断出来.在必要的时候,可以指定类型. 在Scala中,仅当同一行代码中存在多条语句时才需要用分号隔开. 1.2 常用类型 Scala 7中数值类型:Byte, Char, Short, Int, Long, Float和Double,以及Boolean类型.跟Java不同的是,这些类型是类.可以对数值执行方法,1.toString() Scala不需要类型包装,类型之间的转换是Sc…

2003 年,Herb Sutter 在他的文章 “The Free Lunch Is Over” 中揭露了行业中最不可告人的一个小秘密,他明确论证了处理器在速度上的发展已经走到了尽头,并且将由全新的单芯片上的并行 “内核”(虚拟 CPU)所取代.这一发现对编程社区造成了不小的冲击,因为正确创建线程安全的代码,在理论而非实践中,始终会提高高性能开发人员的身价,而让各公司难以聘用他们.看上去,仅有少数人充分理解了 Java 的线程模型.并发 API 以及 “同步” 的含义,以便能够编写同时提供安全…

目录[-] 1.   Scala有多cool 1.1.     速度! 1.2.     易用的数据结构 1.3.     OOP+FP 1.4.     动态+静态 1.5.     DSL 1.6.     够复杂 1.7.     够有趣 1.8.     开发社区 2.   lang 2.1.     和Java的异同 2.1.1.  语法 2.1.2.  库 2.2.     变量 2.2.1.  保留字 2.2.2.  变量标识 2.2.3.  变量定义 2.2.3.1     va…