一.安装spark spark SQL是spark的一个功能模块,所以我们事先要安装配置spark,参考: https://www.cnblogs.com/lay2017/p/10006935.html 二.数据准备 演示操作将从一个类似json文件里面读取数据作为数据源,并初始化为dataframe,我们准备一个user.json文件 在/usr/local/hadoop/spark目录(可以自定义目录)下新建一个user.json文件内容如下: {"id" : "1201…

Scala语法 预装数据库Mysql,登录用户名密码为:root:root,建立数据库test1,建立数据表emp: package com.ccb.day1   import java.sql.DriverManager   import java.sql.PreparedStatement import java.sql.ResultSet import java.sql.Connection   object DBTest {   def main(args:Array[String]):…

object ScalaDemo1 {   def main(args: Array[String]) {     println("Hello,world!");   } }…

编程中的链式调用与Linux Shell 中的管道类似.Linux Shell 中的管道 ,会将管道连接的上一个程序的结果, 传递给管道连接的下一个程序作为参数进行处理,依次串联起N个实用程序形成流水线处理.流水线处理技术显得比较优雅可读.比如使用 Supervisor 管理后台任务时, 要重启所有任务, 可以使用 sudo supervisorctl status | grep "RUNNING" | cut -f 1 -d' ' | grep '\-8' | awk '{print…

简介 在scala中没有枚举类型,但在标准类库中提供了Enumeration类来产出枚举.扩展Enumeration类后,调用value方法类初始化枚举中的可能值. 内部类value实际上是一个抽象类,真正创建的是val.因为实际上是Val,所以可以为Value传入id和name.如果不指定,id就是在前一个枚举值id上加一,name则是字段名. scala枚举示例 scala枚举示例 object TrafficLightColor extends Enumeration { type Tra…

本文详细地总结了Scala枚举的几种实现方式,对我们更好地进行函数式编程有很好地指导和帮助. Scala 枚举示例和特性 枚举(Enumerations)是一种语言特性,对于建模有限的实体集来说特别有用.一个经典的例子是将工作日建模为一个枚举:每个七天都有一个值.Scala和许多其他语言一样,提供了一种表示枚举的方法: object Weekday extends Enumeration { val Monday, Tuesday, Wednesday, Thursday, Friday, Sa…

概述 做报表时,有时需要根据不同的业务生成不同的报表.这样,需要能够动态地配置列字段,并根据列字段来输出对应的报表.使用函数接口结合枚举可以比较优雅地实现配置式编程. 问题描述如下: 假设有对象 Student, Teacher ,它们均有属性 Id, Name, Able . 要求:(1) 打印这些 Student, Teacher 的字段 (Id, Name) 的内容 ; (2) 打印这些 Student, Teacher 的字段 (Name, Able) 的内容. Java代码示例 直接上…

Scala多线程 多线程是同时执行多个线程的过程. 它允许您独立执行多个操作.可以通过使用多线程来实现多任务.线程是轻量级的子进程,占用较少的内存.多线程用于在Scala中开发并发应用程序. Scala不提供用于创建线程的任何单独的库.如果您熟悉Java的多线程概念,那么将会了解到它与Scala语言本身的语法相似. 可以通过扩展Thread类或Runnable接口来创建线程.两者都提供了运行方法来提供具体的实现. Scala线程生命周期 线程生命周期是线程开始和终止的时间跨度.它有各种各样的阶段…

Scala try-catch语句 Scala提供try和catch块来处理异常.try块用于包含可疑代码.catch块用于处理try块中发生的异常.可以根据需要在程序中有任意数量的try...catch块. Scala try catch示例1 在下面的程序中,我们将可疑代码封装在try块中. 在try块之后使用了一个catch处理程序来捕获异常.如果发生任何异常,catch处理程序将处理它,程序将不会异常终止. class ExceptionExample{ def divide(a:Int…

本章将介绍如何在Scala编程中使用类和对象.类是对象的蓝图(或叫模板).定义一个类后,可以使用关键字new来创建一个类的对象. 通过对象可以使用定义的类的所有功能. 下面的图通过一个包含成员变量(name 和 rollNo)和成员方法(setName()和setRollNo())的Student类的例子来演示类和对象.最后都是类的成员.类是一个模板的东西,而对象是真实存在的. 在下图中,Student是一个类,而具体学生:Harini, John, 和 Maria 是学生类的对象,这此对象有是…