1)scala 时间格式转换(String.Long.Date) 1.时间字符类型转Date类型 [java] view plain copy import java.text.SimpleDateFormat val time = "2017-12-18 00:01:56" val newtime :Date = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse(time) println(newtime) //o…

scala 时间,时间格式转换 1.scala 时间格式转换(String.Long.Date) 1.1时间字符类型转Date类型 1.2Long类型转字符类型 1.3时间字符类型转Long类型 2.scala 时间和时间戳互转 2.1时间转换为时间戳 2.2时间戳转化为时间 2.3将时间戳转化成日期 3.获取今天日期,昨天日期,本周时间,本月时间,时间戳转换日期时间比较计算时间差 3.1获取今天日期 3.2获取昨天的日期 3.3获取本周开始日期 3.4获取本周末的时间 3.5本月的第一天 3.…

1.获取当前时间的年份.月份.天.小时等等 val nowDay=LocalDate.now().getDayOfMonth val nowDay=LocalTime.now().getHour 2.获取今天日期 def getNowDate():String={ var now:Date = new Date() var dateFormat:SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd") var hehe = dateFo…

时间转换为时间戳: import java.text.SimpleDateFormat object test { def main(args: Array[String]): Unit = { val tm = "2017-08-01 16:44:32" val a = tranTimeToLong(tm) println(a) } def tranTimeToLong(tm:String) :Long={ val fm = new SimpleDateFormat("yy…

import org.apache.spark._import SparkContext._import java.util.{Calendar,Properties,Date,Locale}import java.text.SimpleDateFormat import java.math.BigDecimal;import java.math.RoundingMode;import java.text.DecimalFormat;import java.text.NumberFormat;i…

scala的数据库连接池,基于mysql import java.util.concurrent.ConcurrentHashMap import com.jolbox.bonecp.{ BoneCPConfig, BoneCP } import java.util.ResourceBundle import java.util.LinkedList import java.sql.DriverManager import java.sql.Connection /** * 数据库连接池工具类…

原始 dataFrame : //获取前7天的时间long类型 def getDaytimeTime(day:Int): Long = { val cal = Calendar.getInstance cal.add(Calendar.DATE, day) val time: Date = cal.getTime val fm = new SimpleDateFormat("yyyy-MM-dd") val newTime = fm.parse(fm.format(time)) new…

在编写程序时,有时需要获取当前时间,这在记录异常信息.获取程序运行耗时很有用处 方式一: val time1=System.currentTimeMillis() 这种方式获取的是程序运行到此的毫秒数,常用于计算程序耗时,比如在一段代码后再创建另外一个变量,做差后即可获得程序运行耗时 方式二: new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date) 其中new Date就能获取当前时间,但是为了便于阅读,再使用Simpl…

def NowDate(): String = { val now: Date = new Date() val dateFormat: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") val date = dateFormat.format(now) return date } executeUpdate("UPDATE message SET send_state=?,send_time=? W…

Scala Macros对scala函数库编程人员来说是一项不可或缺的编程工具,可以通过它来解决一些用普通编程或者类层次编程(type level programming)都无法解决的问题,这是因为Scala Macros可以直接对程序进行修改.Scala Macros的工作原理是在程序编译时按照编程人员的意旨对一段程序进行修改产生出一段新的程序.具体过程是:当编译器在对程序进行类型验证(typecheck)时如果发现Macro标记就会将这个Macro的功能实现程序(implementation…

变量是一种使用方便的占位符,用于引用计算机内存地址,变量创建后会占用一定的内存空间. 基于变量的数据类型,操作系统会进行内存分配并且决定什么将被储存在保留内存中.因此,通过给变量分配不同的数据类型,你可以在这些变量中存储整数,小数或者字字母. 变量声明 在学习如何声明变量与常量之前,我们先来了解一些变量与常量. 一.变量: 在程序运行过程中其值可能发生改变的量叫做变量.如:时间,年龄. 二.常量: 在程序运行过程中其值不会发生变化的量叫做常量.如:数值 3,字符'A'. 在 Scala 中,使用…

本文分析的Kafka代码为kafka-0.8.2.1.另外,由于Kafka目前提供了两套Producer代码,一套是Scala版的旧版本:一套是Java版的新版本.虽然Kafka社区极力推荐大家使用Java版本的producer,但目前很多已有的程序还是调用了Scala版的API.今天我们就分析一下旧版producer的代码.  producer还分为同步和异步模式,由属性producer.type指定,默认是sync,即同步发送模式.本文主要关注于同步发送的代码走读.下面以console-pr…

最近在完成自己的开源项目Application-center的时候,使用了Scala编程语言. 在使用了一段时间下来以后,有一些不是很"清晰"的感受,说实话我自己还没有很好的整理清楚,所以就先记录下来,不保证一定正确,只是个人的在现有经验下的看法而已 框架的选择 Java之所以这么繁荣很大的程度上是因为第三方开源社区的支持,当我们使用Java完成一些项目的时候,我往往都是先求助于开源社区,看看是否存在现有的解决方案,绝大多数时候我们都能找到合适的框架,然后直接用或者稍微修改一下就好了.…

转载地址:http://jingpin.jikexueyuan.com/article/47043.html 本文先叙述如何配置eclipse中maven+scala的开发环境,之后,叙述如何实现spark的本地运行.最后,成功运行scala编写的spark程序. 刚开始我的eclipse+maven环境是配置好的. 系统:win7 eclipse版本:Luna Release(4.4.0) maven是从EclipseMarket中安装的,如图1. 当初构建eclipse+maven环境时,仅…

2003 年,Herb Sutter 在他的文章 “The Free Lunch Is Over” 中揭露了行业中最不可告人的一个小秘密,他明确论证了处理器在速度上的发展已经走到了尽头,并且将由全新的单芯片上的并行 “内核”(虚拟 CPU)所取代.这一发现对编程社区造成了不小的冲击,因为正确创建线程安全的代码,在理论而非实践中,始终会提高高性能开发人员的身价,而让各公司难以聘用他们.看上去,仅有少数人充分理解了 Java 的线程模型.并发 API 以及 “同步” 的含义,以便能够编写同时提供安全…

首先要说的是,我是一个Scala粉丝,我作为一个Scala语言的倡导者差不多有5年历史了.我写了不少Scala语言方面的书和文章.我曾在数十个公司里做过Scala和Lift框架项目的开发.我对很多的Scala项目进行过代码审查.         我过去以为Scala很简单.它过去确实很简单,而且一直很简单,它是治疗Java里很多问题的良方.从“有些使用Java显的异常的困难或不可能 的事,使用Scala却非常容易”的角度,Scala是一种非常简单的语言.Scala处理集合问题超级的容易.业务逻辑…

我的确认为计算机学院应该开一门 Scala 的语言课程. 在这篇文章中,我会讲述为什么我会有这样的想法,在此之前,有几点我想要先声明一下: 本文无意对编程语言进行评比,我要讲述的主体是为什么你应该学习 Scala.51CTO之前曾发布过一篇 Java 程序员为何要学习Scala的文章,可能也会对你有所帮助. 目前 Scala 有两个实现方式,一种是在 JVM(Java 虚拟机)上运行,另一种是在 CLR(Common Language Runtime 的缩写,即公共语言运行库)上运行.不过,JV…

目录[-] 1.   Scala有多cool 1.1.     速度! 1.2.     易用的数据结构 1.3.     OOP+FP 1.4.     动态+静态 1.5.     DSL 1.6.     够复杂 1.7.     够有趣 1.8.     开发社区 2.   lang 2.1.     和Java的异同 2.1.1.  语法 2.1.2.  库 2.2.     变量 2.2.1.  保留字 2.2.2.  变量标识 2.2.3.  变量定义 2.2.3.1     va…

Effective Scala Marius Eriksen, Twitter Inc.marius@twitter.com (@marius)[translated by hongjiang(@hongjiang)] Table of Contents 序言 格式化: 空格, 命名, Imports, 花括号, 模式匹配, 注释 类型和泛型: 返回类型注解(annotation), 变型, 类型别名, 隐式转换 集合: 层级, 集合的使用, 风格, 性能, Java集合 并发: Future,…

Runnable/Callable 线程 Executors/ExecutorService Futures 线程安全问题 例子:搜索引擎 解决方案 Runnable/Callable Runnable接口只有一个没有返回值的方法. trait Runnable { def run(): Unit } Callable与之类似,除了它有一个返回值 trait Callable[V] { def call(): V } 线程 Scala并发是建立在Java并发模型基础上的. 在Sun JVM上,对…

类是对象的蓝图.一旦你定义了类,你就可以用关键字new从类的蓝图里创建对象.比方说,如果给出了类的定义: class ChecksumAccumulator { // class definition goes here } 你就能创建ChecksumAccumulator对象: new CheckSumAccumulator 类定义里,可以放置字段和方法,这些被笼统地称为成员:member.字段,不管是用val或是用var定义的,都是指向对象的变量方法,用def定义,包含了可执行的代码.字段保…

第七步:带类型的参数化数组 Scala里可以使用new实例化对象或类实例.当你在Scala里实例化对象,可以使用值和类型把它参数化:parameterize.参数化的意思是在你创建实例的时候“设置”它.通过把加在括号里的对象传递给实例的构造器的方式来用值参数化实例.例如,下面的Scala代码实例化一个新的java.math.BigInteger并使用值"12345"参数化: val big = ") 通过在方括号里设定一个或更多类型来参数化实例.通过在方括号里设定一个或更多类…

由于项目的需要接触了Scala语言,也花了一些时间来了解和学习Scala,今天对学习的Scala进行一个小的总结. 1.What is Scala? Scala的官方网站上给出的解释是: Scala is an acronym for “Scalable Language”. This means that Scala grows with you. Scala是“Scalable Language” 扩展性(可伸缩性)语言的缩写,是一门可以与你共同成长的语言.Scala的可扩展性(伸缩性)体现…

shuffleBlockManager继承于Logging,参数为blockManager和shuffleManager.shuffle文件有三个特性:shuffleId,整个shuffle stage所具有的唯一Id:bucketId,输出的partition的Id:fileId,标志着这一组文件属于同一个shuffle,每个task在同一时间只有一个fileId,执行完成后fileId归还资源池.shuffle的状态由shuffleState类来描述,包含其相关的所有状态信息,包括:分配给该…

Executor.scala 一.Executor类 首先判断本地性,获取slaves的host name(不是IP或者host: port),匹配运行环境为集群或者本地.如果不是本地执行,需要启动一个handler来监控所有的executor进程,避免阻塞.然后,初始化Spark执行环境.向SparkEnv注册executor资源,即registerSource方法.第三步,装载类,序列化类到内存中.第四,启动worker的线程池.第五,收集所有的task任务.接下就可以分配资源给task了,…

TaskSetManager.scala TaskSet是指一系列被提交的task,一般是代表特定的stage中丢失的partition.TaskSetManager通过一个TaskSchedulerImpl实体来对TaskSet进行管理. 该方法定义了以下参数: EXECUTOR_TASK_BLACKLIST_TIMEOUT:executor加入黑名单的时间.如果executor意外终止导致任务执行失败,那么会暂时将这个executor加入黑名单,不再分配任务给它. SPECULATION_Q…

使用scala开发spark入门总结 一.spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍.推荐简单介绍连接:http://blog.jobbole.com/89446/ 1.    spark是什么? Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架.一般配合hadoop使用,可以增强hadoop的计算性能. 2.    Spark的优点有哪些? Sp…

确切来说应该是我打算怎么去学习Scala泛函编程.在网上找不到系统化完整的Scala泛函编程学习资料,只好把能找到的一些书籍.博客.演讲稿.论坛问答.技术说明等组织一下,希望能达到学习目的.关于Scala语言的教材在国内网上还是比较容易找到的:可以到Scala语言官方网站,国内Scala社区网站这些地方去看看了解一下:深一点的参考一下在路上,里面包括了一些泛函编程的概念性内容. 学习编程语言除了语法语意之外还必须透彻了解编程语言的数据结构(data structure):数据结构在实际项目中的角…

既然谈到实用编程,就应该不单止了解试试一个新的编程语言那么简单了,最好通过实际的开发项目实例来演示如何编程.心目中已经有了一些设想:想用Scala泛函编程搞一个开源的数据平台应用系统,也就是在云平台PaaS层对上一层后台的数据应用平台.想想当电子商务和云应用真正普及后将会出现一大批没有云应用软件开发能力的用户.将来真正的云服务提供商,单提供虚拟机租赁服务是远不足够的,如果能提供一个具备计算资源自动扩展收缩.支持多种数据库以及一套简单的后台系统配置脚本语言(DSL:Domain Specific…

现在计算机技术发展现象是:无论硬件技术如何发展都满足不了软件需求:无论处理器变得能跑多快,都无法满足软件对计算能力的需要.按照摩尔定律(Moore's Law)处理器(CPU)每平方面积上包含的半导体晶体管数量每18个月将会增加一倍.发展到现在,所有CPU厂商都再也无法按照摩尔定律在一定面积上成倍增加半导体了,大家也都只能朝着增加CPU内核数量上努力了.多核CPU已然成为现代计算机技术发展趋势.现代软件对计算能力的需求暴增主要归咎于现代社会中数据应用的普及和泛滥.这种数据量级单凭增加处理器和存储…