欢迎关注我的新博客地址:http://cuipengfei.me/ 我所在的项目的技术栈选用的是Play framework做后端API,前端用Angular JS. 因为用了Scala和Play,构建工具很自然用的就是sbt. 而由于前端用了Angular,所以functional test就选用了和Angular结合较好的protractor. 这一切看起来似乎很美好,一个无状态的后端,一个数据和UI双向绑定的前端.What could possibly go wrong? 一开始也确实如此…

Scala + Play + Sbt + Protractor = One Build 欢迎关注我的新博客地址:http://cuipengfei.me/ 我所在的项目的技术栈选用的是Play framework做后端API,前端用Angular JS. 因为用了Scala和Play,构建工具很自然用的就是sbt. 而由于前端用了Angular,所以functional test就选用了和Angular结合较好的protractor. 这一切看起来似乎很美好,一个无状态的后端,一个数据和UI双向…

http://www.scala-sbt.org/0.13/docs/index.html sbt is a build tool for Scala, Java, and more. It requires Java 1.6 or later. Install See Installing sbt for the setup instructions. Getting Started To get started, please read the Getting Started Guide.…

scala的sbt类似于java的maven mac:brew install sbt linux:yum Install sbt 或者下载二机制包 使用sbt需要想mvn一样搭建公司私服,不然,下载依赖包时,网络慢到你不想用sbt idea创建scala项目的过程参考:https://blog.csdn.net/aliceyangxi1987/article/details/76423334 参考: 1.https://www.scala-sbt.org/download.html 2.htt…

http://jingpin.jikexueyuan.com/article/47043.html 新的scala 编译器idea使用 https://www.jetbrains.com/idea/help/creating-and-running-your-scala-application.html 遇到问题,解决:spark 1.5.2只与scala 2.10.*系列兼容 建立SBT project,scala code一定写在src/main/scala下面,如果没写main,就exte…

1 在线学习 模型随着接收的新消息,不断更新自己:而不是像离线训练一次次重新训练. 2 Spark Streaming 离散化流(DStream) 输入源:Akka actors.消息队列.Flume.Kafka.…… http://spark.apache.org/docs/latest/streaming-programming-guide.html 类群(lineage):应用到RDD上的转换算子和执行算子的集合 3 MLib+Streaming应用 3.0 build.sbt 依赖Spa…

在编写第一个Scala语言的Spark程序时,在Scala IDE for Eclipse中运行程序时出现“Project XXXX contains build errors, Continue launch?”错误,程序没有报什么错误,所以应该是IDE的问题或者是配置的问题. 在多方查找的资料的过程中,有说要建立maven工程的,我试了一下,这种解决方法不行.直到看见了有可能是Scala版本引发的原因.于是,我查看了一下电脑的Scala安装的版本. 难道版本号太新了,于是就猜想可能确实是Sc…

配置eclipse出错解决 山重水复疑无路,柳暗花明又一村!经过大量的验证...终于make it. 参考博客:http://blog.csdn.net/wankunde/article/details/41843217 其中四个步骤: Scala 工程版本 该方法和Java 工程类似. 新建scala工程 1.在工程中移除自带的scala版本库 1.添加spark 库spark-assembly-1.1.0-cdh5.2.0-hadoop2.5.0-cdh5.2.0.jar 3.修改工程中的s…

一.背景 由于项目需要,需要在Sbt+Scala项目中连接MySQL数据库.由于之前使用Maven+Java进行依赖管理偏多,在Sbt+Scala方面也在不断进行摸索,特此记录,作为小模块知识的积累. 二.系统环境 Scala.Sbt.IDE的版本分别如下 Scala版本 ==> 2.11.8 Sbt版本   ==> 0.13.8 Idea Intellij版本   ==> 2016.2.2 三.步骤 3.1 新建SBT项目 3.2 添加Student类和程序入口 项目结构如下图所示 其…

scala eclipse sbt 应用程序开发 搭建Eclipse开发Scala应用程序的一般步骤 一.环境准备: 1.Scala : http://www.scala-lang.org/ 2.Scala IDE for Eclipse :scala-ide.org 3.Sbt: http://www.scala-sbt.org/ 4.Sbt Eclipse : https://github.com/typesafehub/sbteclipse   typesafe的一个sbt for ecl…

# 使用SBT构建Scala应用 ## SBT简介 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的. 虽然Maven同样可以管理Scala项目的依赖并进行构建, 但SBT的某些特性却让人如此着迷,比如: * 使用Scala作为DSL来定义build文件(one language rules them all); * 通过触发执行(trigger execution)特性支…

[转帖] 原文地址:https://github.com/CSUG/real_world_scala/blob/master/02_sbt.markdown 尊重版权,尊重他人劳动成果,转帖请注明原文地址 使用SBT构建Scala应用 SBT简介 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的. 虽然Maven同样可以管理Scala项目的依赖并进行构建, 但SBT的某些特…

软件版本 软件信息 软件名称 版本 下载地址 备注 Java 1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 64位版本的 Scala 2.10.5 https://www.scala-lang.org/download/2.10.5.html   SBT sbt 1.1.6 https://www.scala-sbt.org/download.html   SVN…

今天同事在服务区上面装的是最新版本的hadoop3.10和spark2.3.1,因为用scala开发, 所以我想用sbt进行开发.过程中遇到各种坑,刚开始用的jdk10,结果也报错,后来改成jdk1.8. 又报了新的错误.开始用的是scala2.12.6 如果不要使用spark的纯scala项目则不报错,但只要是spark的包引用则报错,则统统报错. Caused by: java.lang.ClassNotFoundException: scala.Product$class 后来修改buil…

使用SBT构建Scala应用 SBT简介 SBT是Simple Build Tool的简称,如果读者使用过Maven,那么可以简单将SBT看做是Scala世界的Maven,虽然二者各有优劣,但完成的工作基本是类似的. 虽然Maven同样可以管理Scala项目的依赖并进行构建, 但SBT的某些特性却让人如此着迷,比如: 使用Scala作为DSL来定义build文件(one language rules them all); 通过触发执行(trigger execution)特性支持持续的编译与测试…

sbt打包Scala写的Spark程序,打包正常,提交运行时提示找不到对应的类 详述 使用sbt对写的Spark程序打包,过程中没有问题 spark-submit提交jar包运行提示找不到对应的类 解决 编译环境没有变化,将代码拷贝到其他项目下打包可以运行,无解 偶然发现IDEA打开的sbt文件显示很多错误,查看详情发现存在错误:java-lang-ClassNotFoundException-org-jetbrain,遂谷歌之,找到了这个网页 ,说是IDEA的bug,打开use sbt she…

一.sbt简介 sbt是类似ANT.MAVEN的构建工具,全称为Simple build tool,是Scala事实上的标准构建工具. 主要特性: 原生支持编译Scala代码和与诸多Scala测试框架进行交互: 使用Scala编写的DSL(领域特定语言)构建描述 使用Ivy作为库管理工具 持续编译.测试和部署 整合scala解释器快速迭代和调试 支持Java与Scala混合的项目 二.sbt安装 在sbt官网下载,这里我是下载的sbt-0.13.11.zip,下载后加压到自己定义的文件夹,然后将…

一个简单的build.sbt文件内容如下: name := "hello" // 项目名称 organization := "xxx.xxx.xxx" // 组织名称 version := "0.0.1-SNAPSHOT" // 版本号 scalaVersion := "2.9.2" // 使用的Scala版本号 // 其它build定义 其中, name和version的定义是必须的,因为如果想生成jar包的话,这两个属性的…

this article show you how to create a SBT project with IDEA. prerequisite: 1.JDK8 2.Scala 2.11.8 3.Intellij IDEA 2016.3 1.create a new project from: File>New>Project…

scala_project:常用目录结构: |lib:手动添加依赖包 |project | |build.properties:build的版本号,可以不写,会自动下载 | |plugins.sbt:需要添加的插件,包括sbt的插件(addSbtPlugin),否则sbt gen-idea.assembly命令不能执行(Not a valid command: assembly) | |build.scala:功能类似于build.sbt,声明工程文件,同时通过setting方式设定工程名字.版…

一.sbt简介 sbt是类似ANT.MAVEN的构建工具,全称为Simple build tool,是Scala事实上的标准构建工具. 主要特性: 原生支持编译Scala代码和与诸多Scala测试框架进行交互: 使用Scala编写的DSL(领域特定语言)构建描述 使用Ivy作为库管理工具 持续编译.测试和部署 整合scala解释器快速迭代和调试 支持Java与Scala混合的项目 二.sbt安装 在sbt官网下载,这里我是下载的sbt-0.13.11.zip,下载后加压到自己定义的文件夹,然后将…

Scala Macros对scala函数库编程人员来说是一项不可或缺的编程工具,可以通过它来解决一些用普通编程或者类层次编程(type level programming)都无法解决的问题,这是因为Scala Macros可以直接对程序进行修改.Scala Macros的工作原理是在程序编译时按照编程人员的意旨对一段程序进行修改产生出一段新的程序.具体过程是:当编译器在对程序进行类型验证(typecheck)时如果发现Macro标记就会将这个Macro的功能实现程序(implementation…

国内:如何解决Maven和SBT下载Jar包太慢 Maven 远程仓库 <mirror> <id>ui</id> <mirrorOf>central</mirrorOf> <name>Human Readable Name for this Mirror.</name> <url>http://uk.maven.org/maven2/</url> </mirror> <mirror…

最近需要用scala写一个测试框架,主要看中了它比较强大的DSL抽象能力和有一个简洁的web框架play,还有比较好的性能测试框架gatling和测试框架Scalatest和Spec2.揉在一起会有啥效果呢?还是很期待.用新技术就要学新东西.首先要搞定Scala下的build tools 和ide等一坨事儿.先搞build tools. Scala用了一种叫做SBT(Simple Build Tools)的构建工具,号称能简化构建操作.它的网址是: http://www.scala-sbt.or…

使用scala开发spark入门总结 一.spark简单介绍 关于spark的介绍网上有很多,可以自行百度和google,这里只做简单介绍.推荐简单介绍连接:http://blog.jobbole.com/89446/ 1.    spark是什么? Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架.一般配合hadoop使用,可以增强hadoop的计算性能. 2.    Spark的优点有哪些? Sp…

以前一直是用maven去管理java项目,现在开始写scala项目了但是在scala-ide中去编译scala项目和sbt的区别一直没弄清楚受到文章:http://my.oschina.net/yjwxh/blog/601566的启发,查了相关的资料 sbt官网是http://www.scala-sbt.org/官网的文档对中文特别友好,有中文版本的,但是看了一遍感觉很难接受这么复杂的配置方法sbt是一种构建工具,在eclipse-ide中并没有集成下载安装msi之后,在默认路径出现了/bin和…

问题导读: 1.什么是sbt? 2.sbt项目环境如何建立? 3.如何使用sbt编译打包scala? [sbt介绍 sbt是一个代码编译工具,是scala界的mvn,可以编译scala,java等,需要java1.6以上. sbt项目环境建立 sbt编译需要固定的目录格式,并且需要联网,sbt会将依赖的jar包下载到用户home的.ivy2下面,目录结构如下: |--build.sbt |--lib |--project |--src |   |--main |   |    |--scala…

idea中使用scala运行spark出现: Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class 查看build.sbt: name := "ScalaSBT" version := "1.0" scalaVersion := "2.11.8" libraryDependenci…

[Lift]Scala Web 框架——Lift(一)准备工作 Lift 官方网站:http://liftweb.net/ 下载 http://liftweb.net/download 下载.zip压缩包,解压缩 或者 终端下,运行: git clone https://github.com/lift/lift_25_sbt.git 安装 终端下,切换目录到“lift/scala_29/lift_basic” 运行: ./sbt sbt会下载一大堆的东西 下载完毕后,提示符">"…

前言 最近为了解决Spark2.1的Bug,对Spark的源码做了不少修改,需要对修改的代码做编译测试,如果编译整个Spark项目快的话,也得半小时左右,所以基本上是改了哪个子项目就单独对那个项目编译打包. Spark官方已经给出了如何使用mvn单独编译子项目的方法:http://spark.apache.org/docs/latest/building-spark.html#building-submodules-individually 使用mvn单独编译子项目是节约了不少时间.但是频繁的改…