scala-2.9.3:一种编程语言,下载地址:http://www.scala-lang.org/download/    spark-1.4.0:必须是编译好的Spark,如果下载的是Source,则需要自己根据环境使用SBT或者MAVEN重新编译才能使用. 编译好的 Spark下载地址:http://spark.apache.org/downloads.html. 2.安装scala-2.9.3   #解压scala-2.9.3.tgz tar -zxvf scala-2.9.3.tgz…

服务器运行环境(LNMP)安装说明 因为公司需要一套流程标准,所以写了如下步骤. 先下载文件environment.tar,将文件上传到服务器. 使用命令解压文件,tar xvf environment.tar. cd进入解压目录,运行命令sh install.sh. 安装完成后台打开浏览器访问http://ip/,访问成功表示安装完成. 软件版本: memcached 1.4.25 mysql 5.6 php 5.6 Tengine 2.1.2 安装后目录说明: tengine /use/lo…

欢迎转载,转载请注明出处,徽沪一郎. 楔子 Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析.由于这一特性而收到广泛的欢迎. Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意.由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常…

Hive是基于Hadoop的开源数据仓库工具,提供了类似于SQL的HiveQL语言,使得上层的数据分析人员不用知道太多MapReduce的知识就能对存储于Hdfs中的海量数据进行分析.由于这一特性而收到广泛的欢迎. Hive的整体框架中有一个重要的模块是执行模块,这一部分是用Hadoop中MapReduce计算框架来实现,因而在处理速度上不是非常令人满意.由于Spark出色的处理速度,有人已经成功将HiveQL的执行利用Spark来运行,这就是已经非常闻名的Shark开源项目. 在Spark 1…

(一)SDK 的下载与安装 1． 下载SDK 为了建立基于SDK 的Java 运行环境,需要先下载Sun 的免费SDK 软件包.SDK 包含了一整套开发工具,其中包含对编程最有用的是Java 编译器.Applet 查看器和Java 解释器. 2． 安装SDK 运行下载的“j2sdk-1_6_x_-windows-i586.exe”软件包,可安装SDK,在安装过程中可以设置安装路径及选择组件,默认的组件选择是全部安装. 3． SDK 中的主要文件夹和文件 安装成功后,安装目录中,bin 文件夹中包…

一.实验目的     1． 掌握下载 Java SDK 软件包.     2． 掌握设置 Java 程序运行环境的方法.     3． 掌握编写与运行 Java 程序的方法.     4． 了解 Java 语言的概貌. 5． 安装.掌握JCreator软件,为学习 Java 语言和进行 Java 程序的实验做好准备工作. 6． 浏览Applet 程序 二.实验要求     1． 安装并设置 Java SDK 软件包.     2． 编写一个简单的 Java 程序,在屏幕上输出”hello,jav…

一.前言 近几年大数据是异常的火爆,今天小编以java开发的身份来会会大数据,提高一下自己的层面! 大数据技术也是有很多: Hadoop Spark Flink 小编也只知道这些了,由于Hadoop,存在一定的缺陷(循环迭代式数据流处理:多 并行运行的数据可复用场景效率不行).所以Spark出来了,一匹黑马,8个月的时间从加入 Apache,直接成为顶级项目!! 选择Spark的主要原因是: Spark和Hadoop的根本差异是多个作业之间的数据通信问题 : Spark多个作业之间数据 通信是基…

首先,保证你已经安装了虚拟机(虚拟机可以用virturalbox或者VM)并安装了ubuntu镜像! 安装Chrome浏览器 安装terminator(可以多开)代替原来的命令行工具 sudo apt update (更新一哈) sudo apt install terminator (安装) 安装git sudo apt install git sudo apt install curl 安装nodejs(运行js的环境) 我们装6.x…

转自:http://jingyan.baidu.com/article/870c6fc33e62bcb03fe4be90.html 用来进行web开发的工具有很多,Tomcat是其中一个开源的且免费的java Web服务器,是Apache软件基金会的项目.电脑上安装配置Tomcat的方法和java有些相同,不过首先需要配置好java的环境才行. 工具/原料 Tomcat7.0 eclipse java环境的配置 1 java环境的配置应该都学过吧,这里简单的讲一下. 下载安装java JDK,注…

Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源. Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级.可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化. 容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app),更重要的是容器性能开销极低. Docker的应用场景 Web 应用的自动化打包和发布. 自动化测试和持续集成.发布. 在服务型环境中部署和调整数据库或其他的后台应用. 从头编译或者扩…