MongoDB Connector for Spark Spark Connector Scala Guide spark-shell --jars "mongo-spark-connector_2.11-2.0.0.jar,mongo-hadoop-core-2.0.2.jar,mongo-java-driver-3.4.2.jar" import org.apache.spark.sql.SparkSession import com.mongodb.spark._ import

1.下载安装包 官网:http://www.postgresql.org/download/ 按自己需求,下载安装包, 我下载的windows版32位的.http://get.enterprisedb.com/postgresql/postgresql-9.4.0-1-windows.exe 2.安装 执行下载包,进行安装,请一定记住你输入的密码,如“pg” 3.打开数据库,创建表,插入数据 安装完成后,在开始菜单找到PostgreSQL 9.4 (x86)\pgAdmin III,打开 pgA

code: import java.sql.{ResultSet, DriverManager} import com.mysql.jdbc.Connection object hoursAvg { val url = "jdbc:mysql://IP/dB" val user = "username" val password = "password" val host = "IP" val database = "

1.数据库创建 参考接上文cassandra入门 http://www.cnblogs.com/piaolingzxh/p/4197833.html 2.下载jdbc驱动源码,构建jar包 源码下载地址:https://bitbucket.org/openscg/cassandra2-jdbc/src,最新包可能会构建失败,请下载2.1.1版的 当然,你也可以使用我构建好的,地址:http://download.csdn.net/detail/piaolingzxh/8320131 注:使用ma

介绍 Scala是一种功能性面向对象语言.它融汇了很多前所未有的特性.而同一时候又执行于JVM之上.随着开发人员对Scala的兴趣日增,以及越来越多的工具支持,无疑Scala语言将成为你手上一件不可缺少的工具. MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库其中功能最丰富,最像关系数据库的.他支持的数据结构很松散,是类似json的bson格式.因此能够存储比較复杂的数据类型. Mongo最大的特点是他支持的查询语言很强大,其语法有点类似于面向对象的查询语言,差点儿能够

Scala列表 Scala列表与数组非常相似,列表的所有元素都具有相同的类型,但有两个重要的区别. 首先,列表是不可变的,列表的元素不能通过赋值来更改. 其次,列表表示一个链表,而数组是平的. 具有类型T的元素的列表的类型被写为List[T]. 尝试以下示例,这里列出了为各种数据类型定义的列表. // List of Strings val fruit: List[String] = List("apples", "oranges", "pears&quo

[TOC] 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时,我们往往需要操作数据库,去统计或者改变一些值.最近一个实时消费者处理任务,在使用spark streaming进行实时的数据流处理时,我需要将计算好的数据更新到hbase和mysql中,所以本文对spark操作hbase和mysql的内容进行总结,并且对自己踩到的一些坑进行记录. Spark Streaming持久化设计模式 DStreams输出操作 print:打印driver结点上每个Dstream

kafka.network包主要为kafka提供网络服务,通常不包含具体的逻辑,都是一些最基本的网络服务组件.其中比较重要的是Receive.Send和Handler.Receive和Send封装了底层的入站(inbound)和出站(outbound)字节传输请求,而Handler在此二者间做了一个映射.一个handler就代表了一个函数,该函数接收Receive类型的对象并返回Send类型的对象.用户可以处理过冲中添加逻辑代码,并且需要自行捕获传输读写过程中的异常,将其序列化之后发送给客户端.

1.命令行工具 在windows上巧命令行指令,实在是令人痛苦,本人实在是受不了windows下cmd的笨,powershell的蠢,只能换一个了. 介绍一款cmd工具cmder(github上开源),地址:http://bliker.github.io/cmder/,如下图,若有更好的工具,请大家告诉一下我,在此,先谢谢. 注:"λ"为cmder工具的标识,后边指令凡是遇到这个字符,都可以跳过 2.官方下载redis 地址:http://redis.io/download, 官方提供

键值对 RDD 是 Spark 中许多操作所需要的常见数据类型.键值对 RDD 通常用来进行聚合计算.我们一般要先通过一些初始 ETL(抽取.转化.装载)操作来将数据转化为键值对形式.键值对 RDD 提供了一些新的操作接口(比如统计每个产品的评论,将数据中键相同的分为一组,将两个不同的 RDD 进行分组合并等).我们也会讨论用来让用户控制键值对 RDD 在各节点上分布情况的高级特性:分区.有时,使用可控的分区方式把常被一起访问的数据放到同一个节点上,可以大大减少应用的通信开销.这会带来明显的性能

2.21更新: 安装后本地通过robo 3T连接正常,但是其它机器通过IP连接时报错,继续查找,解决方案在这里(传送门),原因是mongodb安装完成后默认监听本地地址,也就是127.0.0.1,这样只能通过localhost或127.0.0.1连接,通过其它IP就不行了,改下配置文件即可.在/etc目录下的mongod.conf文件中,修改bindIp为0.0.0.0,如下: 这样就能通过本机IP连接了. 1.28更新: 事实证明,前面完全错了,根本没找到问题所在乱解决,根据前面的安装虽然能用

https://cloud.tencent.com/developer/article/1004820 Spark 踩坑记:数据库(Hbase+Mysql) 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时,我们往往需要操作数据库,去统计或者改变一些值. 最近一个实时消费者处理任务,在使用spark streaming进行实时的数据流处理时,我需要将计算好的数据更新到hbase和mysql中,所以本文对spark操作hbase和mysql的内容进行总结,并且对自己

nodejs中使用mongodb quickstart node 中使用mongodb的quick start.整理的官网crud简单例子. 在百度找了几篇帖子都有问题,所以直接看官网了. 连接MondoDB var MongoClient = require('mongodb').MongoClient , assert = require('assert'); // Connection URL var url = 'mongodb://localhost:27017/myproject';

转自:http://www.cnblogs.com/xlturing/p/spark.html 前言 在使用Spark Streaming的过程中对于计算产生结果的进行持久化时,我们往往需要操作数据库,去统计或者改变一些值.最近一个实时消费者处理任务,在使用spark streaming进行实时的数据流处理时,我需要将计算好的数据更新到hbase和mysql中,所以本文对spark操作hbase和mysql的内容进行总结,并且对自己踩到的一些坑进行记录. Spark Streaming持久化设计

How to implement connection pool in spark https://github.com/YulinGUO/BigDataTips/blob/master/spark/How%20to%20implement%20connection%20pool%20in%20Spark.md 问题所在 在Spark Streaming Guid中,提到: dstream.foreachRDD { rdd => rdd.foreachPartition { partitionO

Java版简易版连接池: import java.sql.Connection; import java.sql.DriverManager; import java.util.LinkedList; /** * 简易版的连接池 */ public class ConnectionPool { //静态的Connection private static LinkedList<Connection>connections; //加载驱动 static { try { Class.forName

这个需要安装库: import ch.ethz.ssh2.{Connection, Session, StreamGobbler} 首先用 ip 和 post 创建连接: val conn: Connection = new Connection(ipAddr, post) 判断这个连接是否连接上了,这个用了一个 Boolean 类型判断: def login(): Boolean = { conn.connect() // 连接 val ret: Boolean = conn.authenti

最近在看Apache Apollo 代码,其中有很多scala代码,没办法需要安装一个scala插件. 我试过zip 安装,直接下载的update-site.zip 不能直接安装到位.我又特别懒,不想复制文件夹. 所以我是通过help->install new software 安装.add 输入网址: 网址的连接从这里(官网)来(不要去看人家的blog ,特别是中文blog 都过时了): http://scala-ide.org/download/current.html 直接复制淡绿色背景网

一.背景 由于项目需要,需要在Sbt+Scala项目中连接MySQL数据库.由于之前使用Maven+Java进行依赖管理偏多,在Sbt+Scala方面也在不断进行摸索,特此记录,作为小模块知识的积累. 二.系统环境 Scala.Sbt.IDE的版本分别如下 Scala版本 ==> 2.11.8 Sbt版本   ==> 0.13.8 Idea Intellij版本   ==> 2016.2.2 三.步骤 3.1 新建SBT项目 3.2 添加Student类和程序入口 项目结构如下图所示 其

转载自:https://my.oschina.net/leejun2005/blog/405305 Scala 作为一门函数式编程语言,对习惯了指令式编程语言的同学来说,会不大习惯,这里除了思维方式之外,还有语法层面的,比如 underscore(下划线)就会出现在多种场合,令初学者相当疑惑,今天就来总结下 Scala 中下划线的用法. 1.存在性类型:Existential types def foo(l: List[Option[_]]) = ... 2.高阶类型参数:Higher kind