下载(pre-build for Hadoop 2.7) http://www.alluxio.org/download` 解压 tar -xvf alluxio-1.3.0-hadoop2.7-bin.tar 生成配置文件 ./bin/alluxio bootstrapConf localhost 格式化 ./bin/alluxio format 启动 ./bin/alluxio-start.sh local 停止 ./bin/alluxio-stop.sh all 访问控制台 http://

转自:http://kaimingwan.com/post/alluxio/effective-spark-rdds-with-alluxio 1. 介绍 2. 引言 3. Alluxio and Spark RDD Cache 4. 保存RDD 4.1 采用persist() 4.2 采用saveAsTextFile和saveAsObjectFile 5. 读取保存后的RDD 1. 介绍 近期,作者给我推荐了一篇spark on alluxio的文章.原文地址:Effective Spark

1.spark textFile读取File 1.1 简单读取文件 val spark = SparkSession.builder() .appName("demo") .master("local[3]") .getOrCreate() // 读取hdfs文件目录 spark.sparkContext.textFile("/user/data") spark.sparkContext.textFile("hdfs://10.252.

1.背景: 控制上游文件个数每天7000个,每个文件大小小于256M,50亿条+,orc格式.查看每个文件的stripe个数,500个左右,查询命令:hdfs fsck viewfs://hadoop/nn01/warehouse/…….db/……/partition_date=2017-11-11/part-06999 -files -blocks; stripe个数查看命令:hive --orcfiledump viewfs://hadoop/nn01/warehouse/…….db/tab

Spark SQL读取数据Oracle的数据时,发现number类型的字段在读取的时候精度丢失了,使用的spark版本是Spark2.1.0的版本,竟然最后经过排查和网上查资料发现是一个bug.在Spark2.1.2以上的版本解决了这个问题. number类型的数据通过spark sql的jdbc读取的时候回变成DecimalType的类型.同时精度不会丢失,在2.1.2版本之前读取过来是IntType类型的. Spark issues列表: 通过JDBC读取Oracle数据打印的DataFra

通过Ambari2.7.3安装HDP3.1.0成功之后,通过spark sql去查询hive表的数据发现竟然无法查询 HDP3.0 集成了hive 3.0和 spark 2.3,然而spark却读取不了hive表的数据,准确来说是内表的数据. 原因hive 3.0之后默认开启ACID功能,而且新建的表默认是ACID表.而spark目前还不支持hive的ACID功能,因此无法读取ACID表的数据. 请看:https://issues.apache.org/jira/browse/SPARK-153

在spark streaming读取kafka的数据中,spark streaming提供了两个接口读取kafka中的数据,分别是KafkaUtils.createDstream,KafkaUtils.createDirectStream,前者会自动把offset更新到zk中,默认会丢数据,效率低,后者不会经过zk,效率更高,需要自己手动维护offse,通过维护护offset写到zk中,保障数据零丢失,只处理一次,下面来看看KafkaUtils.createDirectStream的使用,我把z

Spark--local模式环境搭建 一.Spark运行模式介绍 1.本地模式(loca模式):spark单机运行,一般用户测试和开发使用 2.Standalone模式:构建一个主从结构(Master+Slave)的spark集群,spark运行在集群中. 3.Spark on yarn 模式:Spark客户端直接连接Yarn,不用构建Spark集群 4.Spark on Mesos 模式:Spark客户端直接连接Mesos.不需要额外构建Spark集群 二.local模式 1.将编译好的spa

1. 在生产环境下,很多文件是GBK编码格式的,而SPARK 常用的textFile方法默认是写死了读UTF-8格式的文件,其他格式文件会显示乱码 用如下代码实现读取GBK文件的方法 import org.apache.hadoop.io.{LongWritable, Text}import org.apache.hadoop.mapred.TextInputFormatimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkCo

读取数据库数据和ElasticSearch数据进行连接处理 import java.util.HashMap; import java.util.List; import java.util.Map; import org.apache.log4j.Level; import org.apache.log4j.Logger; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext;

这个问题我去网上搜索了一下,发现了很多的解决方案都是增加的nproc数量,即用户最大线程数的数量,但我修改了并没有解决问题,最终是通过修改hadoop集群的最大线程数解决问题的. 并且网络上的回答多数关于增加nproc的答案不完整,我这里顺便记录一下. 用户最大线程数可以通过linux下的命令 ulimit -a 查看,屏幕输出中的max user processes就是用户最大线程数,默认通常为1024. 修改这个参数的地方是在/etc/security/limits.conf以及/etc/s

Exception: Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BoneCP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH

spark支持的常见文件格式如下: 文本,json,CSV,SequenceFiles,Protocol buffers,对象文件 1.文本 只需要使用文件路径作为参数调用SparkContext 中的textFile() 函数,就可以读取一个文本文件: scala> val lines=sc.textFile("/tmp/20171024/20171024.txt") lines: org.apache.spark.rdd.RDD[String] = /tmp/20171024

spark程序大致有如下运行模式: standalone模式:spark自带的模式 spark on yarn:利用hadoop yarn来做集群的资源管理 local模式:主要在测试的时候使用, 这三个模式先大致了解,目前我用到的就是local和yarn.其中,我们写spark程序,一般在idea上写,若每次都要将程序打包,再上传到集群,再运行,将严重影响我们效率,所以在调试代码的时候,一般用local模式,在windows的idea上直接操作. 环境配置步骤如下:只做简要说明,各个步骤的具体

添加配置文件 phoenixConnectMode.scala : package statistics.benefits import org.apache.hadoop.conf.Configuration import org.apache.spark.sql.{DataFrame, SQLContext} import org.apache.phoenix.spark._ object phoenixConnectMode { private val zookeeper = "node3

1.文件格式 Spark对很多种文件格式的读取和保存方式都很简单. (1)文本文件 读取: 将一个文本文件读取为一个RDD时,输入的每一行都将成为RDD的一个元素. val input=sc.textFile("...") 也可以将多个完整的文本文件读取为一个pair RDD,其中键为文件名,值是文件内容. 例如: val input=sc.whoTextFiles("...") 保存: resulet.saveAsTextFile(outputfile) (2)J

报错1 java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. 解决办法 下载winutils.exe文件,将其放到hadoop目录hadoop-2.6.0\bin下 然后配置HADOOP_HOME和并配置path就可以了,比如我的是: HADOOP_HOME为 D:\bigdata_software\hadoop-2.6.0 path为 HADOOP_HOME\

一.动机 我们已经学了很多在 Spark 中对已分发的数据执行的操作.到目前为止,所展示的示例都是从本地集合或者普通文件中进行数据读取和保存的.但有时候,数据量可能大到无法放在一台机器中,这时就需要探索别的数据读取和保存的方法了. Spark 及其生态系统提供了很多可选方案.本章会介绍以下三类常见的数据源. • 文件格式与文件系统:对于存储在本地文件系统或分布式文件系统(比如 NFS.HDFS.Amazon S3 等)中的数据,Spark 可以访问很多种不同的文件格式,包括文本文件.JSON.S

spark默认读取的是hdfs上的文件. 如果读取本地文件,则需要加file:///usr/local/spark/README.md. (测试时候发现,本地文件必须在spark的安装路径内部或者平行) 读取hdfs文件, 可以这样指定路径 hdfs://ns1/tmp/test.txt. 如果不指定任何前缀,则使用hdfs的默认路径/user/data/ 启动spark-shell: 由于已经在spark-defaults.conf中指定了spark.master,所以启动时默认以standa

/** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it as an RDD of Strings. */ def textFile( path: String, minPartitions: Int = defaultMinPartitions): RDD[String] = wi

本地执行Spark SQL程序: package com.fc //import common.util.{phoenixConnectMode, timeUtil} import org.apache.spark.sql.SQLContext import org.apache.spark.sql.functions.col import org.apache.spark.{SparkConf, SparkContext} /* 每天执行 */ object costDay { def mai