import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContext object startScala { def main(args: Array[String]): Unit ={ val conf = new SparkConf() .setAppName("QJZK") .setMaster("local") v

Java获取Class实例的四种方式 package com.test; /** * @description: TODO * @author: HaoWu * @create: 2020/7/22 10:39 */ public class A { public static void main(String[] args) throws ClassNotFoundException { //1.类名.class Class clazz1 = A.class; //2.对象名.getClass

要想获取使用指定注解的类信息,可借助工具: org.reflections.Reflections 此工具将Java反射进行了高级封装,Reflections 通过扫描 classpath,索引元数据,允许在运行时查询这些元数据,也可以保存收集项目中多个模块的元数据信息. 使用 Reflections 可以查询以下元数据信息: )获得某个类型的所有子类型 )获得标记了某个注解的所有类型/成员变量,支持注解参数匹配. )使用正则表达式获得所有匹配的资源文件 )获得所有特定签名(包括参数,参数注解,

Parquet是面向分析型业务的列式存储格式,由Twitter和Cloudera合作开发,2015年5月从Apache的孵化器里毕业成为Apache顶级项目,那么这里就总结下Parquet数据结构到底是什么样的呢? 一个Parquet文件是由一个header以及一个或多个block块组成,以一个footer结尾.header中只包含一个4个字节的数字PAR1用来识别整个Parquet文件格式.文件中所有的metadata都存在于footer中.footer中的metadata包含了格式的版本信息

原始 dataFrame : //获取前7天的时间long类型 def getDaytimeTime(day:Int): Long = { val cal = Calendar.getInstance cal.add(Calendar.DATE, day) val time: Date = cal.getTime val fm = new SimpleDateFormat("yyyy-MM-dd") val newTime = fm.parse(fm.format(time)) new

在编写程序时,有时需要获取当前时间,这在记录异常信息.获取程序运行耗时很有用处 方式一: val time1=System.currentTimeMillis() 这种方式获取的是程序运行到此的毫秒数,常用于计算程序耗时,比如在一段代码后再创建另外一个变量,做差后即可获得程序运行耗时 方式二: new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date) 其中new Date就能获取当前时间,但是为了便于阅读,再使用Simpl

def NowDate(): String = { val now: Date = new Date() val dateFormat: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") val date = dateFormat.format(now) return date } executeUpdate("UPDATE message SET send_state=?,send_time=? W

1 代码示范 /** * @author zhangjin * @create 2019-06-09 11:15 */ object TestMarnArgs { def main(args: Array[String]): Unit = { // 检验参数 if (args.length != 2) { println( """ |Usage: testMain |Param: | first 第一个参数 | two 第二个参数 """.str

spark-shell用户 spark-shell只能spark用户来进行初始化,如果用hdfs或者root将会卡在spark-shell的初始化那个地方.可以用这两个用户来验证spark安装时成功地:但是如果想要通过shell来执行code.command,那么还是要用spark用户. 但是如果spark是standalone的安装模式,那么可以不考虑以上的权限问题(权限很多限制来自于YARN),即使root用户,也可以进入到命令行模式   spark读取文件的分布性质 我才用的val emp

正文 首先打开spark官网,找一个自己用版本我选的是1.6.3的,然后进入SparkStreaming   ,通过搜索这个位置找到Kafka, 点击过去会找到一段Scala的代码 import org.apache.spark.streaming.kafka._ val kafkaStream = KafkaUtils.createStream(streamingContext, [ZK quorum], [consumer group id], [per-topic number of Ka

背景 随着大数据时代的到来,越来越多的数据流向了Hadoop生态圈,同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要,在Hadoop生态圈的快速发展过程中,涌现了一批开源的数据分析引擎,例如Hive.Spark SQL.Impala.Presto等,同时也产生了多个高性能的列式存储格式,例如RCFile.ORC.Parquet等,本文主要从实现的角度上对比分析ORC和Parquet两种典型的列存格式,并对它们做了相应的对比测试. 列式存储 由于OLAP查

==> 什么是parquet         Parquet 是列式存储的一种文件类型   ==> 官网描述: Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language         无

软件版本 软件信息 软件名称 版本 下载地址 备注 Java 1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 64位版本的 Scala 2.10.5 https://www.scala-lang.org/download/2.10.5.html   SBT sbt 1.1.6 https://www.scala-sbt.org/download.html   SVN

我以前的博客(Java Scala获取注解的类信息)介绍过通过Reflections工具通过使用特定注解的类的信息,其实本工具也可以获取接口,抽象类,类等的所有子类信息.使用方法如下: Reflections reflections = new Reflections("my.project"); Set<Class<? extends SomeType>> subTypes = reflections.getSubTypesOf(SomeType.class)

Scala获取当前目录下所有文件 import java.io.File //获取目录下的所有文件,当前项目目录输入new File(".") def getFiles1(dir: File): Array[File] = { dir.listFiles.filter(_.isFile) ++ dir.listFiles.filter(_.isDirectory).flatMap(getFiles1) Scala中路径的表示 如: val visitlog = sc.textFile(

第1章 Spark SQL 概述1.1 什么是 Spark SQL1.2 RDD vs DataFrames vs DataSet1.2.1 RDD1.2.2 DataFrame1.2.3 DataSet1.2.4 三者的共性1.2.5 三者的区别第2章 执行 Spark SQL 查询2.1 命令行查询流程2.2 IDEA 创建 Spark SQL 程序第3章 Spark SQL 解析3.1 新的起始点 SparkSession3.2 创建 DataFrames3.3 DataFrame 常用操

dataframe以RDD为基础的分布式数据集,与RDD的区别是,带有Schema元数据,即DF所表示的二维表数据集的每一列带有名称和类型,好处:精简代码:提升执行效率:减少数据读取; 如果不配置spark.deploy.recoveryMode选项为ZOOKEEPER,那么集群的所有运行数据在Master重启是都会丢失 spark工作机制 用户在client端提交作业后,会由Driver运行main方法并创建spark context上下文. 执行add算子,形成dag图输入dagschedu

目录 . Chkrootkit Introduce . Source Code Frame . chklastlog.c . chkwtmp.c . ifpromisc.c . chkproc.c . chkdirs.c . check_wtmpx.c . strings.c . chkrootkit的使用场景及其局限 1. Chkrootkit Introduce chkrootkit是一个Linux系统下的查找检测rootkit后门的工具,需要明白的是,chkrootkit是一款ring3级

目录 ．文件系统及访问权限 . Linux Syslog . Linux日志审计 . 帐号安全管理 . 基础物理安全 . 系统编译环境安全 . 系统病毒.后门.rootkit安全 . 系统端口.服务安全 . 系统内核安全 . 基于系统日志审计的入侵检测 . 构建日志收集系统过程中面临的技术挑战 1．文件系统及访问权限 Linux为每个文件都分配了一个文件所有者,称为"文件属主",并赋予文件主惟一的注册名 . 对文件的控制取决于文件主或超级用户root(linux系统中的root用户有无

https://github.com/onurakpolat/awesome-bigdata A curated list of awesome big data frameworks, resources and other awesomeness. Inspired by awesome-php, awesome-python, awesome-ruby, hadoopecosystemtable & big-data. Your contributions are always welco

1.RDD 全称 弹性分布式数据集 Resilient Distributed Dataset它就是一个 class. abstract class RDD[T: ClassTag](    @transient private var _sc: SparkContext,    @transient private var deps: Seq[Dependency[_]]  ) extends Serializable with Logging { 继承了 Serializable 和具有 L