需要社区工具:parquet-tools-1.6.0rc3-SNAPSHOT.jar                  git project: https://github.com/apache/parquet-mr/tree/master/parquet-tools?spm=5176.doc52798.2.6.H3s2kL 查看结构: java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0

Schema::connection('')->table($tableName, function (Blueprint $table) { $sm = Schema::getConnection()->getDoctrineSchemaManager(); $indexesFound = $sm->listTableIndexes('table'); if(array_key_exists("index_name", $indexesFound)) $table-

public class PickListValuesUtil { public static Map<String,Object> getPicklistValues(String sObjectName,String sFieldName){ Map<String,Object> picValues = new Map<String,Object>(); Map<String,Schema.SObjectType> sObjectDescribeMap

==> 什么是parquet         Parquet 是列式存储的一种文件类型   ==> 官网描述: Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, data model or programming language         无

背景 随着大数据时代的到来,越来越多的数据流向了Hadoop生态圈,同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要,在Hadoop生态圈的快速发展过程中,涌现了一批开源的数据分析引擎,例如Hive.Spark SQL.Impala.Presto等,同时也产生了多个高性能的列式存储格式,例如RCFile.ORC.Parquet等,本文主要从实现的角度上对比分析ORC和Parquet两种典型的列存格式,并对它们做了相应的对比测试. 列式存储 由于OLAP查

import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContext object startScala { def main(args: Array[String]): Unit ={ val conf = new SparkConf() .setAppName("QJZK") .setMaster("local") v

一下内容转载自http://blog.sina.com.cn/s/blog_74dfa9f401017s69.html 简介sqlite3一款主要用于嵌入式的轻量级数据库,本文旨在为熟悉sqlite3基本命令提供技术文档. 备注:本文所有操作均在root用户下进行. 1.安装sqlite3ubuntu下安装sqlite3直接在终端运行命令:#apt-get install sqlite3查看版本信息:#sqlite3 -version 2 .sqlite3常用命令当前目录下建立或打开test.d

Spark - Parquet 概述 Apache Parquet属于Hadoop生态圈的一种新型列式存储格式,既然属于Hadoop生态圈,因此也兼容大多圈内计算框架(Hadoop.Spark),另外Parquet是平台.语言无关的,这使得它的适用性很广,只要相关语言有对应支持的类库就可以随机使用: Parquet的优劣对比: 支持嵌套结构,这点对比同样是列式存储的OCR具备一定优势: 适用于OLAP场景,对比CSV等行式存储结构,列示存储支持映射下推和谓词下推,减少磁盘IO: 同样的压缩方式下

Parquet 列式存储格式 参考文章: https://blog.csdn.net/kangkangwanwan/article/details/78656940 http://parquet.apache.org/documentation/latest/ 列式存储的优势 把IO只给查询需要用到的数据,只加载需要被计算的列 列式的压缩效果更好,节省空间 parquet只是一种存储格式,与上层语言无关 适配通用性 存储空间优化 计算时间优化 hive中metastore和数据是分开的,alte

Spark版本:1.6.2 概览 Spark SQL用于处理结构化数据,与Spark RDD API不同,它提供更多关于数据结构信息和计算任务运行信息的接口,Spark SQL内部使用这些额外的信息完成特殊优化.可以通过SQL.DataFrames API.Datasets API与Spark SQL进行交互,无论使用何种方式,SparkSQL使用统一的执行引擎记性处理.用户可以根据自己喜好,在不同API中选择合适的进行处理.本章中所有用例均可以在spark-shell.pyspark shel

架构 Hadoop整体由HDFS.YARN.MapReduce三大部分组成,推荐架构参考:https://www.cnblogs.com/zhjh256/p/10573684.html. 注:2.x的时候引入了YARN.并调整了一系列进程,其性能较差,本文主要讲解2.0体系.1.0可以参考https://www.cnblogs.com/kubixuesheng/p/5525306.html. 官方文档(最好的参考资料):http://hadoop.apache.org/docs/stable/h

  ==========第一篇:Scala编程语言========= 一.Scala语言基础 1.Scala语言简介 Scala是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性.Scala运行于Java平台(Java虚拟机),并兼容现有的Java程序.它也能运行于CLDC配置的Java ME中.目前还有另一.NET平台的实现,不过该版本更新有些滞后.Scala的编译模型(独立编译,动态类加载)与Java和C#一样,所以Scala代码可以调用Java类库(对于.NET

目录 Overview Quick Example Programming Model Basic Concepts Handling Event-time and Late Data Fault Tolerance Semantics API using Datasets and DataFrames Creating streaming DataFrames and streaming Datasets Input Sources Schema inference and partition

目标 SparkSQL 是什么 SparkSQL 如何使用 Table of Contents 1. SparkSQL 是什么 1.1. SparkSQL 的出现契机 1.2. SparkSQL 的适用场景 2. SparkSQL 初体验 2.3. RDD 版本的 WordCount 2.2. 命令式 API 的入门案例 2.2. SQL 版本 WordCount 3. [扩展] Catalyst 优化器 3.1. RDD 和 SparkSQL 运行时的区别 3.2. Catalyst 4. D

DataFrame的创建从Spark2.0以上版本开始,Spark使用全新的SparkSession接口替代Spark1.6中的SQLContext及HiveContext接口来实现其对数据加载.转换.处理等功能.SparkSession实现了SQLContext及HiveContext所有功能SparkSession支持从不同的数据源加载数据,并把数据转换成DataFrame,并且支持把DataFrame转换成SQLContext自身中的表,然后使用SQL语句来操作数据.SparkSessio

.net core 对配置系统做出了大幅度更新,不在局限于之前的*.xml配置方式.现在支持json,xml,ini,in memory,环境变量等等.毫无疑问的是,现在的json配置文件是.net core世界中的一等公民. 每个类型的配置文件都有一个schema说明.有schema的好处是能有智能提示. 可以在任何配置项的Key上面按F12导航到该配置的schema查看结构,或说明 比如global.json的schema 例外的是appsettings.json.他是没有schema的.因

adb shell可以用来操纵数据库 1.在cmd界面 输入adb shell 进入adb shell 2.使用cd 切换到工作目录:使用ls查看文件 3.使用sqlite3+数据库名字 打开某个数据库 4.操纵数据库:使用.schema查看数据库创建语句:使用.table查看表,使用select * from XXX;表查询

要查看数据库,首先必须要找到db文件,如果拷贝到电脑上,查看的方法比较多,在手机上,用命令查看比较直接和方便. 首先要找到数据库的位置,一般数据库时存放在程序的私有目录,所以要获取root权限. 确保开发工具已经连接上手机,打开命令行,输入adb shell 这时还没有获取root权限,输入su,手机会弹出提示,允许获取root权限 后缀变为“#”,成功获取root权限,这时可以进入应用程序的私有目录, 输入cd data/data/程序包名/databases/,进入数据库的目录 下面时一些基

原创  sqlite建表语句(特别是外键问题) 下面图表示两个表关系: //表1User_invitecreate table User_invite(Invite_id INTEGER PRIMARY KEY,     //注意:这里就代表是自动增长user_id INTEGER, Invite_date DATE ,Invite_place VARCHAR(20) NOT NULL,Invite_kind VARCHAR(20), Invite_title VARCHAR(20),Invit

SQuirreL SQL Client   SQuirreL SQL Client 是一个用 Java 编写的程序,它允许您查看数据库的内容.发出 SQL 命令,以及如您将看到的,执行许多其他功能.构建该图形化前端是为了支持兼容 JDBC 的数据库. 更多SQuirreL SQL Client 信息   iSQL-Viewer  iSQL-Viewer是一个符合JDBC 2.x的SQL客户端,它支持多种数据库如PostgreSQL, MySQL, Oracle,和 Informix.它提供了许多

本文详细地介绍了MySQL 5.7新引入的sys schema.首先,本文概要地介绍了sys schema的作用和定位:其次,分别介绍了sys schema中的视图.函数和存储过程:接下来,通过两个例子来演示sys schema的用法,便于大家理解sys schema带来的实实在在的好处:最后讨论了sys schema还可以增加的内容. 1. sys schema的介绍 sys schema是MySQL 5.7.7中引入的一个系统库,包含了一系列视图.函数和存储过程, 该项目专注于MySQL的易