parquet是列式存储格式,官方文档 https://parquet.apache.org/documentation/latest/ 一个Parquet文件是由一个header以及一个或多个block块组成,以一个footer结尾.header中只包含一个4个字节的数字PAR1用来识别整个Parquet文件格式.文件中所有的metadata都存在于footer中.footer中的metadata包含了格式的版本信息,schema信息.key-value paris以及所有block中的met…

Apache Parquet是Hadoop生态圈中一种新型列式存储格式,它可以兼容Hadoop生态圈中大多数计算框架(Hadoop.Spark等),被多种查询引擎支持(Hive.Impala.Drill等),并且它是语言和平台无关的.Parquet最初是由Twitter和Cloudera(由于Impala的缘故)合作开发完成并开源,2015年5月从Apache的孵化器里毕业成为Apache顶级项目,最新的版本是1.8.1. Parquet是什么 Parquet的灵感来自于2010年Google发…

========================== 文件操作 ========================== Δ一 .plist文件 .plist文件是一个属性字典数组的一个文件: .plist文件可以用来存储:字典.数组.字符串等对象数据,可以混搭存储 [注]iOS开发中,plist文件一般用于app的配置信息 [注]ios开发工程中,允许多个plist文件共存. [注]plist文件用来存储小数据量的数据 优点:可视化以及可编辑性非常方便 plist文件的操作 // 例如 NSStr…

我搜集到了一些资料,对理解代码比较有帮助. 在头文件中binlog_event.h中,有描述 class Log_event_header class Log_event_footer 参见[Mysteries of the Binary Log Presentation.pdf] 代码见[mysql-5.7.6-m16_src.zip] MySQL binlog头4个字节:BINLOG_HEADER = b'\xfe\x62\x69\x6e' 然后我们就可以一个Event,一个Event的读取…

JSON格式解析和libjson使用简介 在阅读本文之前,请先阅读下<Rss Reader实例开发之系统设计>一文. Rss Reader实例开发中,进行网络数据交换时主要使用到了两种数据格式:JSON与XML.本文主要介绍JSON格式的简单概念及JSON在Rss Reader中的应用,XML格式的使用将在下一篇文章做介绍. JSON简介: JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,可以把JSON的结构理解成无序的.可嵌套的key-value…

转: http://www.cnblogs.com/qinjunni/archive/2012/02/23/2364446.html YUV RGB 常见视频格式解析 I420是YUV格式的一种,而YUV有packed format和planar format两种,而I420属于planar format的一种. 同时I420表示了YUV的采样比例4:2:0.4:2:0的YUV并不是说没有V分量,而是指对于每一个行,只有一个U或者V分量.比如第一行里,是YUYYUY,到了第二行是YVYYVY,那…

1.TS格式介绍 TS:全称为MPEG2-TS.TS即"Transport Stream"的缩写.它是分包发送的,每一个包长为188字节(还有192和204个字节的包).包的结构为,包头为4个字节(第一个字节为0x47),负载为184个字节.在TS流里可以填入很多类型的数据,如视频.音频.自定义信息等.MPEG2-TS主要应用于实时传送的节目,比如实时广播的电视节目.MPEG2-TS格式的特点就是要求从视频流的任一片段开始都是可以独立解码的.简单地说,将DVD上的VOB文件的前面一截c…

本来的需求是XEN下的镜像取证,但这篇仅包括他支持的一种格式,就是VHD,此项目从头开始大概用了两周时间,中间遇到了很多让人头大的问题,光是思考的笔记就写了十几页纸,不过实际上并没有那么难,主要是很久没编码了,还有很多概念没搞清楚.好吧,搬家过来的第一个博客就从这个项目开始吧. 要求: 1.解析vhd格式文件,判断合法性 2.该vhd装的文件系统是NTFS格式 3.拿到该格式下的目录结构,即包含哪些文件和目录. 4.跨平台 思路: 一.vhd格式解析 解析首先要弄懂数据结构,网上关于他的官方格式…

前不久,公司一个项目需要实现导出文档的功能,之前是一个同事在做,做了3个星期,终于完成了,但是在项目上线之后却发现导出的文档有问题,此时,这个同事已经离职,我自然成为接班者,要把导出功能实现,但是我看了他写的那个ftl文档好久,就是没看懂,上面好多<w:pPr>.<w:rPr>.<w:szCs>.<w:t>等看不懂的标签,我也是无奈,在网上搜索“freemarker导出word文档”无果,后来才知道应该搜索的是“WordXML格式解析”.下面是我在做项目的过…

一.使用poi解析excel文档 注:全部采用poi接口进行解析,不需要区分xls.xlsx格式,不需要判断文档类型. poi中的日期格式判断仅支持欧美日期习惯,对国内的日期格式并不支持判断,怎么办?所以通过日期格式判断是极其重要的手段,因为日期在excel中也是double类型的数值,所以靠类型判断是极不可靠的,但是有几种常用的日期格式(比如:yyyy-mm-dd,yy-mm-dd等)还是可以通过类型进行判断,因为它们的类型在excel中属于保留值,这点很重要,毕竟office文档想要正确显示…

一般的的YUV420图像格式实际上是Y'UV,420指的是其在Y U V上面的采样率.在YUV420的格式中,首先存储每一个像素的Y'值,然后跟着存储的是每2*2方阵采样一次的U值,最后存储的是每2*2方阵采样一次的V值.于是,一个4*4的方阵中,其数据存储为: 其颜色的存放格式如图所示: YUV格式解析 YUV格式有两大类:planar和packed. 对于planar的YUV格式,先连续存储所有像素点的Y,紧接着存储所有像素点的U,随后是所有像素点的V. 对于packed的YUV格式,每个像…

Hive 导入 parquet 数据步骤如下: 查看 parquet 文件的格式 构造建表语句 倒入数据 一.查看 parquet 内容和结构 下载地址 社区工具 GitHub 地址 命令 查看结构: java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parquet |head -n 30 查看内容: java -jar parquet-tools-1.6.0rc3-SNAPSHOT.j…

Hive 导入 parquet 格式数据 Parquet 格式文件,查看Schema Parquet 之mapreduce Hive 导入 parquet 格式数据…

1.格式 https://pkware.cachefly.net/webdocs/APPNOTE/APPNOTE-6.2.0.txt 官方文档 https://blog.csdn.net/hp910315/article/details/77717746 包含图解,但不是最新版本的格式 https://blog.csdn.net/a200710716/article/details/51644421 包含样例 https://blog.csdn.net/lianghongge/article/d…

MySQL binlog格式解析   binlog想必大家都不陌生,在主从复制或者某些情况下的数据恢复会用到.由于binlog是二进制数据,要查看一般都借助mysqlbinlog工具.这篇笔记分析了binlog格式,希望能够了解下mysqlbinlog工具背后所做的事情. 1.什么时候写binlog 在说明什么时候写binlog前,先简单介绍下binlog的用途.binlog是二进制日志文件,用于记录mysql的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据),在m…

===================================================== 视音频数据处理入门系列文章: 视音频数据处理入门:RGB.YUV像素数据处理 视音频数据处理入门:PCM音频采样数据处理 视音频数据处理入门:H.264视频码流解析 视音频数据处理入门:AAC音频码流解析 视音频数据处理入门:FLV封装格式解析 视音频数据处理入门:UDP-RTP协议解析 ===================================================…

flv文件格式分析,可参看RTMP中FLV流到标准h264.aac的转换,该文章写的很清晰. flv封装格式解析,可参看视音频数据处理入门:FLV封装格式解析,文章图文并貌,很直观. flv文件封装,可参看将h.264视频流封装成flv格式文件(一.flv格式), 将h.264视频流封装成flv格式文件(二.开始动手) 使用rtmp协议发送flv文件,可参看rtmp协议简单解析以及用其发送h264的flv文件 通过以上几篇好文,对flv文件格式,封装flv文件以及通过rtmp协议与流媒体服务器交…

日志logback格式解析 logback官网 格式解析 https://logback.qos.ch/manual/layouts.html#ClassicPatternLayout 官网格式解析有所有完整的说明.本篇只是把本人自己觉得接下来在console打印自己能用上的拿出来说一说. file日志文件中记录下来有用的,也拿出来记录下来.其余部分请大家去官网查阅即可. 一个平常打印的一条拼接格式如下: %black()等都是颜色部分,日志颜色使用请看http://www.cnblogs.co…

import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.ma…

import java.io.BufferedReader; import java.io.File; import java.io.FileReader; import java.io.IOException; import java.util.Random; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.log4j.Logger; import…

flv格式详解+实例剖析:https://www.cnblogs.com/lidabo/p/9018548.html FLV 封装格式解析:https://www.cnblogs.com/leisure_chn/p/10662941.html 分析工具:FlvAnalyzer—强大的flv文件分析工具,最下面有下载地址 FFmpeg命令行工具学习(一):查看媒体文件头信息工具ffprobe…

1. configure.ac和Makefile.am的格式解析概述 1.1. Autotools相关工具链 1.1.1. Autotools 1.1.2. 其他相关工具 1.2. 工具链的流程 1.3. autoconf 1.3.1. configure.ac文件 1.3.2. configure.ac文件的标准布局 1.3.3. configure.ac常见宏说明 1.3.5. 常用变量 1.3.4. 关于自定义宏 1.4. automake 1.4.1. Makefile.am文件 1.4…

1. 读取数据库的形式创建DataFrame DataFrameFromJDBC object DataFrameFromJDBC { def main(args: Array[String]): Unit = { // 创建SparkSession实例 val spark: SparkSession = SparkSession.builder() .appName(this.getClass.getSimpleName) .master("local[*]") .getOrCrea…

背景 MIPI CSI-2支持YUV.RGB和RAW data三种数据格式,这里是个笼统的叫法,具体又根据不同的像素打包方式细分为具体的格式,打包是什么概念?就是把Sensor采样得到的RGB三个通道的像素(Pixel)打包成字节流(Pixel-to-byte Packing),不同的格式,用来表示一个像素的比特数也不同(6 to 24 bits per pixel).像Sony的sensor,一般是支持RAW10或RAW12格式输出.下面以RAW10格式为例,做一下详细的包格式解析. MIPI…

首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQL查询和加载Hive表路径的方式.这里仅就"加载Hive表路径的方式"解析分区表字段,在处理时出现的一些问题及解决作出详细说明. 如果大家有类似的需求,笔者建议通过解析Spark SQL logical plan和下面说的这种方式解决方案结合,封装成一个通用的工具. 问题现象 sparks…

1 练习讲解(此处自己没跑通,以后debug) 题目见flink---实时项目---day02 kafka中的数据,见day02的文档 GeoUtils package cn._51doit.flink.day07; import ch.hsr.geohash.GeoHash; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONArray; import com.alibaba.fastjson.JSONObjec…

Author:Maddock Date:2015.04.22 转载请注明出处:http://www.cnblogs.com/adong7639/p/4446828.html DNG格式基本概念 DNG格式是在TIFF的基础上扩展出来的,要了解DNG,需要清楚TIFF, TIFF/EP, DNG,RAW之间的关系. TIFF/EP TIFF是一个灵活适应性强的文件格式.通过在文件标头中使用"标签",它能够在一个文件中处理多幅图像和数据.标签能够标明图像的如图像大小这样的基本几何尺寸,或者…

现在主流的配置文件格式有这么几种,xml.yaml.config…  xml就算了,太挫了,太土, 太繁琐… config 就是mysql,apache my.cnf的那种格式,这个格式适合功能分层,不适合写同级的配置端. yaml是我最喜欢的配置格式,像ansible.saltstack.puppet都是使用yaml来做配置格式.  我在以前的公司开发的平台系统用的都是yaml格式. 简练,充满张力 !!!  我在python中只用yaml格式,在golang中当然也会优先选择这门配置语言.…

相关学习资料 http://hi.baidu.com/hucyuansheng/item/bf2bfddefd1ee70ad68ed04d http://en.wikipedia.org/wiki/Instant_Messaging_and_Presence_Protocol https://www.trillian.im/impp/ http://en.wap.wikipedia.org/wiki/Presence_and_Instant_Messaging http://zh.wikiped…

AAC格式有以下两种: ADIF:Audio Data Interchange Format 音频数据交换格式.这种格式的特征是可以确定的找到这个音频数据的开始,不需进行在音频数据流中间开始的解码,即它的解码必须在明确定义的开始处进行.故这种格式常用在磁盘文件中. ADTS:Audio Data Transport Stream 音频数据传输流.这种格式的特征是它是一个有同步字的比特流,解码可以在这个流中任何位置开始.它的特征类似于mp3数据流格式. 简言之.ADIF只有一个文件头,ADTS每个…