PacBio下机数据如何看?
一开始拿到三代测序的下机数据时,蒙了,readme ?三代测序的下机数据都有哪些,以及他们具体的格式是怎么样的(以sequel 平台为主)。
测序过程
SMRTbell
A adapter通用接头,两端的接头可以一样也可以不一样
B barcode(客户自己设计)
I insert 插入片段,即我们测序的目的片段
由于SMRTbell是环状的,测序过程是边合成边测序,因此可以沿着新链合成的方向不停地读取序列,读取一圈又一圈,直到聚合酶累趴下了…
测序结果
根据SMRTbell的形状以及测序的过程,我们容易知道,测序出来的reads如上图所示,由接头序列, 条码序列,
插入序列间隔线性分布,即ABIB-ABIB—ABIB-ABIB—…(A: adapter, B: barcode, I: insert)
ZMW read 是测序出来的完整结果,也即是polymerase read,聚合酶合成过的所有的序列。
PostPrimary 分析后输出HQ region,由ZMW read 去除两端低质量区域得到。
收到的测序文件
RS II
Sequel
在下机文件中,主要有三类文件,bam 文件,bam.pbi 文件,以及xml文件。
当我们习惯性的去寻找熟悉的fastq格式文件做分析时,忽然发现找不到了,因为在sequel平台中bam 文件成为了它的替代者,因为其更节约储存空间。这是文件格式的一个重大更新。
用于后续分析的文件一般是.subreads.bam,这等同于RS II 中的.subreads.fastq
下面仔细聊聊三类主要文件的具体格式,以及他们分别干什么活的。
Pacbio 的BAM 文件格式
我们平常见到的bam文件大多是比对结果文件,例如用重测序分析中BWA生成的bam文件就是reads与基因组的比对文件。但pacbio的下机文件是没有与基因组进行过比对过的,其主要作用就是储存序列。
Bam文件主要分为两个部分,头一部分是Header,储存测序的相关信息,另一部分也即是文件的主要部分是records,这里头保存了我们的序列信息。我们这里就以subreads.bam文件为例,分析下bam文件的具体格式。
可以用samtools view 命令查看bam文件
第一列:reads信息
{movieName}/{holeNumber}/{qStart}_{qEnd}
[对于CCS:{movieName}/{holeNumber}/ccs]
MovieName 是cell的名字,holeNumer是ZMW孔的编号,qStart和qEnd是subreads相对于ZMW reads的位置。
第二列 (sum of flags):比对信息 均为4 代表没有比对上,也表明了bam文件只储存了序列信息,而没有比对信息。
第三列 (RNAM):参考序列 值为 ,代表无参考序列
第四列 (position) : 比对上的第一个碱基位置 0
第五列 (Mapping quality) : 比对质量分数 255
第六列 (CIGAR值) : 比对的具体情况
第七列 (MRNM, ) : mate 对应的染色体
第八列 (mate position) : mate对应的位置 0
第九列 (ISIZE, Inferred fragment size) : 推断的插入片段大小 0
第十列 (Sequence) : 序列信息 具体的ATCG
第十一列 (ASCII码) : 碱基质量分数 ASCII+33
第十二列 : 可选区域 记录Reads 的总体属性包括信号长度,信号强度等信息。
BAM 文件分别都是些什么?
zmws.bam 以及ccs.bam似乎公司并不一定会提供
经过检查,一条zmw reads 可以产生多条 subreads,也就是说subreads.bam 中,序列只是被剪下来了。
scraps.bam 格式保存的是获取subreads时废弃的序列,包括adapter,以及一些低质量的序列
CCS.bam保存的是矫正后的一致性序列。
BAM.pbi 文件
是bam文件的索引文件(PacBio BAM index),与上一个版本(RS II)的*cmp.h5文件兼容,其格式类似于HDF5, 通过BGZF格式压缩。
其存在主要有两个作用
随机访问
通过参考序列,基因组区域
通过read 组别
通过qurey name
通过ZMW
通过barcode
其他
在无需完全访问BAM文件的情况下,获取信息
获取统计信息
通过提供index访问记录信息
XML 文件
MetaData, 储存数据描述。可用于filter 或者subset等功能。
sts.xml 储存数据的统计信息。
SMRT Link CL tools in 5.0.0 dataset命令可以进行方便的操作。
参考资料
http://pacbiofileformats.readthedocs.io/en/5.0/
PacBio下机数据如何看?的更多相关文章
- 3、PACBIO下机数据如何看
转载:http://www.cnblogs.com/jinhh/p/8328818.html 三代测序的下机数据都有哪些,以及他们具体的格式是怎么样的(以sequel 平台为主). 测序过程 SMRT ...
- PacBio下机数据解读
今天被人问起如何看懂三代的下机数据,虽然解决了别人的问题,但感觉自己还是没有搞透. 基本的目录结构: |-- HG002new_O1l_BP_P6_021315b_MB_100pM | |-- D01 ...
- pacbio 原始下机数据h5 文件简介
pacbio 采用hdf5文件格式保存原始的下机数据,对于RS 测序系统而言,会产生一个 bas.h5 的文件; 以bas.h5 文件为例,看一下有下机数据中保存了那些信息 h5dump 工具可以用来 ...
- 转载:推荐给每个“数据分析师”看的PPT——关于开会的那点事
推荐给每个“数据分析师”看的PPT——关于开会的那点事 经常对开会“深恶痛绝”,大概的原因有两个,其一,开会之前的准备,各种指标.各种分析.各种PPT,其二,开会中的板凳.废话,尤其是走形式的会议,战 ...
- 深度挖坑:从数据角度看人脸识别中Feature Normalization,Weight Normalization以及Triplet的作用
深度挖坑:从数据角度看人脸识别中Feature Normalization,Weight Normalization以及Triplet的作用 周翼南 北京大学 工学硕士 373 人赞同了该文章 基于深 ...
- Java 并发专题 :FutureTask 实现预加载数据 在线看电子书、浏览器浏览网页等
继续并发专题~ FutureTask 有点类似Runnable,都可以通过Thread来启动,不过FutureTask可以返回执行完毕的数据,并且FutureTask的get方法支持阻塞. 由于:Fu ...
- Python爬取6271家死亡公司数据,看十年创业公司消亡史
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 朱小五 凹凸玩数据 PS:如有需要Python学习资料的小伙伴可以加 ...
- 数据人看Feed流-架构实践
背景 Feed流:可以理解为信息流,解决的是信息生产者与信息消费者之间的信息传递问题.我们常见的Feed流场景有:1 手淘,微淘提供给消费者的首页商品信息,用户关注店铺的新消息等2 微信朋友圈,及时获 ...
- MySQL45讲笔记-事务隔离级别,为什么你改了数据我看不见
简单来说,事务就是要保证一组数据库操作,要么全部成功,要么全部失败.在MySQL中,事务至此是在引擎层实现的,但并不是所有的MySQL引擎都支持事务,这也是MyISAM被InnoDB取代的原因之一. ...
随机推荐
- linux实时流量监控
在类Unix系统中可以使用top查看系统资源.进程.内存占用等信息.查看网络状态可以使用netstat.nmap等工具.若要查看实时的网络流量,监控TCP/IP连接等,则可以使用iftop. 一.if ...
- distinct group by
select num from test_test group by num; 比 select distinct(num) from test_test; 效率高 select count(dis ...
- Code First use dotConnect for MySQL
http://www.dotblogs.com.tw/yc421206/archive/2014/03/24/144507.aspx dotConnect for MySQL 是一家強大的 3rd C ...
- 21. oracle游标循环例子
事例1: create or replace procedure sp_addProjectQj( ret out number, flowid in number --流程Id) ascursor ...
- 40. Linux下7-zip解压到当前目录的命令
7z x test.zip 解压到当前目录下,但保留原来的目录结构 7z e test.zip 解压到当前目录下,不保留原来的目录结构
- eclipse 乱码
svn乱码: 教你解决Eclipse中SVN比较乱码问题 workspace->utf-8设置后成功! console乱码: 项目右键 : run as configuration 设置com ...
- 如何选择 SQL Server 数据库跟操作系统版本
简介: 今天老大提需求, 需要一台 Windows 服务器, 需要安装最新版的 SQL Server 数据库.额, 上次搞 Windows 服务器还是4年前的事. 一.啥也没查, 直接下载操作系统.做 ...
- How to Pronounce EVERY
How to Pronounce EVERY Share Tweet Share Tagged With: 2-Syllable Everybody should learn the word ‘ev ...
- nstall neovim on Ubuntu 16.04
https://neovim.io/ To install NeoVim on Ubuntu, run 1 2 3 sudo add-apt-repository ppa:neovim-ppa/sta ...
- 显示Audio CD的音轨时间
uses MMSystem; procedure TForm1.Timer1Timer(Sender: TObject);var Trk : Word; Min : Word; Sec : ...