DB目录总大小：2468MB

所有buckets的meta信息在.bucketManifest文件里：

id,path,"raw_size","event_count","host_count","source_count","sourcetype_count","size_on_disk",modtime,"frozen_in_cluster","origin_site","tsidx_minified","journal_size"
"main~0~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481515116_1480695302_0",18823156,110730,1,9,4,13713408,1481524286,0,"",0,3134751
"main~1~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481537316_1481532688_1",2310579,21809,1,2,4,258048,1481537634,0,"",0,16228
"main~2~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481547598_1481539988_2",159000000,1500000,1,1,1,14442496,1481548381,0,"",0,1087536
"main~3~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481617470_1481613403_3",116995120,251105,1,1,1,81010688,1481619151,0,"",0,48120454
"main~4~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481623046_1481619179_4",229333894,502002,1,1,1,126242816,1481630588,0,"",0,92507094
"main~5~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481632042_1481631975_5",931797403,501000,1,1,1,457887744,1481679128,0,"",0,344072139
"main~6~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481679220_1481679167_6",814813719,250000,1,1,1,388202496,1481709892,0,"",0,295944721
"main~7~077F3E61-250B-400C-A192-5866B2C3E1C5","db_1481714661_1481713606_7",3259545592,1000000,1,1,1,1505009664,1482572307,0,"",0,1183963998

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm *|sort -n
1 CreationTime
1 db_1481537316_1481532688_1
1 GlobalMetaData
14 db_1481515116_1480695302_0
14 db_1481547598_1481539988_2
78 db_1481617470_1481613403_3
121 db_1481623046_1481619179_4
371 db_1481679220_1481679167_6
437 db_1481632042_1481631975_5
1436 db_1481714661_1481713606_7

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm */rawdata/*.gz | sort -n
1 db_1481537316_1481532688_1/rawdata/journal.gz
2 db_1481547598_1481539988_2/rawdata/journal.gz
3 db_1481515116_1480695302_0/rawdata/journal.gz
46 db_1481617470_1481613403_3/rawdata/journal.gz
89 db_1481623046_1481619179_4/rawdata/journal.gz
283 db_1481679220_1481679167_6/rawdata/journal.gz
329 db_1481632042_1481631975_5/rawdata/journal.gz
1131 db_1481714661_1481713606_7/rawdata/journal.gz

bone@PEK1000074003:~/splunk/var/lib/splunk/defaultdb/db$ du -sm */*.tsidx
8 db_1481515116_1480695302_0/1481365442-1480695302-4858607897345416099.tsidx
1 db_1481515116_1480695302_0/1481515116-1481414314-4858898005396109713.tsidx
1 db_1481537316_1481532688_1/1481537316-1481532688-4860330036580586334.tsidx
12 db_1481547598_1481539988_2/1481546898-1481539988-4861034339343340051.tsidx
2 db_1481547598_1481539988_2/1481547534-1481546898-4860978970915735908.tsidx
1 db_1481547598_1481539988_2/1481547598-1481547534-4861034307055557201.tsidx
26 db_1481617470_1481613403_3/1481617470-1481613403-4865563935922009229.tsidx
3 db_1481617470_1481613403_3/1481617470-1481617458-4865672332245509206.tsidx
32 db_1481623046_1481619179_4/1481619389-1481619179-4865689731273799190.tsidx
1 db_1481623046_1481619179_4/1481623046-1481621223-4866421882884289834.tsidx
88 db_1481632042_1481631975_5/1481632034-1481631975-4866516891972181121.tsidx
17 db_1481632042_1481631975_5/1481632042-1481632011-4866518975138178595.tsidx
74 db_1481679220_1481679167_6/1481679215-1481679167-4869608890403912436.tsidx
11 db_1481679220_1481679167_6/1481679220-1481679210-4871619145803575804.tsidx
1 db_1481679220_1481679167_6/1481679220-1481679220-4871619114239737472.tsidx
291 db_1481714661_1481713606_7/1481714656-1481713606-4928138373543453009.tsidx
10 db_1481714661_1481713606_7/1481714661-1481714639-4928137267800912859.tsidx

发现其索引文件占用很小约总大小的1/4 而数据文件占用了3/4

再测试了下：

而通过看rawdata数据文件可知，它是直接将日志数据append到一个文件 对该文件采用gz压缩方式来降低存储空间

测试说明：splunk6.5版本，数据使用500次批量插入，每批数据都不同，大小500条，每条数据50个字段，对应的字符串使用长度为1-10个单词随机生成！

slplunk原始数据和索引数据大小比较的更多相关文章

  1. 查询mysql数据库表的信息（表大小、数据大小、索引大小）

    select * from information_schema.TABLES where information_schema.TABLES.TABLE_SCHEMA='databasename' ...

  2. Mysql表大小数据大小索引大小查询

    SELECT CONCAT(ROUND((INDEX_LENGTH+DATA_LENGTH)/1024/1024, 2), 'MB') AS '总大小',CONCAT(ROUND(DATA_LENGT ...

  3. Mysql大概1700W大表删除1000W左右数据，发现数据大小和索引大小并没有减少思考

    MySQL删除操作其实是假删除 因为近期在重构优化一个业务的时候 发现有一张表(send_log)数据量将近1700W 左右  占用数据大小17G,索引18G左右  而我们的核心应用在使用的时候 会去 ...

  4. mysql查询表的数据大小

    在需要备份数据库里面的数据时,我们需要知道数据库占用了多少磁盘大小,可以通过一些sql语句查询到整个数据库的容量,也可以单独查看表所占容量. 1.要查询表所占的容量,就是把表的数据和索引加起来就可以了 ...

  5. [转] MySQL 查询表数据大小的总结

    一:关于mysql表数据大小 我们知道mysql存储数据文件一般使用表空间存储 当mysql使用innodb存储引擎的时候,mysql使用表存储数据分为共享表空间和独享表空间两种方式 ·共享表空间:I ...

  6. 企业级搜索引擎Solr 第三章 索引数据（Indexing Data）[1]

    转载:http://quweiprotoss.wap.blog.163.com/ Push data to Solr or have Solr pull it 尽管一个应用通过HTTP方式与Solr通 ...

  7. ES 18 - (底层原理) Elasticsearch写入索引数据的过程 以及优化写入过程

    目录 1 Lucene操作document的流程 1.1 添加document的流程 1.2 删除document的流程 2 优化写入流程 - 实现近实时搜索 2.1 流程的改进思路 2.2 设置re ...

  8. MySQL 性能优化--优化数据库结构之优化数据大小

    MySQL性能优化--优化数据库结构之优化数据大小   By:授客  QQ:1033553122 尽量减少表占用的磁盘空间.通常,执行查询期间处理表数据时,小表占用更少的内存. 表列 l   尽可能使 ...

  9. 企业级搜索引擎Solr 第三章 索引数据（Indexing Data）[1] (转)

    Index Data Author: David Smiley Eric Pugh 译者:Koala++ / 屈伟 在这一章中我们将了解如何将数据传入Solr.这个传入的过程称之为索引,尽管中间还包含 ...

随机推荐

  1. v-for产生的列表，实现active的切换

    v-for生成序列 <ul> <li v-for="(info,index) in list" :key="info.id" @click=& ...

  2. zabbix3.0升级到4.0

    升级步鄹: 3.0->3.2 1.停服务 service zabbix-server stop 2.备份配置文件 #cp /etc/zabbix/zabbix_server.conf /data ...

  3. ASP.NET Core 入门笔记9，ASP.NET Core + Entity Framework Core 数据访问入门

    一.前言 1.本教程主要内容 ASP.NET Core MVC 集成 EF Core 介绍&操作步骤 ASP.NET Core MVC 使用 EF Core + Linq to Entity ...

  4. 快速搭建WordPress博客

    博主在看了朋友的博客后 决定也搭建一个wordPress 博客 思路 1.购买服务器 2.Cenots环境配置 3.安装wordpress 工具 推荐使用 Xshell 6,当然也可以用其他 服务器推 ...

  5. DHCP服务+PXE自动安装系统

    DHCP服务+PXE自动安装系统 DHCP安装 安装DHCP服务器 yum install dhcp -y 安装完dhcp默认无法启动,需要编辑配置文件设置分配地址范围等相关信息,服务器自身IP地址要 ...

  6. JavaScript控制输入框只能输入中文，英文和数字的组合，其他字符不能输入的校验

    if(!/^[A-Za-z0-9\u4e00-\u9fa5]+/.test(value)){ alert('不能输入非法字符') }

  7. MySQL_数据查询

    目录 1.查看数据的两种方法 2.查看数据并进行筛选(where) 3.不查看重复记录(distinct),空值,非空值 5.查看指定行(limit) 6.模式匹配(like) regexp 6.范围 ...

  8. python 爬虫 基于requests模块发起ajax的post请求

    基于requests模块发起ajax的post请求 需求:爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定某个城市地点的餐厅数据 点击肯德基餐厅查 ...

  9. uboot传递参数'console=ttyXXX'的作用

    转载于:http://blog.csdn.net/jgdu1981/article/details/8643057 linux启动时uboot传递进console=ttyS0,115200n8的参数 ...

  10. Less学习（1）

    写在开头的话: 月余前被问起会不会Less,当时就有想学这个css框架的念头,而在昨天,在前端乱炖上看到一篇LessCss的开篇介绍,忽然就有了一股立马去学的冲动,回到家后找了几篇文章看了下,初感觉比 ...