[IR] Compression

关系：Vocabulary vs. collection size

Heaps’ law: M = kT^b
M
is
the
size
of
the
vocabulary,
T
is
the
number
of tokens
in
the
collec*on

Typical
values:
30
≤
k
≤
100
and
b
≈
0.5σ

log M = log K -­ b*log T

关系：Vocabulary中每个term的量 vs. 该term的次序

Zipf’s law: cf_i = K/i

i.e. the most frequent term (the) occurs cf₁ times

The i th most frequent term has frequency proportional
to
1/i
.

log cf_i = log K -­ log i

---

• Naive state

• 压缩Dictionary 

1). Term's data单独拿出成为String形式, Terms里变为了指针，size:4B
　　11.2 → 7.6

2). Blocking。If k = 4, then 省了3个terms的空间，即3B*3-4(结束符1B)=5B 
　　7.6 → 7.1

3). Front coding, 前缀冗余。
　　7.1 → 5.9

如下：

• 压缩Posting list

1). Seq1 + 1000 = Seq3

小链表表示大链表

2). Simple9

0110（ID）， 3（三段）， 9（每段的bit数）， 1（最后的waste位的个数）。

那么，4+3*9+1 = 32byte = 4 Bit

3). Gap ( If the ave gap of a term is G)

log₂G bits/gap, 当然会用到之后的Variabe Byte codes.

4). Variable Byte codes.

增加Control Bit，那么完整的一个数据表示：（0数据，0数据，……，1最后一个数据）

5). Elias-γ code

6). Elias-δ code

7). Golomb code

暂略