Badger简单使用
Badger简介
badger 是 dgraph 开源的 LSMTree 的 KV 引擎,它相比 leveldb 有 KV 分离、事务、并发合并等增强,是 go 生态中比较生产级的存储引擎了。
文档:https://dgraph.io/docs/badger/get-started/
Github 地址:https://github.com/dgraph-io/badger
安装
安装 Badger
要开始使用 Badger,请安装 Go 1.12 或更高版本。
go get github.com/dgraph-io/badger/v3
注意:Badger 不直接使用 CGO,但它依赖于https://github.com/DataDog/zstd进行压缩,并且需要 gcc/cgo。如果你想在没有 gcc/cgo 的情况下使用 badger,你可以运行
CGO_ENABLED=0 go get github.com/dgraph-io/badger/…
它将下载不支持 ZSTD 压缩算法的 badger。
安装 Badger 命令行工具
从 https://github.com/dgraph-io/badger/releases下载并提取最新的 Badger DB 版本,然后运行以下命令。
cd badger-<version>/badger
go install
这会将 badger 命令行实用程序安装到您的 $GOBIN 路径中。
数据库操作
打开数据库
func Open(path string) (*badger.DB, error) {
if _, err := os.Stat(path); os.IsNotExist(err) {
os.MkdirAll(path, 0755)
}
opts := badger.DefaultOptions(path)
opts.Dir = path
opts.ValueDir = path
opts.SyncWrites = false
opts.ValueThreshold = 256
opts.CompactL0OnClose = true
db, err := badger.Open(opts)
if err != nil {
log.Println("badger open failed", "path", path, "err", err)
return nil, err
}
return db, nil
}
内存模式/无盘模式
默认情况下,Badger 确保所有数据都保存在磁盘上。它还支持纯内存模式。当 Badger 在内存模式下运行时,所有数据都存储在内存中。在内存模式下读写速度要快得多,但在崩溃或关闭的情况下,存储在 Badger 中的所有数据都会丢失。要在内存模式下打开 badger,请设置InMemory
选项。
opts := badger.DefaultOptions(path).WithInMemory(true)
关闭数据库
func Close() {
err := badgerDB.Close()
if err == nil {
log.Println("database closed", "err", err)
} else {
log.Println("failed to close database", "err", err)
}
}
存储操作
写入数据
要保存键/值对,请使用以下Txn.Set()
方法;
键/值对也可以通过首先创建来保存Entry
,然后 Entry
使用Txn.SetEntry()
. Entry
还公开了在其上设置属性的方法。
func Set(key []byte, value []byte) {
wb := badgerDB.NewWriteBatch()
defer wb.Cancel()
err := wb.SetEntry(badger.NewEntry(key, value).WithMeta(0))
if err != nil {
log.Println("Failed to write data to cache.","key", string(key), "value", string(value), "err", err)
}
err = wb.Flush()
if err != nil {
log.Println("Failed to flush data to cache.","key", string(key), "value", string(value), "err", err)
}
}
设置TTL的写入数据
Badger 允许在键上设置可选的生存时间 (TTL) 值。一旦 TTL 过去,密钥将不再可检索,并且将有资格进行垃圾收集。 可以使用和API 方法将 TTL 设置为time.Duration
值。Entry.WithTTL() Txn.SetEntry()
func SetWithTTL(key []byte, value []byte, ttl int64) {
wb := badgerDB.NewWriteBatch()
defer wb.Cancel()
err := wb.SetEntry(badger.NewEntry(key, value).WithMeta(0).WithTTL(time.Duration(ttl * time.Second.Nanoseconds())))
if err != nil {
log.Println("Failed to write data to cache.","key", string(key), "value", string(value), "err", err)
}
err = wb.Flush()
if err != nil {
log.Println("Failed to flush data to cache.","key", string(key), "value", string(value), "err", err)
}
}
读取数据
要读取数据,我们可以使用以下Txn.Get()
方法。
func Get(key []byte) string {
var ival []byte
err := badgerDB.View(func(txn *badger.Txn) error {
item, err := txn.Get(key)
if err != nil {
return err
}
ival, err = item.ValueCopy(nil)
return err
})
if err != nil {
log.Println("Failed to read data from the cache.","key", string(key), "error", err)
}
return string(ival)
}
存在键
func Has(key []byte) (bool, error) {
var exist bool = false
err := badgerDB.View(func(txn *badger.Txn) error {
_, err := txn.Get(key)
if err != nil {
return err
} else {
exist = true
}
return err
})
// align with leveldb, if the key doesn't exist, leveldb returns nil
if strings.HasSuffix(err.Error(), "not found") {
err = nil
}
return exist, err
}
删除键
使用Txn.Delete()
方法删除 key。
func Delete(key []byte) error {
wb := badgerDB.NewWriteBatch()
defer wb.Cancel()
return wb.Delete(key)
}
查询操作
遍历key和value
要迭代键,我们可以使用Iterator
,可以使用 Txn.NewIterator()
方法获得。迭代以按字节排序的字典顺序发生。
func IteratorKeysAndValues(){
err := badgerDB.View(func(txn *badger.Txn) error {
opts := badger.DefaultIteratorOptions
opts.PrefetchSize = 10
it := txn.NewIterator(opts)
defer it.Close()
for it.Rewind(); it.Valid(); it.Next() {
item := it.Item()
k := item.Key()
err := item.Value(func(v []byte) error {
fmt.Printf("key=%s, value=%s\n", k, v)
return nil
})
if err != nil {
return err
}
}
return nil
})
if err != nil {
log.Println("Failed to iterator keys and values from the cache.","error", err)
}
}
遍历keys
Badger 支持一种独特的迭代模式,称为key-only迭代。它比常规迭代快几个数量级,因为它只涉及对 LSM 树的访问,它通常完全驻留在 RAM 中。要启用仅键迭代,您需要将该IteratorOptions.PrefetchValues
字段设置为false
. 这也可用于在迭代期间对选定键进行稀疏读取,item.Value()
仅在需要时调用。
func IteratorKeys(){
err := badgerDB.View(func(txn *badger.Txn) error {
opts := badger.DefaultIteratorOptions
opts.PrefetchValues = false
it := txn.NewIterator(opts)
defer it.Close()
for it.Rewind(); it.Valid(); it.Next() {
item := it.Item()
k := item.Key()
fmt.Printf("key=%s\n", k)
}
return nil
})
if err != nil {
log.Println("Failed to iterator keys from the cache.","error", err)
}
}
前缀扫描
要遍历一个键前缀,您可以组合Seek()
and ValidForPrefix()
:
func SeekWithPrefix(prefixStr string){
err := badgerDB.View(func(txn *badger.Txn) error {
it := txn.NewIterator(badger.DefaultIteratorOptions)
defer it.Close()
prefix := []byte(prefixStr)
for it.Seek(prefix); it.ValidForPrefix(prefix); it.Next() {
item := it.Item()
k := item.Key()
err := item.Value(func(v []byte) error {
fmt.Printf("key=%s, value=%s\n", k, v)
return nil
})
if err != nil {
return err
}
}
return nil
})
if err != nil {
log.Println("Failed to seek prefix from the cache.", "prefix", prefixStr,"error", err)
}
}
Badger简单使用的更多相关文章
- badger 一个高性能的LSM K/V store
原文:https://colobu.com/2017/10/11/badger-a-performant-k-v-store/ github地址:https://github.com/dgraph-i ...
- 【造轮子】打造一个简单的万能Excel读写工具
大家工作或者平时是不是经常遇到要读写一些简单格式的Excel? shit!~很蛋疼,因为之前吹牛,就搞了个这东西,还算是挺实用,和大家分享下. 厌烦了每次搞简单类型的Excel读写?不怕~来,喜欢流式 ...
- Fabio 安装和简单使用
Fabio(Go 语言):https://github.com/eBay/fabio Fabio 是一个快速.现代.zero-conf 负载均衡 HTTP(S) 路由器,用于部署 Consul 管理的 ...
- node.js学习(三)简单的node程序&&模块简单使用&&commonJS规范&&深入理解模块原理
一.一个简单的node程序 1.新建一个txt文件 2.修改后缀 修改之后会弹出这个,点击"是" 3.运行test.js 源文件 使用node.js运行之后的. 如果该路径下没有该 ...
- 哪种缓存效果高?开源一个简单的缓存组件j2cache
背景 现在的web系统已经越来越多的应用缓存技术,而且缓存技术确实是能实足的增强系统性能的.我在项目中也开始接触一些缓存的需求. 开始简单的就用jvm(java托管内存)来做缓存,这样对于单个应用服务 ...
- 在Openfire上弄一个简单的推送系统
推送系统 说是推送系统有点大,其实就是一个消息广播功能吧.作用其实也就是由服务端接收到消息然后推送到订阅的客户端. 思路 对于推送最关键的是服务端向客户端发送数据,客户端向服务端订阅自己想要的消息.这 ...
- 我的MYSQL学习心得(一) 简单语法
我的MYSQL学习心得(一) 简单语法 我的MYSQL学习心得(二) 数据类型宽度 我的MYSQL学习心得(三) 查看字段长度 我的MYSQL学习心得(四) 数据类型 我的MYSQL学习心得(五) 运 ...
- 使用 Nodejs 搭建简单的Web服务器
使用Nodejs搭建Web服务器是学习Node.js比较全面的入门教程,因为要完成一个简单的Web服务器,你需要学习Nodejs中几个比较重要的模块,比如:http协议模块.文件系统.url解析模块. ...
- ASP.NET Aries 入门开发教程2:配置出一个简单的列表页面
前言: 朋友们都期待我稳定地工作,但创业公司若要躺下,也非意念可控. 若人生注定了风雨飘摇,那就雨中前行了. 最机开始看聊新的工作机会,欢迎推荐,创业公司也可! 同时,趁着自由时间,抓紧把这系列教程给 ...
随机推荐
- 抓取并解密HTTPS流量
WireShark Wireshark解密TLS数据流,从网上已有资料来看,主要是两种方式:一是服务端私钥直接解密,二是使用SSLKEYLOGFILE获取握手过程中的会话密钥信息进行解密. 这 ...
- 通过Dapr实现一个简单的基于.net的微服务电商系统(二十)——Saga框架实现思路分享
今天这篇博文的主要目的是分享一下我设计Saga的实现思路来抛砖引玉,其实Saga本身非常的类似于一个简单的工作流体系,相比工作流不一样的部分在于它没有工作流的复杂逻辑处理机制(比如会签),没有条件分支 ...
- 解决Springboot中的日期解析错误
错误信息: error: Failed to parse Date value '2022-01-12 15:00:00': Cannot parse date "2022-01-12 15 ...
- IDEA配置scala
IDEA中配置scala 准备:先下好IDEA和scala安装包,配置好jdk环境 scala不想去官网下载的可以直接去百度网盘下载 链接: 链接:https://pan.baidu.com/s/17 ...
- HBase学习记录-API
delete.addColumns()和delete.addColumn()的区别 /** * delete.addColumns(); * delete.addColumn(); * 区别: * a ...
- 强力推荐!五款能让你成为Excel“高手”的Excel插件
excel是大家日常生活中经常用到一款表格软件,虽然软件本身的功能已经非常齐全了,但是插件可以进一步加强软件的功能,为用户提供更好的体验,提高工作效率,需要的用户快来看看吧. 1.Smartbi 首推 ...
- ContOS 7安装Docker使用及部署MySQL和Nginx
此文章采取狂神说Java https://space.bilibili.com/95256449 Docker学习网址: Docker官网:https://www.docker.com/ Docker ...
- shell脚本读取命令行的参数
转至:https://www.cnblogs.com/eternityz/p/13879836.html 前提 在编写shell程序时经常需要处理命令行参数 选项与参数: 如下命令行: ./test. ...
- 什么是NFT?
我有一个年轻朋友,最近买了一个数字艺术品,9百多入手,几周后卖掉,赚了7万多,他告诉我这个东西叫NFT. 2021年twitter创始人杰克.多西将自己发布的第一条twitter通过NFT以250万美 ...
- 基于Kubernetes/K8S构建Jenkins持续集成平台(上)-2
基于Kubernetes/K8S构建Jenkins持续集成平台(上)-2 Kubernetes实现Master-Slave分布式构建方案 传统Jenkins的Master-Slave方案的缺陷 Mas ...