Level DB 小调研

一. 概况: 1. 背景: 随着信息技术的高速发展,数据存储量和流量呈现爆炸式增长.目前百度统计日 PV(日点击量)已超过 75 亿次,中国网民在百度上进行50 亿次的搜索请求,百度贴吧日 PV 十亿,每天发帖三千多万:百度知道为中国网民解决了2.3亿个问题,日均 PV4.17 亿.百度的数据总量已接近几千个PB,每天要响应几百万次的搜索请求,每天处理 100PB 数据. 如此庞大的数据量给数据储存系统带来了巨大挑战,单机PC基本无法处理如此大量的PB级数据,分机存储成为大势所趋,于是自上世纪便…

屠龙之路_击败DB小boss_FifthDay

摘要:服务器大魔王被击败的消息传到了恶龙boss那里,恶龙大怒派出了自己的首级大将DB人称小boss,但小boss的名号并没有吓到七位屠龙勇士,经过他们齐心协力的进攻,最终击败了DB,小boss临死前依稀看到七位勇士手里个拿着一本传说中的武功秘籍,封面面印着着大大四个字--软件工程 Fighing!突破小boss数据库交流心得体会击败小boss经历逸超:完成教师模块.学生模块的界面逻辑串联少铭:完成json解析以及生成工具家俊:实现志愿填写接口和设置选题接口,然后整理了一下json用法…

SQLite 小调研

一. 概况: SQLite 是 D. Richard Hipp 于 2000 年采用 C 语言编写的一个轻量级.跨平台的关系型数据库,支持大部分 SQL92 标准(比如视图.事务.触发器.blob 数据类型等),支持弱类型数据存储,开源免费,现已被嵌入最新的 PHP5 中.在 SQLite的官方网站上,也可以看到 SQLite 逐渐被许多大公司采用,比如 Adobe.Apple.Firefox.Google.Sun.Symbain 等. 它具有以下优点: ① 轻量级:SQLite 为进程内…

trove，测试，db小解析

# Copyright 2014 Tesora Inc.# All Rights Reserved.## Licensed under the Apache License, Version 2.0 (the "License"); you may# not use this file except in compliance with the License. You may obtain# a copy of the License at## http://www.apache.o…

MySQL 小调研

一. 概况: MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,目前属于 Oracle 旗下产品.MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的RDBMS(Relational Database Management System,关系数据库管理系统) 应用软件. 作为关系数据库,MySQL将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性.和其它数据库相比,MySQL的架构可以在多种不同场景中…

关于level DB的相关资料

可以参考: http://blog.csdn.net/houzengjiang/article/details/7718548 http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html…

Fog of War小调研

看起来LOL和DOTA2都用的是格子来做的战争阴影,并且是用PP做的.…

Redis 小调研

一. 概况: Redis是一款开源的.网络化的.基于内存的.可进行数据持久化的Key-Value存储系统.它的数据模型建立在外层,类似于其它结构化存储系统,是通过Key映射Value的方式来建立字典以保存数据,有别于其它结构化存储系统的是,它支持多类型存储,包括String.List.Set.Sortset和Hash等,你可以在这些数据类型上做很多原子性操作. 在操作方面,Redis基于TCP协议的特性使得它可以通过管道的方式进行数据操作,Redis本身提供了一个可连接Server的客户端,通过…

Neo4j 小调研

一. 概况: 在图计算中,基本的数据结构表达式是:G= ( V,E ),V=vertex( 节点 ),E=edge(边) .图数据库中数据模型主要以节点和关系(边)来体现,也可以处理键值对.数据具有如下特征: ① 包含节点和边. ② 节点上有属性(键值对). ③ 边有名字和方向,并总是有一个开始节点和结束节点. ④ 边也可以有属性. 把点.边(关系).属性联系到一起就能描述出一个图.下图展示了一张作者合作关系社交图谱(该图基于MDLayout改进算法生成).每个作…

Elastic Search 小调研

一.概况: Elastic Search 是一个基于Apache Lucene™工具包的开源搜索引擎.无论在开源还是专有领域,Lucene 可以被认为是迄今为止最先进.性能最好的.功能最全的搜索引擎库.但是,Lucene 只是一个库.想要使用它,你必须使用 Java 来作为开发语言并将其直接集成到你的应用中,更糟糕的是,Lucene 非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的. Elastic Search 也使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜…

小波学习之一（单层一维离散小波变换DWT的Mallat算法C++和MATLAB实现） ---转载

1 Mallat算法离散序列的Mallat算法分解公式如下: 其中,H(n).G(n)分别表示所选取的小波函数对应的低通和高通滤波器的抽头系数序列. 从Mallat算法的分解原理可知,分解后的序列就是原序列与滤波器序列的卷积再进行隔点抽取而来. 离散序列的Mallat算法重构公式如下: 其中,h(n).g(n)分别表示所选取的小波函数对应的低通和高通滤波器的抽头系数序列. 2 小波变换实现过程(C/C++) 2.1 小波变换结果序列长度小波的Mallat算法分解后的序列长度由…

Alpha Level (Significance Level)

1.Alpha Level (Significance Level,显著水平): What is it? 显著性水平α是指当零假设是正确的,但做出了错误决策的概率(即一类错误的概率).Alpha水平(有时称为“显著性水平”)用于假设测试.通常,这些测试的alpha值为0.05(5%),但是其他常用的值是0.01和0.10. The significance level α is the probability of making the wrong decision when the null…

分布式数据库Google Spanner原理分析

Spanner 是Google的全球级的分布式数据库 (Globally-Distributed Database) .Spanner的扩展性达到了令人咋舌的全球级,可以扩展到数百万的机器,数已百计的数据中心,上万亿的行.更给力的是,除了夸张的扩展性之外,他还能同时通过同步复制和多版本来满足外部一致性,可用性也是很好的.冲破CAP的枷锁,在三者之间完美平衡. Spanner是个可扩展,多版本,全球分布式还支持同步复制的数据库.他是Google的第一个可以全球扩展并且支持外部一致的事务.Spann…

全球级的分布式数据库 Google Spanner原理

开发四年只会写业务代码,分布式高并发都不会还做程序员?->>> Google Spanner简介 Spanner 是Google的全球级的分布式数据库 (Globally-Distributed Database) .Spanner的扩展性达到了令人咋舌的全球级,可以扩展到数百万的机器,数已百计的数据中心,上万亿的行.更给力的是,除了夸张的扩展性之外,他还能同时通过同步复制和多版本来满足外部一致性,可用性也是很好的.冲破CAP的枷锁,在三者之间完美平衡. Spanner是个可扩展…

Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]

目录 [TOC] 1.CDH介绍 1.1.什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装. Cloudera-Managerceql(本文中简称CM)是一个工具,CM能够管理一个大的Hadoop cluster并不是一只要下载tar files什么压缩并启动services这么简单.后续有非常多设定.监控等麻烦的事要处理,CM都能够做到,有些类似Casti.Cloudera Manager整合了一列的功能让系统…

Oracle优化网上常见的5个错误观点

最近系统的研究了一下ORACLE SQL语句性能调优,在此大言不惭的得出一个观点——网上很多性能调优的结论都是错误的或者不周全的.现在的DBA大牛些都太低调了,不出来斧正一下,小弟来借这个机会吐槽一下,说的不对,欢迎拍砖,特别是版本问题: 转入正题:网络上大部分结论“可能”适用于ORACLE8或者以前版本(小弟出道晚没见过ORACLE 8),但是针对9i及以后的版本,很多结论都是欠周全的. 下面举几个最常见的问题: 错误观点1.什么时候用IN 什么时候用EXISTS? 子查询数据量少用IN 量多…

java框架之SpringBoot(2)-配置

规范 SpringBoot 使用一个全局的配置文件,配置文件名固定为 application.properties 或 application.yml .比如我们要配置程序启动使用的端口号,如下: server.port=8081 application.properties server: port: 8081 application.yml 配置文件一般放在 src\main\resources 目录或者 classpath:config 下. .yml后缀的文件是 YAML(YAML Ai…

Python基础(协程函数、内置函数、递归、模块和包)-day05

写在前面上课第五天,打卡: 凭着爱,再回首: 一.协程函数(生成器:yield的表达式形式) 1.yield 的语句形式: yield 1 - 这种方式在 Python基础(函数部分)-day04 里面详细介绍过,这里不再赘述: 2.yield 的表达式形式: x=yield - 示例1:使用 next() 方法调用生成器执行,没有给yield传值: def deco(func): # 定义了一个装饰器 def wrapper(*args,**kwargs): res = func(*args…

nano-sql.js的基本操作

nano-sql是一个小而快的数据库引擎, 他支持联合查询, 分组, 事务, ORM等功能, 支持内存, indeedDB, Local Storage, WebSQL, Level DB 注意第一种写法和第二种写法的区别 <script src="https://cdn.jsdelivr.net/npm/nano-sql@1.5.3/dist/nano-sql.min.js"></script> <script> nSQL('users') //…

Node.js 操作Mongodb

Node.js 操作Mongodb1.简介官网英文文档 https://docs.mongodb.com/manual/ 这里几乎什么都有了MongoDB is open-source document database that provides high performance , high availability , and automatic scaling.MongoDB是一个开源的文档数据库,提供高性能.高可用性.自动缩放2.安装详细的安装相关信息,比如支持哪些系统,32位和6…

mongodb的高级查询

db的帮助文档输入:db.help(); db.AddUser(username,password[, readOnly=false]) 添加用户 db.auth(usrename,password) 设置数据库连接验证 db.cloneDataBase(fromhost) 从目标服务器克隆一个数据库 db.commandHelp(name) returns the help for the command db.copyDatabase(fromdb,t…

Hyperledger Fabric架构详解

区块链开源实现HYPERLEDGER FABRIC架构详解区块链开源实现HYPERLEDGER FABRIC架构详解 2018年5月26日陶辉 Comments 10 Comments hyperledger fabric是区块链中联盟链的优秀实现,主要代码由IBM.Intel.各大银行等贡献,目前v1.1版的kafka共识方式可达到1000/s次的吞吐量.本文中我们依次讨论:区块链的共通特性.fabric核心概念.fabric的交易执行流程.本文来源于笔者欲对公司部分业务上链而进行培训的P…

《LSM算法原理》

记内存中的树为T0, 硬盘上的树按时间顺序,记做T1, ..., Tk 读: T0 Tk -> Tk-1 -> ... -> T0 写 T0 T0超过一定大小后,插入硬盘变为Tk+1 复杂度读:最坏需要读k+1棵树,所以需要定期合并,从而使得只有常数棵树. 写:T0需要O(log)次操作,T0写入硬盘是Append-only的. 比较B+-Tree和LSM-Tree,可以发现对于Scan,前者需要O(logN)次查找,而后者只需要O(k)次(Ti的大小和N无关). 原理上,无论是B+-…

数据集成、变换、归约及相关MATLAB工具箱函数

数据预处理的主要内容包括数据清洗.数据集成.数据变换和数据规约,在数据挖掘的过程中,数据预处理工作量占到了整个过程的60%.数据清洗在上一篇博客中写过,这里主要写后面三部分. 数据集成数据挖掘需要的数据往往分布在不同的数据源中,数据集成就是将多个数据源合并存放在一个一致的数据存储(如数据仓库)中的过程. 在数据集成时,来自多个数据源的现实世界实体的表达形式是不一样的,有可能不匹配,要考虑实体识别问题和属性冗余问题,从而将源数据在最低层上加以转换.提炼和集成. 1.实体识别同名异义.异名同义.…

【神经网络与深度学习】Leveldb的一些具体操作说明

本文转自 http://blog.csdn.net/poweruser5956/article/details/7727325 Leveldb概述 leveldb提供了持久的键值对的存储.key和value为任意的字节数组.键的存储是有序的,可以通过用户自定义的比较函数进行排序. 打开数据库 leveldb数据库的名字和文件系统目录是一致的.所有数据库的内容都存放在这个文件系统的目录下.下面的实例展示了如何打开leveldb数据库,如果没有则会自动创建. #include <assert> #…

区块链开源实现hyperledger fabric架构详解

hyperledger fabric是区块链中联盟链的优秀实现,主要代码由IBM.Intel.各大银行等贡献,目前v1.1版的kafka共识方式可达到1000/s次的吞吐量.本文中我们依次讨论:区块链的共通特性.fabric核心概念.fabric的交易执行流程.本文来源于笔者欲对公司部分业务上链而进行培训的PPT,故图多文字少,不要怕太长. 1.区块链解决方案的特性1.1 分布式帐本区块链核心概念是分布式帐本,就像下面的图1所示,同样的帐本(全量的交易数据,详见下节)在任意一台节点(不包括客户端…

Redis（八）：zset/zadd/zrange/zrembyscore 命令源码解析

前面几篇文章,我们完全领略了redis的string,hash,list,set数据类型的实现方法,相信对redis已经不再神秘. 本篇我们将介绍redis的最后一种数据类型: zset 的相关实现. 本篇过后,我们对redis的各种基础功能,应该不会再有疑惑.有可能的话,我们后续将会对redis的高级功能的实现做解析.(如复制.哨兵模式.集群模式) 回归本篇主题,zset.zset 又称有序集合(sorted set),即是序版本的set.经过上篇的介绍,大家可以看到,redis的读取功能相当…