NoSQL是泛指非关系型的数据库,现今在我们的项目中也多有使用,其独特的优点为我们的项目架构带来了不少亮点,而我们这里的主角(MongoDB)则是NoSQL数据库家族中的一种.事实上,NoSQL数据库的应用场景有很多,其最主要的目的就是为了能解决大规模数据集合多重数据种类带来的困难,及大数据应用的难题. MongoDB MongoDB是一个开源的文档型数据库,由C++语言编写,采用分布式的文件存储方案,而文件的存储格式为BSON.MongoDB支持的数据类型有很多种,如:String.Int.F

支持MySql的数据库自动分表工具DBShardTools发布 前段时间参与了公司的一个项目,这个项目的特点是数据量.访问量都比较大,考虑使用数据库水平分表策略,Google了大半天,竟然没有找到分表工具.于是自己写了个数据库水平分表工具,支持MS Sql Server和 MySQL,对MYSQL支持比较好. 下面介绍下分表工具的使用方法. 首先是设置数据库连接界面 输入连接名称(也可以点击右边的选择框,从之前保存的连接中选择),选择数据库类型(目前支持Mysql和Sql Server),输入i

create table TempComments Like dycomments; 上述 SQL语句创建的新表带有原表的所有属性,主键,索引等. 自动分表怎么做呢? 使用上述语句自动创建分表. 那么ID怎么设置呢? 更改表格自增主键的起始值 例如 表格为  xxx_201604 那么将起始值设为201604000000000000000 //具体操作 1.创建模板表格,如上述Sql语句 2.设置Mysql 允许执行事件 SET GLOBAL event_scheduler = 1; 3.创建事

前言 最近用Asp.net Core开发程序的时候 因为时间的关系,就没有过多的去关注日志方面的功能 都是直接用系统的ILogger先记录着,然后看日志的时候就先在命令行看日志 在开发阶段没有什么问题,但是到了系统上线后 总不能一直在命令行看日志.总要把日志输出到一个方便查看的地方 开始 直接引用NLog.Web.AspNetCore组件 然后编写nlog.config文件放到程序的根目录 <?xml version="1.0" encoding="utf-8"

http://blog.zol.com.cn/2210/article_2209590.html /** * 分表程序 *  * @author Shen Xi shen.xi@zol.com.cn * @date 2010-08-19 */set_time_limit(0);$con = mysql_connect("127.0.0.1","root","111111");#创建数据库连接mysql_select_db ("test&

工作上遇到的问题,网上找了一些资料 整理了一个比较可行的解决方案. NPOI 大数据量分多个sheet导出 代码段 /// <summary> /// DataTable转换成Excel文档流,并输出到客户端 /// </summary> /// <param name="table"></param> /// <param name="response"></param> /// <pa

/// <summary> /// 由DataTable导出Excel[超出65536自动分表] /// </summary> /// <param name="sourceTable">要导出数据的DataTable</param> /// <returns>Excel工作表</returns> public MemoryStream ExportDataTableToExcel(DataTable source

问题的提出 在项目中,有些表的记录增长非常快,记录数过大时会使得查询变得困难,导致整个数据库处理性能下降.此时,我们会考虑按一定的规则进行分表存储. 常用的分表方式是按时间周期,如每月一张,每天一张等.当每月或每天首条记录到达时,根据表结构创建该周期为后缀的表进行存储. 相关考虑 这其中主要考虑两个问题: (1)如何复制表 采用分表机制,通常会建立一个模板表.所谓模板表,是只定义结构不存储数据的,也可称之为类表,而分表,通常会以增加后缀的方式命名,如 log_201901,分表实际存储数据,可称

/** * 记录网站日志 * * @return bool */ public function record() { // 组装数据 $log = self::$param; $log[self::METHOD] = strtoupper($log[self::METHOD]); $data = self::$data; // 截取一部分数据,避免数据太大导致存储出错,比如文章发布提交的数据 ) { foreach ($data as &$v) { if (is_string($v)) { $

EFCore.Sharding(EFCore开源分表框架) 简介 引言 开始 准备 配置 使用 按时间自动分表 性能测试 其它简单操作(非Sharing) 总结 简介 本框架旨在为EF Core提供Sharding(即读写分离分库分表)支持,不仅提供了一套强大的普通数据操作接口,并且降低了分表难度,支持按时间自动分表扩容,提供的操作接口简洁统一. 源码地址:EFCore.SHarding 引言 读写分离分库分表一直是数据库领域中的重难点,当数据规模达到单库极限的时候,就不得不考虑分表方案.EF

ShardingCore ShardingCore 是一个支持efcore 2.x 3.x 5.x的一个对于数据库分表的一个简易扩展, 目前该库暂未支持分库(未来会支持),仅支持分表,该项目的理念是让你可以已最少的代码量来实现自动分表的实现,经过多个开源项目的摸索参考目前正式开源本项目 项目地址 github 喜欢的朋友可以点下star Thanks♪(･ω･)ﾉ 依赖 Release EF Core .NET Standard .NET (Core) Sql Server Pomelo.Ent

一.疑问&目的 1.1 分表使用场景 (1)可扩展架构设计,比如一个ERP用5年不卡,到了10就卡了因为数据太多了,这个时候很多人都是备份然后清空数据,这个工作大并且麻烦,以前的数据很难在使用 (2) 数据量太多 ,例如每天都有 几十上百万的数据进入库,如果不分表后面查询将会非常缓慢 (3)   性能瓶颈 ,比如我插入超过1个亿很多索引会莫名失效,性能缓存,具体原因很难排查,有分表功能,我就能知道插入哪个表,这样我只对一个分表进行插入性能是成倍增长 1.2  我的目的 说到ORM很多会想到EF

1 学习计划 1.业务受理需求分析 n 业务通知单 n 工单 n 工作单 2.创建业务受理环节的数据表 n 业务通知单 n 工单 n 工作单 3.实现业务受理自动分单 n 在CRM服务端扩展方法根据手机号查询客户信息 n 在CRM服务端扩展方法根据取件地址查询定区id n 调整业务受理页面回显客户信息 n 实现自动分单 4.数据表格编辑功能使用方法 5.工作单快速录入 2 业务受理需求分析 整个BOS项目分为基础设置.取派.中转.路由.报表等几大部分. 受理环节,是物流公司业务的开始,作为服务前

脚本功能: 1. 将指定的报告文件按照指定的字段.切库切表策略切分 2. 将切分后的文件并发导入到对应的Mongodb中 3. 生成日志文件和done标识文件 使用手册: -h    打印帮助信息,并退出"; -f     需要切分的数据文件"; -g    清理昨日或历史全部数据: 1 昨日数据  2 历史全部数据"; -k     拆分字段在文件中列数,从1开始"; -o    需要切分的数据文件格式 tsv或csv "; -d    切分的库数目&q

上一节我们是手动配置数据源的,直接在java代码里写数据库的东西,这操作我个人是不喜欢的.我觉得这些东西就应该出现在application.yml文件中. 还有,万一我们的项目在使用之后,突然需要改变分库分表规则了.我们还要去停服更新.这里有人要说了,你改application.yml文件,你也要停服更新呐! 当然,如果我们的项目不是分布式的,就一单体项目,我们停服更新下也很快的,没多大影响!但是我们如果都用到分库分表了,那通常来说,这个项目基本是分布式系统,就是说我们用了springCloud

问题描述 ThinkPHP3.1.3 当使用TP的分库分表后 有些地方需要使用Model自动验证create,当验证唯一性unique会出现BUG, 具体描述 因为自动验证检测唯一性会使用隐式的使用find方法,同时find方法会清空重置options, $this->options = []; 这样就清除了分表的表名, 当create后再执行add或者save的操作会提示找不到表名, 解决方案 当然先再调用create之前先设置分表的一些信息,然后create后再次设置一次,会有点麻烦. 从T

教程预览 01 | 前言 02 | 简单的分库分表设计 03 | 控制反转搭配简单业务 04 | 强化设计方案 05 | 完善业务自动创建数据库 说明 这节来把基础的业务部分完善一下. 因为 IQueryable的问题我们还是先把 IDbRepository 换成 ISqlSugarRepository来使用 private readonly ISqlSugarRepository<EasyLoggerProject,int> _repository; AutoMapper 和 Swagger

教程预览 01 | 前言 02 | 简单的分库分表设计 03 | 控制反转搭配简单业务 04 | 强化设计方案 05 | 完善业务自动创建数据库 06 | 最终篇-通过AOP自动连接数据库-完成日志业务 前言 这周比较忙,这篇来的有点迟到,不过我们要讲的东西是非常精彩的,通过之前的文章我们的设计已经完成,而且完成了 ProjectController 的业务操作,成功生成了分库的日志数据库和表,那么在操作日志 Controller 的时候,我们如何来连接多个数据库 和 多张表呢. 理论讲解 首先

每当跨月的时候也是系统出问题最多的时候,没有表和字段缺失是两个最常见的错误. 为了解决这个问题,研究了一下mysql的 information_schema 表: information_schema这张数据表保存了MySQL服务器所有数据库的信息.如数据库名,数据库的表,表栏的数据类型与访问权限等. 再简单点,这台MySQL服务器上,到底有哪些数据库.各个数据库有哪些表,每张表的字段类型是什么,各个数据库要什么权限才能访问,等等信息都保存在information_schema表里面. OK!事

数据库分片(shard)是一种在数据库的某些表变得特别大的时候采用的一种技术. 通过按照一定的维度将表切分,可以使该表在常用的检索中保持较高的效率,而那些不常用的记录则保存在低访问表中.比如:销售记录按照时间来切分.(横向切分) 也可以根据地域进行拆分,使得每个地区访问自己的表从而进行负载均衡.(纵向切分) 也可以纵横切分,使表拆的更细致. 也可以分库,让不同的数据存放在不同的服务器上,从而进一步均衡负载. 当遇到这样的事情的时候,如果不是采用了MongoDB这种自动拆表的工具,一般来说,都要自