一.背景 自2014年大数据首次写入政府工作报告,大数据已经发展7年.大数据的类型也从交易数据延伸到交互数据与传感数据.数据规模也到达了PB级别. 大数据的规模大到对数据的获取.存储.管理.分析超出了传统数据库软件工具能力范围.在这个背景下,各种大数据相关工具相继出现,用于应对各种业务场景需求.从Hadoop生态的Hive, Spark, Presto, Kylin, Druid到非Hadoop生态的ClickHouse, Elasticsearch,不一而足... 这些大数据处理工具特性不同,

使用Linq to sql自动生成实体类时,如果要生成多个库的实体类,往往会遇到类名重名的情况,也就是表名重名,这样编译会不通过,这种情况下要在自动生成的实体类文件中(.designer.cs后缀)将其中一个的类名修改,同时还有它的构造函数名,一共修改这两个地方就可以了.

SQL审核与执行,作为DBA日常工作中相当重要的一环,一直以来我们都是通过人工的方式来处理,效率低且质量没办法保证.为了规范操作,提高效率,我们决定引入目前市面上非常流行的SQL自动审核工具Inception. 花了一周看了inception官方文档并搭建了测试环境简单测试,又花了3天写了webui(内部起名叫overmind,以下也简称overmind),目前正在进行各种测试以及手册的编写,还未正式跟我们的流程结合起来投入使用,后续正式使用后再更新使用经验. Inception github:

sql自动增长标识   对于一个设了自动增长标识的数据表来说,它的字段的值是由数据库自动设置的:这在导数据时很麻烦.   当我们导数据时,我们往往想想将标识字段的数据也导进来,怎么办呢?   方法有两种: 1.用数据库管理工具在界面将表的自动增长标识去除,导完数据,再在界面里改回来.(这种方法麻烦,且要动数据表设置中,不推荐)   2.用SET IDENTITY_INSERT OFF和SET IDENTITY_INSERT ON(推荐这种方法)   SET IDENTITY_INSERT [ d

最近在做Silverlight项目,结合使用了WCF RIA service,通过linq to sql自动生成model类型,使用起来非常方便.具体可见linq to sql之silverlight. 但是,这其中可能会发生一个比较奇怪的问题:在silverlight客户端无法访问在WCF服务端已经定义的类型. 解决办法: 添加一个返回全部实体的方法,重新编译.发布,并在客户端重新引用,便可解决.

SQL审核与执行,作为DBA日常工作中相当重要的一环,一直以来我们都是通过人工的方式来处理,效率低且质量没办法保证.为了规范操作,提高效率,我们决定引入目前市面上非常流行的SQL自动审核工具Inception.花了一周看了inception官方文档并搭建了测试环境简单测试,又花了3天写了webui(内部起名叫overmind,以下也简称overmind),目前正在进行各种测试以及手册的编写,还未正式跟我们的流程结合起来投入使用,后续正式使用后再更新使用经验. Inception github:h

在影响系统稳定性的各种因素中,慢 SQL 是相对比较致命的,可能会导致 CPU.LOAD 异常.系统资源耗尽.线上生产环境出现慢 SQL 往往有很多原因: 硬件问题.如网络速度慢,内存不足,I/O 吞吐量小,磁盘空间满等. 没有索引或者索引失效. 数据过多. DevOps 后没有专业的 DBA 对 SQL 代码进行 review,在项目初期没有对 SQL 的性能做很好的考量.严重的慢 SQL 发生后可能会拖垮整个数据库,对线上业务产生阻断性的风险.AHAS 流控降级提供了 SQL 级别的识别与防

通过SQL自动添加流水号 项目中往往有一些单据流水号或者流程流水号是希望通过新增一条记录后自动产生一个编号的,比如新增一条流程就自动根据当前日期自动添加该流程的流程流水号,下面介绍两种不同类型流水号通过SQL自动产生的方法. 流水号格式: www.2cto.com 第一种(数值类型):日期+流水号,比如"201104190001"-->"201104190002": 第二种(文本类型):前缀+日期+流水号,比如"WT201104190001"

1.Sql server自动生成拼音的函数 /* 根据汉字获取全拼 1.生成所有读音临时表 2.根据Chinese_PRC_CS_AS_KS_WS 排序获取读音 */ )) ) as begin ) --生成临时表 ) collate Chinese_PRC_CS_AS_KS_WS,py )) insert into @t select'吖','a' insert into @t select'厑','aes' insert into @t select'哎','ai' insert into

,) ), Sales int,Dates datetime) insert into ProductSale ,'2014-01-05' UNION ALL ,'2014-02-05' UNION ALL ,'2014-03-05' UNION ALL ,'2014-01-05' UNION ALL ,'2014-03-05' UNION ALL ,'2014-04-05' ) Sales,b.Dates ) b left join ProductSale as c on b.年=YEAR(c

1.新建 shortcuts.txt 内容如下: s = SELECT t.* FROM t w = WHERE b = BETWEEN AND l = LIKE '%%' o = ORDER BY insw = IN (SELECT a FROM  a WHERE a ) sw = SELECT t.* FROM t WHERE t sc* = SELECT COUNT(*) FROM t st = SELECT t.* ,t.ROWID FROM t f = FOR UPDATE u = U

前言 当我们设计完成数据库之后,通常需要创建对应的实体类,有的称为Entity,有的称为DO,都是一个意思,而自己一个个去写非常的麻烦,所以麻烦的时候就需要相应的自动工具类解决这样的麻烦.超级方便~ 最后结果 http://www.linkinstars.com:8090/auto-code  (麻烦各位大哥别黑我这个网站,这上面没有任何数据库,黑了没有任何意义,我也就重装一下而已) 使用起来非常简单,输入对应需要的参数,点击change即可生成你需要的实体类. sql可以从navicat等类

---------------自动创建表并复制数据sql,需要自己设置主键----------- select * into 新表 from 旧表

[inception使用规范及说明文档](http://mysql-inception.github.io/inception-document/usage/)[代码仓库](https://github.com/mysql-inception/inception) inception介绍 inception是去哪网团队开发的一个集审核.执行.备份及生成回滚语句于一身的MySQL自动化运维工具, 可以集成进mysql自动化运维平台来实现sql的自动审核.开发语言:C/C++ ,在mysql源码的基

昨天刚写了半连接改写系列,今天就遇到了此类型SQL: 优化前 耗时:28s 返回:0 SELECT D.DAILYAUDITNO, D.TRANSTOACC FROM PB_DOIC.MM_DAILYREPORT_TD D WHERE D.REPORTSTATUS = '4' AND D.TRANSTOACC IN ('00', 'B1') AND EXISTS (SELECT 1 FROM PB_DOIC.MM_DAILYREPORT_DETAIL_TD WHERE DAILYAUDITNO

在项目开发中,遇到一个问题,先添加一条记录然后想立刻获取这条记录的ID值,ID由SQLServer自动增长的,如果先插入再查询的话,需要另外执行一条查询ID的SQL语句,因此有了下面的方法: 1.使用SQLServer自带的identity功能: sql="insert into dbo.OBDCustomer values(?,?,?,?,?,?) select @@IDENTITY as ID"; 2.要执行这条语句,应该是查询,而不是更新,因此需要调用executeQuery()

1. 使用dvwa靶机进行sql注入实战(注:当前靶机安全级别为low) 打开sql漏洞,发现输入不同的数字会返回不同的信息, 先尝试手工判断是否存在sql注入 一般sql注入语句像这样,我们构造的是后面两个单引号里面的内容 select * from users where userid='*' 输入: ' or 1=1# 前面一个单引号闭合了查询语句自带的第一个单引号, or 1=1 使得结果永远为真, #则是用来让查询忽略后面连接的内容,--和#的作用相同 看到它的确返回了全部内容 这次我

USE [UMoney] GO /****** Object: StoredProcedure [dbo].[WCL_WorkerStatDailyWrite] Script Date: 10/08/2013 14:28:26 ******/ SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO ------------------------------------ --用途:根据日期生成用户个人信息日统计表并插入数据 --王朝理 --时间:2013

/*--创建作业--邹建 2003.10--*//*--调用示例--每月执行的作业exec p_createjob @jobname='mm',@sql='select * from syscolumns',@freqtype='month'--每周执行的作业exec p_createjob @jobname='ww',@sql='select * from syscolumns',@freqtype='week'--每日执行的作业exec p_createjob @jobname='a',@s

查询出来的数据的编号,不是按照从1开始的有序进行的,界面上显示想显示有序排序 select RANK() OVER(ORDER BY id ) as ID ,* from reconcilet_detailes select RANK() OVER(ORDER BY 字段名 ) as ID ,ID  from 数据库 如下图: 测试出,Postgre SQL  ,SQL Server 好用

ORACLE自动断开数据库连接解决办法       方法一.直接修改资源配置文件     分三个步骤在sqlplus环境下完成.     第一步,查询资源文件,找到CONNECT_TIME所在的profile名.         select resource_name,profile from dba_profiles;     第二步,用alter命令修改profile中的值:         alter profile MONITORING_PROFILE limit connect_ti