有人提出要将4张表合并成一张.数据量比较大,有4千万条数据.有很多重复数据,需要对某一列进行去重. 数据量太大的话,可以看我另外一篇:http://www.cnblogs.com/magmell/p/8941338.html mysql:思路: 1.导出数据.select into outfile. 2.传输到要导入数据的服务器上. 3.创建一张新表,主键和约束等与那三张表一样. 4.LOAD DATA INFILE导入.利用replace参数进行覆盖达到去重的目的. LOAD DATA INF

目的 1.为了备战过两天的面试,我又重新给孙老师的课件看了一遍,学累了,就写写自己的新的体会,和遇到的问题,来进行一个记录,这是知识产出的过程,据说可以帮助我学习,看视频什么的都是被动学习,不进行及时总结,可能两天就忘了.根据艾宾什么斯遗忘曲线,学完了30天不看就约等于没学(由此可见我上次写的20理综选择题错很多不是偶然..),所以这次我要在老师的基础上进行知识点的总结,不是上次的生搬硬套. 想法 2.经过上午近三个小时的敲sql语句,我好像突然懂了!注意格式,不能着急,循序渐进就可以.我开始学

加班一时爽,一直加班~一直爽~  欢迎收看http://www.996.icu/ 今天弄了下MySQL中两表合并的并且要处理一列数据,这列数据原来都是小写字母,处理时将这列数据改成驼峰命名的~~ 基本操作:(比如处理列2) insert into (目标表名) 指定列1,指定列2,指定列3,指定列4..select 指定列1,(case when 指定列2 = 'whdisshuaibi' then 'whdIsShaiBi' ),指定列3,指定列4 from 数据来源表 如果要处理一列的多个值

mysql的备份工具通常有 mysqldump ,mysqlpump(5.7后新特性)等备份工具,这里我们可以尝试使用表空间进行传递 方式是:拷贝数据文件+拷贝表空间   对应innodb引擎就是 ibd文件和cfg文件 执行此种方式的要求 (1)需要使用独立表空间,开启innodb_file_per_table参数: (2)在做表导出时,该表只允许读不允许写: (3)导入导出的数据data page size必须一样: (4)在 MySQL 5.7.4 之前的版本是不能对分区表做分区迁移: (

1.工具类(applibrary.dll) public class ExcelHelper { /// <summary> /// 文件名 /// </summary> public string fileName { get; set; } /// <summary> /// 工作簿列表 /// </summary> public List<WorkSheet> workSheets { get; set; } /// <summary

查看分区数据量,查看全库数据量 USE information_schema; SELECT PARTITION_NAME,TABLE_ROWS FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_NAME = 'sale_data'; SELECT table_name,table_rows FROM TABLES  WHERE TABLE_SCHEMA = 'db_name'  ORDER BY table_rows DESC ; http://my

一.数据库设计 1.三个数据表长这样   其中user表记录用户信息,cat主要记录男女性别,mete表是用户id和性别id的对应关系   2.具体数据如下   二.查询目标 查询出所有性别为“男”的用户的“姓名”,如下记录两种不同形式的查询 1.单纯的条件查询 SQL: ) 结果:   语句解释: 先使用select mete.uid from mete where mete.cid=1语句在mete表中,查找到所有“男”的uid(这里默认我们已经知道cid=1代表男性),再通过条件查询,与上

合并查询结果 合并查询结果 是将多个select语句的查询结果合并到一起 union关键字,数据库会将所有的查询结果合并到一起,然后除掉相同的记录: union all关键字,只是简单的合并到一起 前期表准备: ), d_id ), name ), age ), sex ), homeadd ) ); ,,,'nan','beijing'); ,,,'nv','hunan'); ,,,'nan','jiangsu'); ,,,'nan','yingguo'); select * from emp

这只会复制结构: mysql> create table a like mysql1; Query OK, 0 rows affected (0.03 sec) mysql> desc a; +----------+----------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +----------+----------+------+-----+---------+----

在 Mysql 的 information_schema 库中 COLUMNS 表中存放了所有表的所有列. using MySql.Data.MySqlClient; using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace ConsoleApp1 { class Program { static voi

一.为什么要分表? 当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,有可能会死在那儿了.分表的目的就在于此,减小数据库的负担,缩短查询时间.根据个人经验,mysql执行一个sql的过程如下:1.接收到sql; 2.把sql放到排队队列中;3.执行sql; 4.返回执行结果.在这个执行过程中最花时间在什么地方呢?第一,是排队等待的时间,第二,sql的执行时间.其实这二个是一回事,等待的同时,肯定有sql在执行.所以我们要缩短sql的执行时间. mysql中有一种机制是表锁

[问题原因]服务器突然断电 [故障报告]数据库表结构损坏 [解决思路]进入强制恢复模式,备份库表及数据重建 故障发现 周末公司断电,周一启动数据库就直接报错了 查看日志 上面标记的log,明确表示是非正常关机(InnoDB: Database was not shutdown normally!)导致表结构损坏了,并且在最后给出了三种修复建议: 1)权限问题.我的文件无此类问题,略过该方案 2)跳过当前表恢复.我出错的表比较重要,全额无法通过备份恢复,所以该方案也不合适 3)调整强制恢复级别,强

一.分区表 1. 什么是分区表? 对用户来说,分区表是一个独立的逻辑表,但是底层由多个物理子表组成(所以索引也是按照分区的子表定义的, 而没有全局索引).实现分区的代码实际上是对一组底层表的句柄对象的封装.对分区表的请求,都会通过句柄对象 转化成对存储引擎的接口调用. MySQL在创建表时,使用partition by子句定义每个分区存放的数据.在执行查询的时候,优化器会根据分区定义 过滤那些没有我们需要数据的分区. 分区的一个主要目的是将数据按照一个较粗的粒度分布在不同的表中,这样可以将相关的

1.什么是二级索引? 我们前面已经介绍过Cassandra之中有各种Key,比如Primary Key, Cluster Key 等等.如果您对这部分概念并不熟悉,可以参考之前的文章: [Cassandra教程] (四)使用Key的正确姿势 对于Cassandra来说,一级索引就是Primary Key. 因为查询的时候,可以直接根据Key算出token然后直接获取对应的记录. 而二级索引,作为辅助索引就是为了找到一级索引.然后再通过一级索引找到真正的值 原文链接:http://www.flym

MySQL多表查询合并结果和内连接查询 1.使用union和union all合并两个查询结果:select 字段名 from tablename1 union select 字段名 from tablename2:   注意这个操作必须保证两张表字段相同,字段数据类型也相同,再针对结果统一排序操作等.另外,使用union的时候会去除重复(相同)的记录?,而union all则不会. create table table_new select * from ( SELECT * FROM DB.

参考书籍<mysql是怎样运行的> 非常推荐这本书,通俗易懂,但是没有讲mysql主从等内容 书中还讲解了本文没有提到的子查询优化内容, 本文只总结了常见的子查询是如何优化的 系列文章目录和关于我 一丶单表访问方法 mysql执行查询语句的方法叫做访问方法,同一语句使用不同的访问方法执行,查询结果都是一样的,但是不同的查询方法效率差距很大,mysql优化器会选择成本最低的访问方法,理解访问方法对我们理解索引有益处 1.const 查询可以通过主键或者唯一索引与常数进行等值比较来定位一条记录,这

SELECT COUNT(*) TABLES, table_schema FROM information_schema.TABLES   WHERE table_schema = '数据库' GROUP BY table_schema; 这还是头一次接触information_schema这个数据库, information_schema数据库是MySQL自带的,它提供了访问数据库元数据的方式.什么是元数据呢?元数据是关于数据的数据,如数据库名或表名,列的数据类型,或访问权限等.有些时候用于表

这篇文章来自于看博客园一个园友的分享经历,原文:http://www.cnblogs.com/qqloving/p/3427138.html 他不清楚mysql一个库里面分多少张表合适,他一个库分了8000张表.于是我看了,忍不住作答. 于是以个人随笔的形式给自己做知识备忘吧. 1.单表体积多大的时候需要分表 曾经看过一个博客,分析到什么情况下需要分表. 单表形式访问(也就是对这个表的访问不涉及到join联合查询):单个表的体积大于2g的时候.或者说,单个表的行数达到一千万的时候. 两表jion

问题背景: 一.客户环境连续多次出现性能问题,系统登入异常,数据库CPU告警. 处理过程: 1>协助排查数据库性能问题时发现如下两个较频繁的SQL导致严重的性能问题(均使用了视图合并多表数据): 1. SELECT nodename FROM view_name1 WHERE id = xxx; 2. SELECT a.id rid,accounttype,belongto,resourceId,belongtoshow FROM view_name2 a LEFT JOIN tablename

select d1.ID,CAST(d1.ID AS CHAR) AS intId, d1.CODE_TYPE, d1.CODE, d1.CODE_IMG, d1.VALUE from m_dict_code d1 where d1.CODE_TYPE in('USER_TYPE','addSupers') UNION ,v.ID,v.TYPE,v.`CODE`,v.DESCRIPTION,v.VALUE_STRING from m_variable as v where v.type='teq