偶遇需求,大表中需要删除部分数据.分批删除. declare TYPE type_table_rowid IS TABLE OF ROWID INDEX BY BINARY_INTEGER;table_rowid type_table_rowid;CURSOR cur_tmp IS select rowid from test t where id='111111' or uin='222222'; --------需要删除的数据的rowid获取BEGINOPEN cur_tmp;LOOPFET…
mysql 中常用的删除的方法基本上有下面三种方式: 1.delete 一般用于删除少量表中的数据 优化建议,一定要加上where 条件,并且where条件的列上 一定要有主键或者索引.否则会出现全表扫描的情况 2.drop 直接将表删除,包括表的数据和表的定义. 这种操作,MySQL 会加上一个全局锁,删除期间会阻塞操作,所以对大表来说这样操作一定会对生产造成很大的影响 优化建议,大表不要使用drop  table 这种方式,可以考虑 truncate  table的方式 3.truncate…
Oracle 使用时间长了, 新增了许多user 和tablespace. 需要清理一下 对于单个user和tablespace 来说, 可以使用如下命令来完成. 步骤一:  删除user drop user ×× cascade 说明: 删除了user,只是删除了该user下的schema objects,是不会删除相应的tablespace的. 步骤二: 删除tablespace DROP TABLESPACE tablespace_name INCLUDING CONTENTS AND D…
1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com)  是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“零代码”就可以生成API,让API开发从未有过如此便捷!同时支持自定义API查询SQL功能,对您的个性化复杂查询逻辑支持照样不在话下. DataWorks数据服务提供HTTP API服务,采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,零运维成本. Dat…
1. 概述 数据服务(https://ds-cn-shanghai.data.aliyun.com) 是DataWorks产品家族的一员,提供了快速将数据表生成API的能力,通过可视化的向导,一分钟“零代码”就可以生成API,让API开发从未有过如此便捷!同时支持自定义API查询SQL功能,对您的个性化复杂查询逻辑支持照样不在话下. DataWorks数据服务提供HTTP API服务,采用Serverless架构,您只需关注API本身的查询逻辑,无需关心运行环境等基础设施,零运维成本. Data…
一.简介 源码地址 日期:2018/4/12 介绍:工具用于安全删除MySQL表,对于一些特定场景可能有用 应用场景:大批删除不走索引但是有主键的场景[可以是单列索引,也可是多列索引] 实现思路:根据where条件获取到主键值,然后重新拼接SQL 注:本工具仅用于学习,如用于生产,请充分测试 效果图: 二.使用 适用:centos6+ 语言:中文 注意:必须有主键或者非空唯一索引 1.下载 git clone https://gitee.com/mo-shan/safe_delete.git c…
drop user xxx cascade; drop tablespace xxx including contents and datafiles; create tablespace xxx datafile 'E:\oracle\product\10.2.0\oradata\ts\xxx.dbf' size 100M autoextend on next 10m maxsize unlimited; create user xxx identified by "ppp" def…
[现网问题] 最近在给咪咕做视频后台管理,移动那边希望页面上,码流字段可以支持1位小数,如8.0.自己查看数据库,发现码流字段是Number整型,也就是要换类型,打算直接换成varchar2.因为自己一般建表,除了主键外键或者特殊的,其余字段设置都喜欢设置成varchar2,适应业务场景更广.当然也可以选Number(*,1),保留1位小数,不过移动那边需求,再改了就蛋疼了. 以下:表名:tb_name 字段名:col_name 现网数据量估计100w [失败尝试1] alter table t…
问题概述 使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死.严重影响业务. 问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视.原开发人员都已离职,到我来维护,这就是传说中的维护不了就跑路,然后我就是掉坑的那个!!! 我尝试解决该问题,so,有个这个日志. 方案概述 方案一:优化现有mysql数据库.优点:不影响现有业务…
select * from dba_tablespaces 说明:查看所有表空间 ---------------------------------------------------------------------drop user waternet cascade 说明: 删除了user,只是删除了该user下的schema objects,是不会删除相应的tablespace的. -----------------------------------------------------…
在清理整个大表时,我们推荐使用drop,而非delete.但是如果表实在太大,即使是drop,也需要消耗一定的时间.这时可以利用linux的硬连接来快速删除大表,操作过程如下:有一个大表test,共有4194304行数据,表空间文件大小为1.3Gmysql> select count(*) from test;+----------+| count(*) |+----------+|  4194304 |+----------+1 row in set (15.20 sec) mysql> s…
在mysql中遇到一个大表,大概有17G左右,在对这个表进行查询.修改时均遇到了很大的困难,于是想着删除这张表.通常的删除操作可以通过delete.drop.truncate操作,试了这三个命令,但是最终都以失败,都无法删除此表,最后使用下面的方式最终删除.(linux下) 1.建立硬链接 找到mysql的数据文件,找到这张表在硬盘上的名称,我的是tmplst.frm和tmplst.ibd,通过查看tmplst.ibd的大小到了17G左右,这就是无法删除的原因.其中tmplst是表名. 在这个文…
在日常工作中,经常会遇到历史大表从主库上迁移到备份机,以便腾出主库空间,那么如果你直接drop table 后,可能会引起数据库抖动,连接数升高等问题,从而影响业务. 那么用一个小技巧,即可轻松平滑的从主库上删除历史大表. 1.创建一个硬链接,在drop table 表时,"欺骗"MySQL已经删除完毕. ln test.ibd test.ibd.hdlk 2.这个时候不要直接rm test.ibd.hdlk,这样会引起磁盘IO转速上升,MySQL会发生性能抖动. 我们这里写一个脚本,…
选中区域A4:C17,在键盘上按DELETE键删除,结果提示: 那么如何删除呢? 解决方案 选中整个数透视表,再删除 具体操作: 选中整个数据透视表→DELETE 注意:删除之后,源数据不会受到影响…
如果表很大--千万级别的数据,又不能做truncate 操作,只能 delete 表中某部分数据时可以用以下来执行,这种方式只对大表操作时比较有效率,数据量小时不考虑 --示例如下 declare cursor mycursor is SELECT ROWID FROM tpr_zjjx1 WHERE jxrq=to_date('2013-06-30','yyyy-mm-dd') order by rowid; type rowid_table_type is table of rowid in…
在某些情况下业务建的表某些列没有用到,需要进行删除,但是如果是数据量很大的大表,直接 alter table table_name drop column column_name;这种方法删除,那么将出现TM表锁,业务有可能hang住,所以不能这样子操作:Oracle 8i 引入了从表中删除列的能力.在此之前,有必要删除整个表并重建它.可以将列标记为未使用(逻辑删除)或完全删除(物理删除),下面介绍逻辑删除和物理删除. 一.逻辑删除 在大表上,物理删除列的过程非常耗时且耗费资源.决定从逻辑上删除…
今天整理一下EXCEL2010 数据透视表的课程笔记,数据透视表可以对多组数据进行统计和整理,是一种基本的数据可视化工具. 记录6个方面的总结: 1.创建数据透视表 2.更改数据透视表的汇总方式 3.更改数据透视表的组合 4.汇总多列数据,进行数据的分别统计 5.在透视表中利用公式进行计算 6.利用筛选字段创建多个工作表 1.创建数据透视表 从基本的操作层面来说:在获得了数据源之后,可以通过简单的插入功能和拖动命令生成一份数据透视表.创建一个新表格的时候,首先要确定最后的表格的行,列分别记录什么…
Excel 批量快速合并相同的单元格   在制作Excel表格的时候,为了使得自己制作的报表更加简洁明了,方便查阅,经常需要合并很多相同的单元格,如果有几千几万条记录需要合并的话,真的会让人发疯.怎样可以最快地实现合并功能呢?   数据透视表实现的快速合并单元格   1 打开需要合并单元格的excel表格.(这里是以excel 2007版本为例) 2 选择菜单栏“插入”选项卡,点击“数据透视表”下拉列表“数据透视表”,此时,弹出创建数据透视表的窗口. “请选择要分析的数据”:如果是本工作表直接选…
“透视”作为一个动词,意思是旋转.如果将数据看成是一个物体,数据透视表允许旋转数据汇总,从不同角度或观点来看它.数据透视表能够轻松地移动字段,交换字段位置,设置创建项目的特定组. 如果给出一个陌生的物体让你鉴定,你可能会从不同的角度观察它来得出答案.处理数据透视表与研究一个陌生的物体类似.此时,物体就是你自己的数据.数据透视表需要多次试验,所以要旋转并控制数据透视表直到你满意为止.最后得到的结果会让你感到惊讶. 数据透视表是一种让用户可以根据不同的分类.不同的汇总方式.快速查看各种形式的数据汇总…
如上图:有行合计也有列合计.现在我们需要将行列合计都去除,如何操作呢? 解决办法一: 数据透视表区域任意单元格→数据透视表工具→设计→布局→总计→对行和列禁用 解决办法二: 数据透视表区域任意单元格→右键→数据透视表选项→汇总和筛选→取消选中显示行(列)合计 解决方案三: 右键单击数据透视表总计列→弹出快捷菜单→删除总计 列同样如此 操作后效果…
使用Pandas创建数据透视表 本文转载自:蓝鲸的网站分析笔记 原文链接:使用Pandas创建数据透视表 目录 pandas.pivot_table() 创建简单的数据透视表 增加一个行维度(index) 增加一个值变量(value) 更改数值汇总方式 增加数值汇总方式 增加一个列维度(columns) 增加多个列维度 增加数据汇总值 数据透视表是Excel中最常用的数据汇总工具,它可以根据一个或多个制定的维度对数据进行聚合.在python中同样可以通过pandas.pivot_table函数来…
原文:VSTO学习笔记(十四)Excel数据透视表与PowerPivot 近期公司内部在做一种通用查询报表,方便人力资源分析.统计数据.由于之前公司系统中有一个类似的查询使用Excel数据透视表完成的,故我也打算借鉴一下. 测试代码下载 原有系统是使用VBA编写的,难以维护,且对新的操作系统如Windows 7.64位架构不支持,我准备用VSTO进行重写. 数据透视表是一种交互式的表,可以进行某些计算,如求和与计数等.所进行的计算与数据跟数据透视表中的排列有关. 数据透视表是一种完全自助式的报表…
①    打开Excel,选中需要制表的数据,点击“插入”->“数据透视表”          ②    出现下列对话框,点击“确定”          ③    再新的“sheet”表内对“数据透视表字段”进行操作                          ④    选中任意数据透视表的内容,点击“分析”->“字段.项目和集”->“计算字段”,填写需要添加字段的名称和公式:(如果不需要添加字段,可忽略这一操作)                   ⑤    选中制表数据,点击“…
如果觉得Excle给出的数据透视表样式不符合自己的心意,可以自己定义一个数据透视表样式 步骤1 单击数据透视表区域任意单元格→数据透视表工具→设计→样式组中的下拉按钮,打开数据透视表样式库→新建数据透视表样式 步骤2 打开"新建数据透视表样式"框→修改名称为"Mylove"→单击"表元素"对话框中"整个表"→"格式"按钮,打开设置单元格格式对话框 步骤3 "边框"→选中外边框→确定 步骤…
如下数据透视表样例,如何为该数据透视表设置样式呢? 步骤 单击数据透视表区域的任意单元格→数据透视表工具→设计→数据透视表样式→打开下拉箭头即可任意选择…
原始效果 目标效果 解决方案 设置数据透视表"在报表区域筛选显示字段"为"水平并排" 步骤 方法① 单击数据透视表任意单元格→数据透视表工具→分析→选项→布局和格式→在报表筛选区域显示字段(水平并排) 方法② 单击数据透视表任意单元格→右键截图→数据透视表选项→布局和格式→在报表筛选区域显示字段(水平并排)…
如下图:新建的数据透视表中有存在"+/-"符号,导致数据透视图不太美观,那么怎么处理呢? 解决方案 单击"显示"组中的"+/-"按钮显示或隐藏"+/-"符号 步骤 单击数据透视表任意单元格→分析→显示→+/-按钮 此时,已经没有+/-符号了,如果需要显示,反之即可.…
创建多条件的数据透视表,源数据如下: 插入数据透视表 根据需求拖拽字段(统计该地区下销售人员销售业绩) 数据透视结果 数据透视表布局的各个区域说明 区域 说明 数值 用于显示汇总值数据 行标签 用于将字段显示为报表侧面的行,位置较低的行嵌套在紧靠它上方的另一行中 列标签 用于将字段显示为报表顶部的列,位置较低的列嵌套在紧靠它上方的另一列中 报表筛选 用于筛选报表数据…
在oracle中由于表结构设计不合理或者需要清楚老数据的时候,经常需要对大表数据进行清理. 一般有一下几种方法: 1. 删除大部分数据,留下小部分数据.我们可以把需要保留的数据转移到别的表,然后再把大表drop掉,然后改名就行了: a) create table tablename_min as select * from tablename_max a where 需要保留的数据. b) drop table tablename_max ; c) rename tablename_min as…