SparkSQL之更改表结构

本文篇幅较短,内容源于自己在使用SparkSQL时碰到的一个小问题,因为在之后的数据处理过程中多次使用,所以为了加深印象,在此单独成文,以便回顾. 场景在使用SparkSQL进行数据处理时,碰到这样一种情况:需要更改DataFrame当中某个字段的类型.简而言之,就是需要更改SparkSQL的表结构.出于学习的目的,做了一个简单的Demo.下面来看看这个实例. Example ...... ...... 此处省略相关jar包的引入首先使用sparkSQL的jsonFile加载HDFS上的一个…

MSSQL 更改表结构

更改表结构: alter TABLE 表1 ALTER COLUMN 列名1 NCHAR(40)…

MySQL OSC(在线更改表结构)原理

1 OSC介绍在我们的数据库操作中,更改表结构是一个常见的操作,而当我们的表数据量非常大时,我们更改表结构的时间是非常的长,并且在跟改期间,会生成一个互斥锁,阻塞对整个表的所有操作,这样,对于我们线上数据来说是无法容忍的,以往的做法中,为了不影响线上业务,我们一般采用:先在线下从库更改表结构,然后替换线上从库,这样一台台的修改,最后做一下主库切换,这个过程会耗费很长时间,并且在做主库切换时,风险也非常的大,OSC(Online Schema Change)大多都是利用了触发器的原理,实现…

[linux][mysql] 命令更改表结构：添加、删除、修改字段、调整字段顺序

原文出处:http://www.phpernote.com/MySQL/1120.html 查看表结构: desc tabl_name; show columns fromtable_name: 常用的通过mysql命令来更改表结构的一些sql语句,包括添加.删除.修改字段.调整字段顺序. 添加字段: alter table `user_movement_log` Add column GatewayId int not null default 0 AFTER `Regionid`; (在哪个…

MYSQL分库分表和不停机更改表结构

在MYSQL分库分表中我们一般是基于数据量比较大的时间对mysql数据库一种优化的做法,下面我简单的介绍一下mysql分表与分库的简单做法. .分库分表很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法是将其散列到100个表中,分别从members0到members99,然后根据mid分发记录到这些表中,牛逼的代码大概是这…

Navicat图形更改表结构的时，设置外键时出现1452错误

原文地址:http://www.mamicode.com/info-detail-1296600.html 提示1452错误,如下图所示. 然后百度了一下,得到了一个靠谱的答案: 这是因为表设置了外键约束,而你试图插入一条外键字段所在表纪录不存在的一个值,就会报1452错.比如a.b两表,a表外键id值来自b表的ID.当你在a表中插入一条纪录时,id字段用了不在b表ID值范围内的值,就会报此错. 然后我恍然大悟,因为notice表里面有两条记录,改了外键,但表里面已有记录的值不在admin_re…

mysql更改表结构：添加、删除、修改字段、调整字段顺序

添加字段: alter table `user_movement_log` Add column GatewayId int not null default 0 AFTER `Regionid` (在哪个字段后面添加) 删除字段: alter table `user_movement_log` drop column Gatewayid 调整字段顺序: ALTER TABLE `user_movement_log` CHANGE `GatewayId` `GatewayId` int not…

gh-ost 号称是不需要触发器（Triggerless）支持的在线更改表结构的工具

https://segmentfault.com/a/1190000006158503?utm_source=tuicool&utm_medium=referral…

(转)pt-online-schema-change在线修改表结构

原文:http://www.ywnds.com/?p=4442 一.背景 MySQL大字段的DDL操作:加减字段.索引.修改字段属性等,在5.1之前都是非常耗时耗力的,特别是会对MySQL服务产生影响.在5.1之后随着Plugin Innodb的出现在线加索引的提高了很多,但是还会影响(时间缩短了),主要是在更改期间,会生成一个互斥锁,阻塞对整个表的所有操作.不过MySQL 5.6可以避免上面的情况,支持在线DDL操作了.但目前大部分在用的版本都是5.6之前的,所以DDL操作一直是运维人员头疼的…

oracle ogg 单实例双向-新增表，修改表结构（oracle-oracle

--新增inset测试--dept 表结构orcl,ogg都存在,数据相同(但是rep1配置文件没有添加) SCOTT@ orcl ,'hongquan','BBA'); row created. SCOTT@ orcl >commit; Commit complete. SCOTT@ orcl >select * from dept; DEPTNO DNAME LOC ---------- -------------- ------------- ACCOUNTING NEW YORK RE…

hive中更改表impala中不能生效

hive中的更新或者新建表impala 不能实时更新 Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中.最近在生产中,我发现在hive 中更改表结构,或者建表在impala中查询新建的表报错,或者更改的字段不能实时更新. 问题原因这是因为元数据信息没有及时刷新.在impala 1.2中加入的进程catalogd,主要就是将hive的metastore所存储的元数据缓存到impala…

[转载]github在线更改mysql表结构工具gh-ost

GitHub正式宣布以开源的方式发布gh-ost:GitHub的MySQL无触发器在线更改表定义工具! gh-ost是GitHub最近几个月开发出来的,目的是解决一个经常碰到的问题:不断变化的产品需求会不断要求更改MySQL表结构.gh-ost通过一种影响小.可控制.可审计.操作简单的方案来改变线上表结构. 在介绍gh-ost之前,我们先了解一下各种现有方案,以及为什么要自己开发一个新工具. 已有的在线修改表定义方案目前,在线修改表定义的任务主要是通过这三种途径完成的: 在从库上修改表定义,修…

sparkSQL元数据缓存不同步 beeline连接的表结构与hive不一致

之前遇到过的坑,通过beeline连接spark thirft server,当在Hive进行表结构修改,如replace/add/change columns后,表结构没有变化,还是旧的表结构,导致无法验证数据. 操作步骤如下: -- 1.create table -- hive/beeline execute create table test_table(id int); -- 2.check metadata in beeline desc test_table; -- 3. add c…

SQL Server 修改表结构后无法保存的老问题

在修改表结构后无法保存,这是每次重装SQL Server后都会遇到的问题,好记性不如烂笔头,在这里记一下吧. 保存修改了的表结构时会提示“不允许保存更改.您所做的更改要求删除并重新创建以下表.您对无法重新创建的标进行了更改或者启用了“阻止保存要求重新创建表的更改"选项.” 截图如下: 解决办法也很简单,在Microsoft SQL Server Management Studio的菜单中选择“工具->选项->设计器”,把“阻止保存要求重新创建表的更改”这一项前面的对勾去掉就可以了.如…

增加删除字段修改字段名，修改表结构，非常用SQL语句技巧总结

1.为数据表添加一个新字段 Alter TABLE [dbo].[CustomerBackupConfig] Add [Stamp] [timestamp] NULL GO 2.为数据表添加两个新字段 , GO 3.为数据表删除一个字段 Alter Table [dbo].[tblOrder] Drop Column [CookieID] GO 4.修改数据表一个字段的定义 Alter Table [dbo].[tblOrder] Alter Column [CookieID] int not…

mysql在线修改表结构大数据表的风险与解决办法归纳

整理这篇文章的缘由: 互联网应用会频繁加功能,修改需求.那么表结构也会经常修改,加字段,加索引.在线直接在生产环境的表中修改表结构,对用户使用网站是有影响. 以前我一直为这个问题头痛.当然那个时候不需要我来考虑,虽然我们没专门的dba,他们数据量比我们更大,那这种问题也会存在.所以我很想看看业界是怎么做的,我想寻找有没有更高级的方案,呵呵,让我觉得每次开发一个新功能,我在线加字段都比较纠结.后来只知道,不清楚在什么时候,无意中看到一个资料介绍online-schema-change这个工具,于是…

SQLServer 表结构相关查询（快速了解数据库）

-- 表结构查询 SELECT 表名 then d.name else '' end, 表说明 then isnull(f.value,'') else '' end, 字段序号 = a.colorder, 字段名 = a.name, 标识 then '√'else '' end, 主键 FROM sysobjects where xtype='PK' and parent_obj=a.id and name in ( SELECT name FROM sysindexes WHERE indi…

Hbase之修改表结构

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.TableName; import org.ap…

mysql ---复制表结构---创建新表

1.复制表结构及数据到新表CREATE TABLE 新表SELECT * FROM 旧表这种方法会将oldtable中所有的内容都拷贝过来,当然我们可以用delete from newtable;来删除.不过这种方法的一个最不好的地方就是新表中没有了旧表的primary key.Extra(auto_increment)等属性.需要自己用"alter"添加,而且容易搞错. 2.只复制表结构到新表CREATE TABLE 新表SELECT * FROM 旧表WHERE 1=2或CREA…

mysql在线改表结构 pt-online-schema-change

https://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-change.html 不锁表更改数据库表结构 pt-online-schema-change --user=root --host=127.0.0.1 --ask-pass --execute --statistics --charset=utf8 --recursion-method=none --alter 'ADD COLUMN `daily_type` S…

MySQL复制表结构表数据

MySQL复制表结构表数据 1.复制表结构及数据到新表CREATE TABLE 新表 SELECT * FROM 旧表这种方法会将oldtable中所有的内容都拷贝过来,当然我们可以用delete from newtable;来删除.不过这种方法的一个最不好的地方就是新表中没有了旧表的primary key.Extra(auto_increment)等属性.需要自己用"alter"添加,而且容易搞错. 2.只复制表结构到新表CREATE TABLE 新表 SELECT * FROM…

Mysql 复制表结构及其表的内容

顺便转一下Mysql复制表结构.表数据的方法: 1.复制表结构及数据到新表CREATE TABLE 新表 SELECT * FROM 旧表这种方法会将oldtable中所有的内容都拷贝过来,当然我们可以用delete from newtable;来删除. 不过这种方法的一个最不好的地方就是新表中没有了旧表的primary key.Extra(auto_increment)等属性.需要自己用"alter"添加,而且容易搞错. 2.只复制表结构到新表 CREATE TABLE 新表 SE…

SQL Server2008不允许修改表结构解决办法

1.修改表结构遇到 2.点击取消 3.打开[工具]—[选项] 4.找到[Desiginers]标签,在右边找到“阻止保存要求重现创建表的更改”,取消勾选.…

SQL SERVER表不能修改表结构的处理方法

SQL SERVER表提示不能修改表结构,这究竟是什么原因呢?下面就为您介绍处理该问题的方法,如果您在SQL SERVER表修改方面遇到过问题,不妨一看. 新装的SQL SERVER 2008,打开原来SQL SERVER 2008中建立的表,现在想增加一些字段,在保存时提示错误,无法保存. 刚开始以为是SQL SERVER 2008与2005的不兼容,后来发现在SQL SERVER 2008中新建的SQL SERVER表也存在无法修改表结构,也就是无法修改字段名和增加字段名. 提示是:不允许保…