SQL迁移到ORACLE实例

nohup ./command.sh > output 2>&1 &

　　

SQL迁移到ORACLE实例

日常运维中，我们经常会有数据库不同类型的迁移，比较多的就是从sql server迁移到oracle 的情况，前一阶段正好有一个类似的项目进行，我将其中的一些注意事项记录下来。

一、迁移的方案

之前也进行过sql -> oracle的迁移，使用过sql server的dts也单独自己写过sqlloader脚本，但是两种方案都不是很满意，dts经常出错，sqlldr的手工编辑很费劲，稍不注意就会写错。

这次参考了http://www.cnblogs.com/hiizsk/archive/2011/07/10/2102452.html

使用ORACLE SQL DEVELOPER进行了操作，效果不错。

以下有几个需要特别注意的事情，提前说，很重要的。

1. ORACLE SQL DEVELOPER不是pl/sql developer，这个要注意啊
2. ORACLE SQL DEVELOPER的版本问题，上面地址参考文档或者从oracle官方站点下载的我都没有试验成功，反而到是一个比较老的版本3.0.04的版本试验成功了，在文档最后我提供了下载，这个版本是没有jre的，对应的是6不是7啊，请自行安装，在首次运行的时候提示指定jre6的路径，指定对了就可以正常运行了。
3. 上面文档中没有提及怎么导入，这个是非常重要的，需要将导出的文档上传到服务器执行。
4. 编码，这个是折腾我最多的内容，因为sql server2008 R2不支持bcp的utf-8导出，但是oracle 生产机现在基本都是al32utf8的，所以需要手工将导出的data文件夹的内容转码到utf-8.EditPlus有一个批量转码的功能，非常好用对小文件批量操作很好，我的480多个文件基本都是靠它完成的。对于大于100M以上的文件editplus完全hang不住，只能使用ultraedit，我用它执行2G多的一个文件，几分钟搞定。

二、实际步骤

此步骤很多参考绝殇 的内容啊，版权是他的啊。我在其中补充和修正了一些内容。

1.  第一部分：获取工具

不建议去oracle官网下载，虽然支持到oracle 12C,反正我是没用它弄好我的sql server 2008 R2到oracle 11G 的转换，能使用的人如果成功告诉我下。

直接到文档最后下载提供的内容即可，注意自行安装jre6

    2.   下载SQL SERVER的驱动程序

绝殇说的”点击菜单帮助，选择检查更新，弹出检查更新向导窗口”我一直没成功，我只好自己自行下载了jtds-1.2.2-dist，这个我也提供了下载。关联方式如下

启动develop -----工具-----首选项-------数据库-----第三方jdbc驱动程序，添加条目选中jtds的文件，然后重启develop即可。

1. 连接oracle和sql,建立账户

基本和文档一样（不清楚脚本见http://www.cnblogs.com/hiizsk/archive/2011/07/10/2102452.html），这里多说一句，默认新创建的用户的默认表空间是user,我不建议这样，新建立一个表空间，然后建立的MIGRATONS用户的表空间使用新建的，尽量不要影响默认表空间。

另外后面脚本执行完毕后，创建的表的默认空间也是user，这个时候导入数据前建议在新建一个表空间，将这些表移动到新表空间如newtbs。

Select 'alter table '||table_name||' move tablespace newtbs;' from user_all_tables;

3. 数据库移植向导等

完全可按照文档执行，最后一步也是脱机即可。

（1）SqlServer中的架构到Oracle中的模式，名称的处理

这部分不用这么处理，后面我有更好的办法，跳过

（2）转移数据

从这部分后，文档语焉不详，其实这才是执行导入容易出错的地方。首先导出数据执行unload_script [server] [username] [password]

这个执行可以在本机使用cmd执行，注意看下生成的目录结构如下

导出数据可以在2014-09-28_17-02-42下执行unload_script.bat

我的项目导出10G左右大概在十几分钟即可。

接下来就是转码工作了，在上图的data目录中，选中文件使用editplus或者ultraedit就可以把文件转码到utf8格式。

（3）导入数据

把全部的文件上传到linux服务器（你的oracle不会运行在windows下吧？）

(1) 修改shell文件

修改dbo文件下的oracle_ctl.sh文件

增加

export NLS_LANG=AMERICAN_AMERICA.AL32UTF8

注意这里的值是你目的oracle的nls值，可以自行查询

如果您的文件中有类似我的超过500M的大文件，修改默认的sqlldr语句

默认：

sqlldr $/$ control=control/dbo_jzprod.uf_bud_payoutdetthird.ctl log=log/dbo_jzprod.uf_bud_payoutdetthird.log

在后面增加下面的语句采用平行append方式，跳过索引

 direct=true parallel=true skip_index_maintenance=true

(2) 修改control文件

如果你使用了上面的direct=true的数据，那对应的control文件也需要修改，如上面的dbo_jzprod.uf_bud_payoutdetthird，control文件在control目录下,如：

load data
 
infile 'data/dbo_jzprod.CARDCOMBINATIONDETAIL.dat'
 
 "str '<EORD>'"
 
into table dbo_jzprod.CARDCOMBINATIONDETAIL
 
fields terminated by '<EOFD>'
 
trailing nullcols

需要在into 之前增加APPEND

(3) 执行

执行shell，可能大家觉得非常简单，但是也需要有些注意事项

./**.sh 没问题，但是我们需要注意，我们需要执行dbo目录下的shell

因为默认的developer给我们生成了很多层的sh，我们需要执行最内层的sh

3.1：^M的问题：

我们编辑的sh,执行会报错，vi会发现内部的每行最后存在一个^M

使用如下代码即可。

 :,$ s/^M//g

^M 输入方法： ctrl+V ,ctrl+M

3.2：后台运行

直接运行shell需要时间比较长，我们采用nohup后台进程运行的方式

nohup ./command.sh > output >& &

注意这里回车exit一直到退出此进程，然后重新启动一个新进程

Tail –f output观测实际的进展即可。

3.3 最后导出成功后，需要重建索引并且迁移到单独的表空间，对lob字段单独表空间存储等

oracle sql developer:http://pan.baidu.com/s/1hq7oIUg

jtds:http://pan.baidu.com/s/1sjO7vop