批量Excel数据导入Oracle数据库
由于一直基于Oracle数据库上做开发,因此常常会需要把大量的Excel数据导入到Oracle数据库中,其实如果从事SqlServer数据库的开发,那么思路也是一样的,本文主要介绍如何导入Excel数据进入Oracle数据库的内容。
一般我们拿到的Excel数据,都会有一个表头说明,然后下面是一连串的数据内容,如下图所示:
而Oracle中数据库一般为英文名称,中文名称就需要转义,为了方便导入,我把中文名称对照数据库的字段,把表头修改为对应的字段名称,如果没有数据库对应的字段,那么删除Excel的无用列即可,如下所示。
首先我们在导入Excel的例子中加载显示要导入的数据,一个是为了直观,第二个也是为了检查数据的有效性,避免出错,界面如下所示:
在介绍导入操作前,我们先要分析下数据,否则就很容易出现错误的语句,一般日期的格式、数字的格式就要特别注意,文本格式一般看是否超出字段的长度,一般成功导入前都会发生好多次的错误问题,解决了这些格式的问题,基本上就OK了。如下面日期和数字的格式问题,就必须注意转换为对应的内容格式:
下面介绍具体的显示数据和导入数据的操作代码:
显示Excel数据的代码如下所示:
private string connectionStringFormat = "Provider = Microsoft.Jet.OLEDB.4.0 ; Data Source = '{0}';Extended Properties=Excel 8.0";
private DataSet myDs = new DataSet(); private void btnViewData_Click(object sender, EventArgs e)
{
if (this.txtFilePath.Text == "")
{
MessageUtil.ShowTips("请选择指定的Excel文件");
return;
} string connectString = string.Format(connectionStringFormat, this.txtFilePath.Text);
try
{
myDs.Tables.Clear();
myDs.Clear();
OleDbConnection cnnxls = new OleDbConnection(connectString);
OleDbDataAdapter myDa = new OleDbDataAdapter("select * from [Sheet1$]", cnnxls);
myDa.Fill(myDs, "c"); dataGrid1.DataSource = myDs.Tables[];
}
catch (Exception ex)
{
MessageBox.Show(ex.Message);
}
}
导入操作的代码如下所示(由于数据格式需要验证,以及需要判断数据库是否存在指定关键字的记录,如果存在,那么更新,否则插入新的记录,如果仅仅是第一次导入,操作代码可以更为精简一些):
private void btnSaveData_Click(object sender, EventArgs e)
{
if (this.txtFilePath.Text == "")
{
MessageUtil.ShowTips("请选择指定的Excel文件");
return;
} if (MessageUtil.ShowYesNoAndWarning("该操作将把数据导入到系统的用户数据库中,您确定是否继续?") == DialogResult.Yes)
{
InsertData();
}
} private bool CheckIsDate(string columnName)
{
string str = ",PREPARE_DATE,COPY_DATE,COPY_VALIDITY,BUSINESS_VALIDITY,OPENING_APPROVAL_DATE,OPENING_DATE,EDITTIME,LICENSE_DATE,LICENSE_VALIDITY,TEMP_OPENING_DATE,LICENSE_START_DATE,ADDTIME,EDITTIME,";
return str.Contains("," + columnName.ToUpper() + ",");
} private bool CheckIsNumeric(string columnName)
{
string str = ",FIXED_CAPITAL,REG_CAPITAL,MARGIN,PARK_AREA,PARK_SPACE_NUMBER,";
return str.Contains("," + columnName.ToUpper() + ",");
} private void InsertData()
{
int intOk = ;
int intFail = ; if (myDs != null && myDs.Tables[].Rows.Count > )
{
string accessConnectString = config.GetConnectionString("DataAccess");
OracleConnection conn = new OracleConnection(accessConnectString);
conn.Open();
OracleCommand com = null; #region 组装字段列表
string insertColumnString = "ID,";
DataTable dt = myDs.Tables[];
int k = ;
foreach (DataColumn col in dt.Columns)
{
insertColumnString += string.Format("{0},", col.ColumnName);
}
insertColumnString = insertColumnString.Trim(','); #endregion try
{
foreach (DataRow dr in dt.Rows)
{
if (dr[].ToString() == "")
{
continue;
} #region 组装Sql语句
string insertValueString = "SEQ_TBPARK_ENTERPRISE.Nextval,";
string updateValueString = "";
string COMPANY_CODE = dr["COMPANY_CODE"].ToString().Replace("<空>", ""); #region 拼接Sql字符串 for(int i = ; i < dt.Columns.Count; i++)
{
string originalValue = dr[i].ToString().Replace("<空>", "");
//if (!CheckIsDate(dt.Rows[0][i].ToString()))
if (!CheckIsDate(dt.Columns[i].ColumnName))
{
if (!string.IsNullOrEmpty(originalValue))
{
if (CheckIsNumeric(dt.Columns[i].ColumnName))
{
insertValueString += string.Format("'{0}',", Convert.ToDecimal(originalValue));
updateValueString += string.Format("{0}='{1}',", dt.Columns[i].ColumnName, Convert.ToDecimal(originalValue));
}
else
{
insertValueString += string.Format("'{0}',", originalValue);
updateValueString += string.Format("{0}='{1}',", dt.Columns[i].ColumnName, originalValue);
}
}
else
{
insertValueString += string.Format("NULL,");
updateValueString += string.Format("{0}=NULL,", dt.Columns[i].ColumnName);
}
}
else
{
if (!string.IsNullOrEmpty(originalValue))
{
insertValueString += string.Format("to_date('{0}','yyyy-mm-dd'),", Convert.ToDateTime(originalValue).ToString("yyyy-MM-dd"));
updateValueString += string.Format("{0}=to_date('{1}','yyyy-mm-dd'),", dt.Columns[i].ColumnName, Convert.ToDateTime(originalValue).ToString("yyyy-MM-dd"));
}
else
{
insertValueString += string.Format("NULL,");
updateValueString += string.Format("{0}=NULL,", dt.Columns[i].ColumnName);
}
}
}
insertValueString = insertValueString.Trim(',');
updateValueString = updateValueString.Trim(',');
#endregion string insertSql = string.Format(@"INSERT INTO tbpark_enterprise ({0}) VALUES({1})", insertColumnString, insertValueString);
string updateSql = string.Format("Update tbpark_enterprise set {0} Where COMPANY_CODE='{1}' ", updateValueString, COMPANY_CODE);
string checkExistSql = string.Format("Select count(*) from tbpark_enterprise where COMPANY_CODE='{0}' ", COMPANY_CODE);
#endregion #region 写入数据
try
{
com = new OracleCommand();
com.Connection = conn;
com.CommandText = checkExistSql;
object objCount = com.ExecuteScalar(); bool succeed = false;
bool exist = Convert.ToInt32(objCount) > ;
if (exist)
{
//需要更新
//WriteString(updateSql);
com.CommandText = updateSql;
succeed = com.ExecuteNonQuery() > ;
}
else
{
//需要插入
//WriteString2(insertSql);
com.CommandText = insertSql;
succeed = com.ExecuteNonQuery() > ;
} if (succeed)
{
intOk++;
}
else
{
intFail++;
}
}
catch (Exception ex)
{
intFail++;
WriteString(com.CommandText);
LogHelper.Error(ex);
break;
} #endregion
} #region 关闭
if (conn != null && conn.State != ConnectionState.Closed)
{
conn.Close();
}
if (com != null)
{
com.Dispose();
}
#endregion
}
catch (Exception ex)
{
LogHelper.Error(ex);
MessageUtil.ShowError(ex.ToString());
} if (intOk > || intFail > )
{
string tips = string.Format("数据导入成功:{0}个,失败:{1}个", intOk, intFail);
MessageUtil.ShowTips(tips);
}
}
}
以上代码,为了方便,使用了输出脚本的方式进行验证对比,一般情况下也是用得着的。
最后附上该程序的源码,和大家分享学习:http://files.cnblogs.com/wuhuacong/ImportExcelToOracle.rar
来自:http://www.cnblogs.com/wuhuacong/archive/2010/04/28/1723142.html
有用的评论:
1、多个sheet 如何处理
可以分别取得几个Sheet的名字,如下代码:
DataTable dtSheetName = conn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables,
new object[] { null, null, null, "TABLE" });
string strSheetName = dtSheetName.Rows[]["TABLE_NAME"].ToString();
OleDbDataAdapter oda = new OleDbDataAdapter("select * from "
+ "[" + strSheetName + "]", conn);
2、这种方式还有一种弊端,导入上百万的数据记录时就是鸡肋,建议将从sheet中读取到的数据转换为datatable,然后采用SqlBulkCopy批量导入,效率会大幅度提升
批量Excel数据导入Oracle数据库的更多相关文章
- 代码执行批量Excel数据导入Oracle数据库
由于基于Oracle数据库上做开发,因此常常会需要把大量的Excel数据导入到Oracle数据库中,其实如果从事SqlServer数据库的开发,那么思路也是一样的,本文主要介绍如何导入Excel数据进 ...
- 批量Excel数据导入Oracle数据库 导入excel错误:外部表不是预期的格式 解决方案
在asp.net网站中导出Excel文件后,再把文件导入到数据库中. 读取Excel文件时,打开连接出错. 错误为:外部表不是预期的格式 解决:检查了一下,导出的Excel是标准文件不是html,没错 ...
- 利用TOAD实现把EXCEL数据导入oracle数据库
利用TOAD实现把EXCEL数据导入oracle数据库 工具: Toad11.7z(百度搜索,直接下载) 1.将Excel文件中某些字段导入到Oracle数据库的对应表 连接想要导入的数据库 ,然 ...
- 使用Plsql将Excel数据导入Oracle数据库
1.在plsql页面,Tools-->ODBC Importer... 2.配置被导入的excel files 3.选择excel文件 4.选择Excel中要被导入的的sheet工作簿,选择之后 ...
- kettle将Excel数据导入oracle
导读 Excel数据导入Oracle数据库的方法: 1.使用PL SQL 工具附带的功能,效率比较低 可参考这篇文章的介绍:http://www.2cto.com/database/201212/17 ...
- 将Excel数据导入mysql数据库的几种方法
将Excel数据导入mysql数据库的几种方法 “我的面试感悟”有奖征文大赛结果揭晓! 前几天需要将Excel表格中的数据导入到mysql数据库中,在网上查了半天,研究了半天,总结出以下几种方法,下面 ...
- c#将Excel数据导入到数据库的实现代码
这篇文章主要介绍了c#将Excel数据导入到数据库的实现代码,有需要的朋友可以参考一下 假如Excel中的数据如下: 数据库建表如下: 其中Id为自增字段: 代码: 代码如下: using Syste ...
- java实现EXCEL数据导入到数据库中的格式问题的解决
之前作为项目甲方,加之java接触不多,在java web开发方面都是打下手的份. 对于EXCEL数据导入到数据库这个问题一直老是出现格式原因而导入失败也是未免惆怅,开发团队也是只说回去检查一下格式. ...
- Java使用iBatis批量插入数据到Oracle数据库
Java使用iBatis批量插入数据到Oracle数据库 因为我们的数据跨库(mysql,oracle),单独取数据的话需要遍历好多遍,所以就想着先从mysql数据库中取出来的数据然后在oracle数 ...
随机推荐
- navicat链接阿里云mysql报80070007: SSH Tunnel: Server does not support diffie-hellman-group1-sha1 for keyexchange
http://www.jianshu.com/p/200572ed066c navicat 链接数据库 使用navicat 的ssh通道连接数据库回遇到权限问题 错误代码如下: 80070007: ...
- highchart 柱状图 分组样例
var chart = Highcharts.chart('container',{ chart: { type: 'column' }, title: { text: '月平均降雨量' }, sub ...
- vue之component
因为组件是可复用的 Vue 实例,所以它们与 new Vue 接收相同的选项,例如 data.computed.watch.methods 以及生命周期钩子等.仅有的例外是像 el 这样根实例特有的选 ...
- JustOJ1500: 蛇行矩阵
题目链接:https://oj.ismdeep.com/problem?id=1500 题目描述 蛇形矩阵是由1开始的自然数依次排列成的一个矩阵上三角形. 输入 本题有多组数据,每组数据由一个正整数N ...
- Deprecated: getEntityManager is deprecated since Symfony 2.1
PHP5.3应用中,登陆后台管理时提示错误: Deprecated: getEntityManager is deprecated since Symfony 2.1. Use getManager ...
- Powerpoint 演示时定时提醒工具
经常碰到这样的场景,规定的演讲报告时间所剩无几,甚至是已经超时,但演讲者并不知情,做为主持人只能从旁边轻轻的善意的提醒,但有时演讲者会没注意到主持人的提醒... 这里要介绍的就是这样一款用于提醒演讲者 ...
- 从源码层面聊聊面试问烂了的 Spring AOP与SpringMVC
Spring AOP ,SpringMVC ,这两个应该是国内面试必问题,网上有很多答案,其实背背就可以.但今天笔者带大家一起深入浅出源码,看看他的原理.以期让印象更加深刻,面试的时候游刃有余. Sp ...
- UVA - 748 Exponentiation
Problems involving the computation of exact values of very large magnitude and precision are common. ...
- Java连接数据库 #02# JDBC经典套路
内容索引 LocalConnectionFactory.java LocalConnectionProxy.java ProfileDAO.java-2.0 ProfileDAOImpl.java-2 ...
- 一个python代码练习
需求: 写一个用户登录窗口 验证输入的用户名和密码,若正确打印欢迎信息,输入错误三次则加入锁定名单. 锁定名单要持久化存储 # *-* coding:utf-8 *-* # Auth: wangxz ...