项目中使用到SSIS访问vertica,以下是我使用中总结的一些注意事项: 1.vertica对约束的处理方式与之前的DBMS是不同的. 以上的截图说明,在使用ado.net provider连接vertica进行数据加载的时候,ssis 返回的信息是不准确的.这不是provider的问题,使用odbc时也遇到过类似的问题. a.在SSIS中图显示全部绿色,表示执行成功,但是到vertica中查询,却没有发现一条记录. 后仔细检查发现,source中的数据违反了vertica中的一个not nu…

使用ODBC进行连接,因为SSIS中没有直接的ODBC connection,所以使用ADO.NET的连接器. 九分钟才跑了四百来条数据. 这个图反应了SSIS的数据流速度还是可以的,但是瓶颈就在ODBC destination 里. 还有一种情况是,你看到SSIS容器中的组件(控制流和数据流)都已经变绿色了,在Progress info中也没有发现任何的错误提示信息,但是去Vertica中查看,表中却没有任何一种记录. 这是odbc连接没有接到正确的反馈. 我遇到的情况是,Vertica中对应…

----------------------------我是分割线------------------------------- 本文翻译自微软白皮书<In-Memory OLTP – Common Workload Patterns and Migration Considerations>:http://technet.microsoft.com/en-us/library/dn673538.aspx 译者水平有限,如有翻译不当之处,欢迎指正. ----------------------…

本篇文章是Integration Services系列的第二篇,详细内容请参考原文. 简介SSIS用于移动数据.数据流任务提供此功能.因为这个原因,当介绍SSIS时我喜欢从数据流任务开始.数据流任务的基础知识我认为从SSIS数据流任务的基础开始有利图2.1 数据流任务在图2.1我们看到一个非常简单的数据流任务:通过OLE DB源从数据库读入数据到数据流任务,然后通过OLE DB目标写入到目标数据库.源和目标适配器通过连接管理器与数据库和其他数据存储区进行交互.现在让我们把焦点放在数据流任务的内部…

事务,在数据库开发与应用中,发挥了重要的作用,但在Integration Services 包开发过程中,我们还一直没有提到过这个概念,它是不是还是如此,能让各数据库兄弟和睦相处,团结一致,同进退.共存亡呢? 没错,哪里有DB活动,哪里就有Transaction 参与,SSIS包也不例外. 在Integration Services 包中,数据库事务有以下几方面的功能: (1)将几项任务的结果集收集到事务中,以确保数据一致的更新. (2)确保对多台数据库服务器进行一致的更新. (3)确保对不同种…

使用SSIS做ETL的过程中会遇到各种各样的错误,对于一些大数据量的Job失败以后我们不希望重新运行,因为重新运行的时间开销是非常大的,我们只希望从失败的部分开始运行,这样可以省去很多的时间. SSIS提供了Checkpoints的功能,可以捕获检查点文件中的重新启动点.失败的容器类型以及功能(例如事务)的实现都会影响在检查点文件中所记录的重新启动点.检查点文件中还捕获变量的当前值. 创建SSIS的时候需要制定 checkpoint文件目录,checkpoint的信息会被保存到这个xml文件.当…

文章更新历史 2014年9月7日 - 加入了部分更新内容,在文章最后提到了关于不同 Office Excel 版本间的连接问题. 开篇介绍 这篇文章主要总结在 SSIS 中访问和处理 Excel 数据的四个方面的主题内容 (都是处理以 .xlsx 结尾的 Excel 文件) - 如何在 SSIS 中集成对 Microsoft Excel 的访问支持以及注意事项. 如何在 SSIS 中连接和访问 Microsoft Excel 文件以及注意事项. 如何加载不同 Sheet 页的数据到同一个表中.…

最近接手一个项目,程序的基本框架是:程序A导出数据,以.tsv格式存储,数据列之间以tab间隔:程序B吃文档,把数据导入到数据库中,并把处理过的文档备份/移动到指定的目录中.为了快速开发,程序B设计成SSIS的Package,本文主要分享Package的设计思路,组件用法和注意事项.在设计Package时,使用Foreach Loop Container组件遍历Folder中存储的.tsv文档,通过平面文件源读取遍历的tsv文件,通过Expression Task组件获得该文件的备份路径,通过F…

本篇文章是Integration Services系列的第二篇,详细内容请参考原文. 简介SSIS用于移动数据.数据流任务提供此功能.因为这个原因,当介绍SSIS时我喜欢从数据流任务开始.数据流任务的基础知识我认为从SSIS数据流任务的基础开始有利图2.1 数据流任务在图2.1我们看到一个非常简单的数据流任务:通过OLE DB源从数据库读入数据到数据流任务,然后通过OLE DB目标写入到目标数据库.源和目标适配器通过连接管理器与数据库和其他数据存储区进行交互.现在让我们把焦点放在数据流任务的内部…

1.vertica概念 面向数据分析的数据仓库系统解决方式 2.vertica关键特性 Ø  标准的SQL接口:能够利用已有的BI.ETL.Hadoop/MapReduce和OLTP环境 Ø  高可用:内置的冗余也提升了查询速度 Ø  自己主动化数据库设计:数据库自己主动安装.优化.管理 Ø  高级压缩:十多种压缩算法最多可节省90%的空间 Ø  大规模并行处理:执行于低成本的x86型Linux节点上的原生DB感知集群 Ø  列式存储.混合模型:无磁盘I/O瓶颈,加载和查询同一时候进行 Ø  灵…