SSIS 数据源组件的External Metadata和Advanced Property

1,SSIS的组件属性ValidateExternalMetadata 如果一个Destination组件使用的是上游创建的staging table,那么必须设置 ValidateExternalMetadata=false,这样组件对staging table的ExternalMetadata的检查延迟组件运行时. 2,ExternalMetadata是外部数据源的Metadata,数据源组件需要从外部db中获取Column的Name,DataType,Length,Scale,Precis…

SQL Server 2005 Integration Services (SSIS)数据源之MySQL

一安装MySQL数据库的ODBC驱动下载MySQL Connector ODBC 3.51.rar 单击setup按默认安装即可! 如下图所示,在ODBC数据源管理器中看到“MySQL ODBC 3.51 Driver”即表示安装成功! 当然看不到,那么你就要重新安装了!当然还有不同的版本! 二建立MySQL的ODBC数据源如下图所示: 特别提醒: 一定要在Connect Options选项栏中设置字符集,否则导入到SQL Server2005中会出现乱码! 我分别测试了…

SSIS 查找组件

通过SSIS的“查找”组件进行不同数据源之间数据的合并操作为了协助开发还原生产环境中的某些bug,需要将将生产环境的某些特定表数据导入到测试环境做测试,之前一直都是暴力地truncate测试环境的表,然后用SSIS将生产环境对应的整张表数据导入测试环境,简便快捷后来开发提出来,保留测试环境已有的数据,只同步差异的数据(根据主键),于是就尝试使用SSIS中的“查找”组件进行不同服务器之间的“存在则更新,不存在则插入”数据合并操作,实际操作的时候只执行插入操作,达到同步数据的目的. 尝试之后觉得还…

SSIS Destination 组件使用Fast-Load mode出错

查看一个Package的历史Message 数据,发现 DataFlow Task 经常出错,错误信息的Description是: Description: "While reading current row from host, a premature end-of-message was encountered--an incoming data stream was interrupted when the server expected to see more data. The ho…

阿里巴巴Druid数据源组件

目前常用的数据源主要有c3p0.dbcp.proxool.druid,先来说说他们Spring 推荐使用dbcp:Hibernate 推荐使用c3p0和proxool1. DBCP:apacheDBCP(DataBase connection pool)数据库连接池.是apache上的一个 java连接池项目,也是 tomcat使用的连接池组件.单独使用dbcp需要3个包:common-dbcp.jar,common-pool.jar,common-collections.jar由于建立数据库连…

SSIS: Lookup组件高级用法,生成推断成员(inferred member)

将数据导入事实表如果无法匹配维度表的记录一般有两种处理方式. 一是将不匹配记录输出到一个表中待后续处理,然后重新导入.二是先生成维度Key,后续再完善维度key,本文指导各位使用第二种方式. 背景比如下图StoreID为1的经销商不存在于我们经销商维度表中,我们现在要使用lookup组件进行匹配,并生成维度key. 操作步骤 1. 先添加一个派生列组件,将StoreID转为字符,等会儿生成键值会用到. 2. 先进行匹配一次,然后把无法匹配到的记录传到下一个Lookup 组件 Insert …

MySQL之当数据库数据源被锁(Table Metadata Lock)时的解决方案

0.发生的原因分析:[hibernate的线程池连接导致了不能修改被锁定数据库的数据库型模式] 1.关掉hibernate的所有线程池(选择退出IDE或者其他办法) 2.查看被锁的进程ID:show full processlist 3.杀掉该进程ID:kill + ID 4.提交导致数据源被锁的事务:COMMIT 或者 ROLLBACK…

基于注解的springboot+mybatis的多数据源组件的实现

通常业务开发中,我们会使用到多个数据源,比如,部分数据存在mysql实例中,部分数据是在oracle数据库中,那这时候,项目基于springboot和mybatis,其实只需要配置两个数据源即可,只需要按照 dataSource - SqlSessionFactory - SqlSessionTemplate配置好就可以了. 如下代码,首先我们配置一个主数据源,通过@Primary注解标识为一个默认数据源,通过配置文件中的spring.datasource作为数据源配置,生成SqlSession…

[转]SSIS数据转换组件_派生列、审核、字符映射转换和条件性拆分转换

本文转自:http://www.cnblogs.com/gudujianxiao/archive/2012/04/14/2446925.html 一派生列派生列转换通过对输入列进行类型转换或应用表达式得出新的结果.这个结果可以作为新列添加,也可以替换输入列.可以使用此转换执行下列任务: 1.将不同列的数据连接到一个派生列中.例如,可以使用表达式 FirstName + " " + LastName 将 FirstName 和 LastName 列中的值组合到名为 FullName…

SSIS 剖析数据流之：连接和查找转换

在SSIS的数据流组件中,SSIS引擎使用Merge Join组件和 Lookup组件实现TSQL语句中的inner join 和 outer join 功能,Lookup查找组件的功能更类似TSQL的Exists关键字,只检查数据是否存在.在SSIS引擎中,任何流经数据流(Data Flow)组件的数据都会被加载到服务器内存的数据缓冲区中,数据缓冲区能够容纳的数据量决定了转换组件的性能. 一,转换组件的结构 1,Lookup转换组件有一个输入(Input),一个查找表(或叫缓存表,引用表),映…

【转载】Spark SQL之External DataSource外部数据源

http://blog.csdn.net/oopsoom/article/details/42061077 一.Spark SQL External DataSource简介随着Spark1.2的发布,Spark SQL开始正式支持外部数据源.Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现. 这使得Spark SQL支持了更多的类型数据源,如json, parquet, avro, csv格式.只要我们愿意,我们可以开发出任意的外部数据源来连接到Spark SQL.之前…

第十一篇：Spark SQL 源码分析之 External DataSource外部数据源

上周Spark1.2刚发布,周末在家没事,把这个特性给了解一下,顺便分析下源码,看一看这个特性是如何设计及实现的. /** Spark SQL源码分析系列文章*/ (Ps: External DataSource使用篇地址:Spark SQL之External DataSource外部数据源(一)示例 http://blog.csdn.net/oopsoom/article/details/42061077) 一.Sources包核心 Spark SQL在Spark1.2中提供了External…

Spark SQL之External DataSource外部数据源（二）源代码分析

上周Spark1.2刚公布,周末在家没事,把这个特性给了解一下,顺便分析下源代码,看一看这个特性是怎样设计及实现的. /** Spark SQL源代码分析系列文章*/ (Ps: External DataSource使用篇地址:Spark SQL之External DataSource外部数据源(一)演示样例 http://blog.csdn.net/oopsoom/article/details/42061077) 一.Sources包核心 Spark SQL在Spark1.2中提供了Exte…

OLEDB数据源和目标组件

在SSIS工程的开发过程中,OLEDB 数据源和目标组件是最常用的数据流组件.从功能上讲,OLEDB 数据源组件用于从OLEDB 提供者(Provider)中获取数据,传递给下游组件,OLEDB提供者是外部数据源,SQL Server是其中一种OLEDB提供者:OLEDB目标组件用于把数据流插入到关系型数据表中.OLEDB数据源和目标组件非常灵活,支持动态传参,功能强大,本文总结了这两个组件经常被用到的属性和用法. 一,数据源组件查看数据源组件的编辑器,对数据源组件的配置,主要分为三大部分:连…

SSIS 对数据排序

SSIS 对数据排序有两种方式,一种是使用Sort组件,一种是使用sql command的order by clause进行排序. 一,使用Sort组件进行排序 SortType:升序 ascending,降序 descending SortOrder:排序列的位置,从1开始依次递增, Remove wors with duplicate sort values:如果排序列重复,是否删除重复的行,这不同于distinct,distinct是输出的所有列不重复,选中该选项,只是保证排序列(输出列的…

SSIS Component的ValidateExternalMetadata属性

ValidateExternalMetadata Property Indicates whether the component validates its column metadata against its external data source at design time. When this property is true, the component connects to its external data source during design time and val…

SSIS 数据输出列因为字符截断而失败

在数据源组件中,如果存在字符串类型的数据列,那么可能会存在,因为字符类型的长度不匹配,导致字符数据被截断的问题. SSIS报错信息:“Text was truncated or one or more characters had no match in the target code page.". 第一种scenario是修改Output Columns的Data Type Properties. 打开Advanced Editor,选中Input and Output Properties…

数据库高手（DBA专家，SSIS,replacation ,tourble shooting）

http://www.cnblogs.com/qanholas/category/266780.html 随笔分类 - mssql SQL Server 2008 Datetime Cast 成 Date 类型可以使用索引(转载) 摘要: 很久没写blog,不是懒,实在是最近我这的访问速度不好,用firefox经常上传不了图片 .......今天无意发现了SQL Server 2008 Datetime Cast 成 Date 类型可以使用索引,分享一下:测试环境:USETEMPDBGOCREA…

SSIS 数据类型和类型转换

在进行ETL开发时,数据类型(Data Type)是最基础的,但也容易被忽略,楼主使用的SQL Server 版本是2012,用此博文记录,常用的SSIS数据类型和TSQL数据类型的映射.SSIS的数据类型,是指数据流组件使用的数据类型和变量的数据类型(Data Flow 和 Variable). 当数据进入Package的data flow task中时,SSIS 通过数据源组件从数据源抽取(extract)数据,获取元数据类型,并转换成SSIS支持的数据类型,SSIS的数据类型主要分为三类:…

在SSIS 的 64 位版本中不支持 Excel 连接管理器

Microsoft sql server 2008 R2——> SQL SERVER Business Intelligence Development Studio 使用EXCEL数据源或目标报如下错误启动 SSIS 包“Package.dtsx”. 信息: 0x4004300A,位于数据流任务, SSIS.Pipeline: 正开始验证阶段. 错误: 0xC00F9304,位于 Package, 连接管理器“Excel 连接管理器 1”: SSIS 错误代码 DTS_E_OLEDB_EX…

SSIS 处理 bit 列

一般的编程语言,例如,C#.Java和R等都有布尔类型,用于表示逻辑真(true)和假(false),SQL Server没有布尔类型,但是,在编程时,可以使用bit 类型来代替,bit类型只有两个有效值:0 和 1.在设计数据表时,使用0代表逻辑假,使用1代表逻辑真.SSIS引擎内置有布尔类型,SSIS自动把bit 类型转换成布尔类型,把 1 转换成 True,把0 转换成False. bit类型的0和1,跟整数类型的0和1是不同的: 当把整数类型转换为bit类型时,整数0转换为bit类型的0…

微软BI 之SSIS 系列 - 理解Data Flow Task 中的同步与异步, 阻塞,半阻塞和全阻塞以及Buffer 缓存概念

开篇介绍在 SSIS Dataflow 数据流中的组件可以分为 Synchronous 同步和 Asynchronous 异步这两种类型. 同步与异步 Synchronous and Asynchronous Synchronous 同步组件同步组件有一个非常重要的特征 - 同步组件的输出和它的输入共享同一个缓存,即输入多少行数据输出就多少行数据.在同步转换的过程中,输入一行,输出一行,输入与输出同步,它们同时发生. Asynchronous 异步组件异步组件的特征就是它的输出使用的是一个…

TADOConnection组件

该组件用于建立数据库的连接.ADO的数据源组件和命令组件可以通过该组件运行命令及数据库中提取数据等. 该组件用于建立数据库的连接,该连接可被多个数据集所共享,但是并不是应用程序中必须的,因为ADO数据集及命令组件通过设置其ConnectionString属性,可以直接连接到数据库.但是如果多个数据集使用相同的数据库连接时,则使用TADOConnection就有一定的优势,因为不必为每个数据集都单独建立数据库的连接,同时也减少了资源的消耗,并且可以建立跨越多个数据集的事务.一个事务(transac…