PB数据管道
数据管道提供了一种不同数据库之间传递数据和(或)表结构的方法。
数据管道对象
要完毕数据管道的功能须要提供例如以下内容:
须要数据源和目标数据库,并可以和这两个数据库正常联接
须要源数据库中的哪些表;
须要拷贝到目标数据库中的什么位置;
要完毕哪些管道操作;
错误发生的频率;
同意错误发生的最大数;
须要包含的扩充特性。
数据管道画板
New —> DataBase —> Data Pipeline
数据管道选项:
Table:目标表名
Key:目标表的主键名(非主键字段名)
Options:管道选项
Create:加入�表、Replace:替换已存在的表、Refresh:删除或者插入行、Append:插入行、Update:更新或者插入行
Max Errors:同意的最大错误数
Commit:被提交的事务处理内的行数
Extended Attributes:扩充特性是否管道化
Design->Database Bolb 处理Blob类型的字段
假设在目标数据库中仅仅创建数据表而不拷贝原来的数据,能够通过定义永远不成立的检索条件来实现,比方2<1作为检索条件。
数据管道用户对象
New —> PB Object —> Standard Class —> OK —> 选中pipeline —> OK
属性:
DataObject:指定使用哪个数据管道
该属性是数据管道最重要的一个属性,有些类似于数据窗体控件的DataObject属性。此属性仅仅能在执行时设定,尽管在用户对象画板中也提供了设置该属性的地方,但这好像不起作用。以下是一个为管道用户对象设定DataObject的样例:
iuo_pipeline.DataObject="p_copy_employee"
数据窗体控件的DataObject属性假设在脚本运行时动态改动,则形成发行文件时,在运行文件里不能包含对应的数据窗体对象。与此类似,数据管道对象也不能包含在运行文件里,而且也不能包含在资源文件pbr中,仅仅能放置到pbd或者dll文件里。
RowsInError:错误记录数
Long类型,表示管道执行时已经发生的错误数。该值肯定不会大于管道画板中定义的MaxErrors的取值。
RowsRead:已经读取的记录数
Long类型,表示管道执行时已经读取的数据记录数。该值肯定不会大于管道画板中Commit中定义的取值。
RowsWritten:已经成功写入的记录数
Long类型,表示已经写入到数据库中的数据记录数
Syntax:管道对象的语法
该属性也是一个非常重要的属性,它体现了管道的所有定义,在某种程度上能够把它用做一个管道。利用该属性能够构造出通用性非常强的数据管道,由于能够使用Mid,Pos,Len,Left和Right等字符串处理函数改动数据管道Syntax的语法,以适应程序执行时的情况。
能够选择管道用户对象 —> 右键:Edit Source查看语法
事件:
除了两个标准事件constructor和Destructor之外,还有三个数据管道用户对象所特有的事件,它们是PipeStart,PipeMeter和PipeEnd。这三个事件分别在管道运行时、运行期间和运行结束后触发。通常使用这三个事件和管道的某些属性来反映运行进度。
PipeStart事件在调用管道函数Start()或者Repair()之后触发。PipeMeter事件在提交某个事务处理之后触发,这一般是在处理的记录数达到Commit值规定的数时,PipeEnd事件在函数Start或者Repair的运行过程终止时触发。
函数:
Start:
pipelineobject.Start(sourcetrans,destinationtrans,errordatawindow{,arg1,arg2,...,argn } )
当中,pipelineobject为管道用户对象类型变量,在运行该函数之前它的DataObject属性有明白的取值;sourcetrans为联接源库的事务对象,destinationtrans是用来联接目标库的事务对象,这两个事务对象在此之前都应该和对应的库正确建立了联接;当管道运行时假设错误发生,它的错误信息显示在errordatawindow数据窗体控件中。没有必要为该控件指明数据窗体对象,即使指明在显示错误信息时该数据窗体对象也被替换。前面这三个变量是必需要指明的,否则该函数无法正常工作。后面的变量依据数据管道是否定义了检索变量而定。假设数据管道定义了检索变量,arg1,arg2,...,argn要指定,而且变量的个数和检索变量的个数同样,而且对应的类型同样。假设管道对象定义了检索变量,而在Start函数中没有提供对应的值,在管道运行时系统会弹出对话框,要求用户输入检索变量。函数运行时的返回值情况比較复杂,例如以下所看到的:
返回值 含义
1 函数运行成功
-1 管道打开失败
-2 列太多
-3 目标表已经存在
-4 目标表不存在
-5 联结错误
-6 检索变量错误
-7 列不匹配
-8 源中有致命的SQL错误
-9 目标中有致命的SQL错误
-10 超出了最大的错误数
-12 表语法错误
-13 没有提供必须的主键
-15 管道操作已经进行
-16 源数据库中有错误
-17 目标数据库中有错误
-18 目标数据库是仅仅读的
Repair:
在脚本中运行管道,错误发生后必须进行一定的处理。Repair函数就是在管道运行错误发生后应该运行的。
发生错误后,错误信息及错误数据显示在Start函数errordatawindow变量指定的数据窗体控件中。用户在改动错误后能够再次提交数据,这时调用Repair函数。这相当于在数据管道画板中发生错误后使用Painter Bar中的小图标buttonUpdate DB,或者使用菜单项Design->Update Database。
pipelineobject.Repair ( destinationtrans )
当中,pipelineobject是管道用户对象类型变量,在运行该函数之前它的DataObject属性有明白的取值;destinationtrans是和目标库建立联接的事务对象。函数的返回值也比較复杂,例如以下所看到的:
返回值 含义
1 函数运行成功
-5 联结错误
-9 目标中有致命的SQL错误
-10 超出了最大的错误数
-11 无效的窗体句柄
-12 表语法错误
-15 管道操作已经进行
-17 目标数据库中有错误
-18 目标数据库是仅仅读的
Cancel:
该函数能够终止正在运行的管道,在用户要强制退出某数据管道时能够调用该函数。
pipelineobject.Cancel()
函数正确运行返回1,否则返回-1。
执行数据管道
在数据画板中直接执行
使用菜单项Design -> Execute或者PainterBar中的Execute小图标button来执行当前的数据管道。管道执行过程中,假设出现错误信息,应该依据错误信息改动管道的定义,然后又一次执行。
假设为提取源表数据指定了检索变量,则在运行时要求用户输入取值,然后使用该值检索源数据窗体中符合该条件的数据。假设未定义检索參数,则直接从源表中读取数据。
在程序中运行管道
需例如以下步骤:
创建相关对象
和源目标数据库建立联接
创建数据管道,并设置其相关属性
运行管道,并处理各种异常。
在脚本中使用数据管道,须要创建三个对象:数据管道对象、数据管道用户对象以及一个保存错误信息的数据窗体对象,当中数据窗体对象是在管道执行错误时由系统自己主动创建的,数据管道对象在数据管道画板中创建,数据管道用户对象在Standard Class用户对象中创建。
PB数据管道的更多相关文章
- 五年双十一:SLS数据管道发展之路
日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一.双十二.新春红包锤炼.在2019双十一中: 服务阿里经济体3W+ 应用 ...
- Kafka笔记7(构建数据管道)
构建数据管道需要考虑的问题: 及时性 可靠性 高吞吐量和动态吞吐量 数据格式 转换 安全性 故障处理能力 耦合性与灵活性 数据管道的构建分为2个阵营,ETL和ELT ETL:提取- ...
- pb数据导出
pb数据导出(一) 1.在窗口新建用户事件 ue_export 2.事件调用函数 gf_dw_to_excel(THIS.dw_dict) 3.写函数 :boolean lb_setborde ...
- SSIS 数据流的执行树和数据管道
数据流组件的设计愿景是快速处理海量的数据,为了实现该目标,SSIS数据源引擎需要创建执行树和数据管道这两个数据结构,而用户为了快速处理数据流,必须知道各个转换组件的阻塞性,充分利用流式处理流程,利用更 ...
- Apache Beam实战指南 | 大数据管道(pipeline)设计及实践
Apache Beam实战指南 | 大数据管道(pipeline)设计及实践 mp.weixin.qq.com 策划 & 审校 | Natalie作者 | 张海涛编辑 | LindaAI 前 ...
- 【tensorflow2.0】数据管道dataset
如果需要训练的数据大小不大,例如不到1G,那么可以直接全部读入内存中进行训练,这样一般效率最高. 但如果需要训练的数据很大,例如超过10G,无法一次载入内存,那么通常需要在训练的过程中分批逐渐读入. ...
- 「视频小课堂」Logstash如何成为镇得住场面的数据管道(文字版)
视频地址 B站视频地址:Logstash如何成为镇得住场面的数据管道 公众号视频地址:Logstash如何成为镇得住场面的数据管道 知乎视频地址:Logstash如何成为镇得住场面的数据管道 内容 首 ...
- Kafka连接器建立数据管道
1.概述 最近,有同学留言咨询Kafka连接器的相关内容,今天笔者给大家分享一下Kafka连接器建立数据管道的相关内容. 2.内容 Kafka连接器是一种用于Kafka系统和其他系统之间进行功能扩展. ...
- pb数据窗口设置操作
1 使DataWindow列只能追加不能修改如何使DataWindow中的数据只能追加新记录而不能修改,利用 Column 的 Protect 属性可以很方便的做到这一点,方法如下:将每一列的 Pro ...
随机推荐
- linux下移动或者复制文件覆盖相同文件夹时,文件夹里面的每个文件都提示是否覆盖
链接地址:http://blog.chinaunix.net/uid-23683795-id-2391087.html # vi ~/.bashrc 如果你看到如下内容,以下命令都会用别名执行了, ...
- cocos2dx进阶学习之CCTMXTiledMap
继承关系 CCTMXTiledMap -> CCNode 它由CCNode派生,我们已经知道CCNode是cocos2dx的舞台对象的公共父类,所以CCTMXTiledMap也是个舞台对象 成员 ...
- 破解企业QQ对个人QQ登陆的限制(原创)
运行系统:WIN7 破解时间:2014-02-19 破解思路:自从2013-11-11的1.85版企业qq更新后,网上流传的破解方法(运行文件BeatQQEIM.bat)已经不起作用了,可以同时登陆, ...
- BestCoder Round #50 (div.1) 1003 The mook jong (HDU OJ 5366) 规律递推
题目:Click here 题意:bestcoder 上面有中文题目 分析:令f[i]为最后一个木人桩摆放在i位置的方案,令s[i]为f[i]的前缀和.很容易就能想到f[i]=s[i-3]+1,s[i ...
- java实现随机验证码的图片
链接地址:http://blog.sina.com.cn/s/blog_407a68fc010006qo.html 1.一共需要2个常用java文件(RandomCode.java和RandomCod ...
- ELK 之二:ElasticSearch 和Logstash高级使用
一:文档 官方文档地址:1.x版本和2.x版本 https://www.elastic.co/guide/en/elasticsearch/guide/index.html 硬件要求: 1.内存,官方 ...
- 将时间显示为“刚刚”“n分钟/小时前”等
在很多场合为了显示出信息的及时性,一般会将时间显示成“刚刚”,“5分钟前”,“3小时前”等,而不是直接将时间打印出来.比如微博,SNS类应用就最长用到这个功能.而一般存储在数据库中的时间格式为 Uni ...
- 基于visual Studio2013解决算法导论之045斐波那契堆
题目 斐波那契堆 解决代码及点评 // 斐波那契堆.cpp : 定义控制台应用程序的入口点. // #include<iostream> #include<cstdio> ...
- kingso_sort - Taocode
kingso_sort - Taocode 如何编写新sort 由于排序逻辑多种多样,kingso的排序设计成是由一个个排序对象串起的排序链条组成.排序对象之间可以任意组合(只需要改配置文件),就可以 ...
- HDU 4679 String
String Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65535/32768 K (Java/Others) Total Sub ...