如何统一管理单个任务下所有API的同步情况?
如何统一管理单个任务下所有API的同步情况
1. 一分钟完成单个API配置
单个API的配置包含:API名称、URL地址、请求方式、参数设置、自定义高级设置。
参数允许用户填写:Text、WebService、Timestamp、DependOn。
若用户的value是一个数值或者静态数组则选择Text即可,若某一个key的value是动态的,可选择Web Service。
若公司的api-key还有symbol(或者signature)是动态的,用户无法给出静态值,所以可通过该功能实现动态传参。
用户可根据每个API的特殊情况完成自定义高级设置:若交易所API有请求频率的限制,可使用「最大请求频率」功能设置。若参数中需要指定分页参数,也可在高级设置中完成。
DataPipeline提供了指定「签名设置」,以及分隔符等其他自定义设置。
2. 允许用户在单个任务添加多个API,统一管理相关API
可同时(定时)请求多个API。
可统一管理单个任务下所有API的同步情况。
可动态修改API的任何配置项。
若某个API应用于多个任务时,只要修改一个指定的API即可完成所有任务下同一个API的配置。
3. 自定义目标库表结构
用户可以根据需求指定目标库的表名称以及每个字段的所有属性。
DataPipeline会自动检查目标库是否存在重名的情况。
可根据业务需求完成自定义字段内容,包括:字段名称、字段类型、精度、标度、主键以及其他。
4. 可视化调试解析逻辑与解析结果
DataPipeline提供可视化调试工具,内容包括:清洗脚本编辑器、样例数据栏、运行结果栏。
上半部分为解析脚本编辑器,用户可根据自己的解析逻辑完成解析脚本的录入与修改。
左下半部分为样例数据栏,系统会自动获取该目的地表对应的API数据,便于用户编辑解析逻辑。
点击「试运行」,系统会立即返回样例数据经过解析脚本后的结果。若运行结果符合用户预期(与设置的目标库表结构一致),则点击「保存」即可。
5. 运行与监控API任务
当用户完成API配置以及目标库表结构设计,则可以「激活任务」。
DataPipeline 在任务设置上会提供更多个性化设置(定时、读写速率、并发限制、预警通知、错误队列等)。
用户在任务详情页可以很直观地看到每个任务的同步情况,帮助用户降低获取各个API数据的开发和运维成本。
如何统一管理单个任务下所有API的同步情况?的更多相关文章
- DataPipeline丨金融行业如何统一管理单个任务下所有API的同步情况
目前,依靠"手工人力"的电子表格数据治理模式逐渐被"自动智能"的专业工具取代.数据管理员.业务分析师开始采用"平台工具"来梳理主数据.元数据 ...
- 如何统一管理单个任务下所有API的同步情况?
1. 一分钟完成单个API配置 单个API的配置包含:API名称.URL地址.请求方式.参数设置.自定义高级设置. 参数允许用户填写:Text.WebService.Timestamp.DependO ...
- Vue中axios的封装和api接口的统一管理
更新的是我csdn上的文章,需要的话可以看下,互相学习点击去我的csdn vue中axios的封装 在vue项目和后端交互获取数据时,通常使用axios库,官方文档:https://www.npmjs ...
- gateway聚合swagger3统一管理api文档
springboot微服务整合swagger3方法很简单,下文会演示.但是在分布式项目中如果每个微服务都需要单独的分开访问获取接口文档就不方便了,本文将详细讲解springcloud gateway网 ...
- vue axios封装以及API统一管理
在vue项目中,每次和后台交互的时候,经常用到的就是axios请求数据,它是基于promise的http库,可运行在浏览器端和node.js中.当项目越来越大的时候,接口的请求也会越来越多,怎么去管理 ...
- springboot学习-jdbc操作数据库--yml注意事项--controller接受参数以及参数校验--异常统一管理以及aop的使用---整合mybatis---swagger2构建api文档---jpa访问数据库及page进行分页---整合redis---定时任务
springboot学习-jdbc操作数据库--yml注意事项--controller接受参数以及参数校验-- 异常统一管理以及aop的使用---整合mybatis---swagger2构建api文档 ...
- API统一管理平台-YApi
前言:开发过程中,会产生很多接口对接操作,这个时候可能需要一个接口管理平台管理已经开发好的接口方便业务对接. 一.概述 YApi 是高效.易用.功能强大的 api 管理平台,旨在为开发.产品.测试人员 ...
- .NET Core微服务之基于Steeltoe使用Spring Cloud Config统一管理配置
Tip: 此篇已加入.NET Core微服务基础系列文章索引 => Steeltoe目录快速导航: 1. 基于Steeltoe使用Spring Cloud Eureka 2. 基于Steelt ...
- WiFi 统一管理以及设备自动化测试实践
ATX 安卓设备 WiFi 统一管理以及设备自动化测试实践 (零散知识梳理总结) 此文为转载,感谢作者 目录 众所周知,安卓单台设备的UI自动化测试已经比较完善了,有数不清的自动化框架或者工具.但 ...
随机推荐
- Chrome提示:"请停用以开发者模式运行的扩展程序"的解决办法
操作步骤 1.开始 -> 运行 -> 输入gpedit.msc -> 回车确定打开计算机本地组策略编辑器(通过Win + R快捷键可以快速打开运行),如图所示: 2.在打开的本地组策 ...
- 029_H5打包编译成IOS
由于需要H5编写的应用在iPhone上使用,所以有了以下的需求 一. (1)下载npm,官网: http://nodejs.org/ 下载nodejs安装包 Reference:https://jin ...
- PHPUnit 单元测试教程
一.官网下载对应 PHP 版本的代码库 https://phpunit.de/getting-started-with-phpunit.html 二.安装 PHPUnit 官网提供了两种方法安装 1. ...
- nsqphp源码分析(一)
一.目录结构 二.
- 002-Python3-基础语法-赋值、显示类型、数据类型[数值、字符串、列表、元祖、集合、字典]
一.基础语法 参看地址:https://www.runoob.com/python3/python3-tutorial.html 基础数据类型 Python 中的变量不需要声明.每个变量在使用前都必须 ...
- Playbooks简介
Playbooks简介 关于Playbooks Playbook简单示例 基本组成 主机和用户 任务列表 Handlers: 配置更改时运行操作 执行Playbook Ansible-Pull Lin ...
- vSphere SDK for Java - 为虚拟机添加磁盘
示例代码: import com.vmware.vim25.*; import com.vmware.vim25.mo.*; import org.springframework.stereotype ...
- linux驱动开发学习一:创建一个字符设备
首先是内核初始化函数.代码如下.主要是三个步骤.1 生成设备号. 2 注册设备号.3 创建设备. #include <linux/module.h> #include <linux/ ...
- java字符串截取
import org.apache.commons.lang.StringUtils; public class substr{ public static void main(String[] ar ...
- python + selenium + unittest实现简单的UI自动化
使用的版本是python 3,其中HTMLTestRunner是修改版本,参考以下博客并下载 https://blog.csdn.net/zhanin123/article/details/78950 ...