1,利用专用自动化工具:如Tidal,Ctrl-M,Jenkins等.特点是功能强大,可以调用各种平台程序,脚本,可以设置依赖关系,调度时间,可以监控运行状态,发送邮件. 2,利用工具自身携带的调度功能:如ODI中的加载计划,SSIS中的SQL Server Agent,OBIEE中的报表推送代理.特点:专,精,和相应的主工具集成度和兼容性较好,但是缺乏通用性.…

什么是批量作业: 批量处理是银行业整个信息后台最为重要的技术形态,也是银行核心信息资产数据的分享.传输.演化的重要技术手段.有调查指出,全球70%的数据是经过批量处理得以再次使用,可见批量处理在整个信息生态中的技术占比与重要性. 银行业经过多年的信息化建设,逐步建立起几十甚至几百个信息系统,其中,绝大多数系统后台都具备有不同规模的作业批量处理,总体批量作业数已发展成几千到几万这样的一个庞大规模.随着大数据时代的到来,特别是在数据仓库.大数据平台的带动下,这样的规模还将快速发展,其批量作业数规模也…

作者:陈希章 发表于 2017年8月13日 2017年8月11日下午两点,Power BI 两周年技术和方案交流圆桌会议如期举行.线上和线下约有100位朋友参加了由我组织和主持的本次活动,在两个小时的会议中我也很荣幸邀请到了Power BI产品技术专家,典型客户和合作伙伴做精彩分享,在活动的最后,还有热烈的互动讨论环节. 谈一谈现代工作方式将如何帮助企业提高竞争力 前不久我专门谈了谈 AI(Artifical Intelligence--人工智能),很高兴今天又可以来谈谈BI的话题.Busine…

关注微信公众号:FocusBI 查看更多文章:加QQ群:808774277 获取学习资料和一起探讨问题. <商业智能教程>pdf下载地址 链接:https://pan.baidu.com/s/1f9VdZUXztwylkOdFLbcmWw 密码:2r4v 数据行业发展的很快,很多一起做BI的朋友都已转入大数据.云计算.人工智能等高大上的领域去了,而我还停留在原地做BI,导致能一起讨论问题的人越来越少,我还有太多BI领域的知识不会,需要深入学习,只好一个人慢慢前行一点一点的去学. 在做BI实施的…

微信公众号:FocusBI关注可了解更多的商业智能.数据仓库.数据库开发.爬虫知识及沪深股市数据推送.问题或建议,请关注公众号发送消息留言;如果你觉得FocusBI对你有帮助,欢迎转发朋友圈或在文章末尾点赞[1] <商业智能教程>pdf下载地址 链接:https://pan.baidu.com/s/1f9VdZUXztwylkOdFLbcmWw 密码:2r4v 在 FocusBI:SSIS体系结构.<SSIS开发案例>这两篇文章中讲到SSIS 开发完最终是要被执行的,但是被执行后会…

自动化部署方案   由于来来也的时间不久,可能对现有的部署情况不是很了解,以下是个人对POC自动化部署的设计方案. 自动化部署优点 降低成本,提高生产力,高可用,更可靠,性能优化   与gitlab持续集成的比较流行的有jenkins和gitlab-ci Jenkins: 优点:编译服务和代码仓库分离,而且编译配置文件不需要在工程中配置,如果团队有开发.测试.配置管理员.运维.实施等完整的人员配置,那就采用jenkins,这样职责分明.jenkins依靠它丰富的插件,可以配置很多gitlab-c…

很牛的测试 参考: 1.https://www.radiantvisionsystems.com/ 2.https://www.radiantvisionsystems.com/node/275 LCD显示器缺陷自动化检测方案 Video 成像亮度计及成像色度计在显示器生产过程中针对显示器亮度.色度缺陷检测的应用,从而助力制造商提高产效.降低生产成本,提高显示器每一制程的产品品质. × × WATCH THE VIDEO Prefer to watch on YouKu?…

Birkhoff-von Neumann Crossbar 光交换网络的调度方案 ​ This is a summary aimed at looking for "high performance novel scheduling algorithm for fast optical switch in data center network" ​ 主要基于 [1~6],也包含一些对 optical data center network 相关技术的理解,并且拿了一个自以为蛮漂亮的调…

1. 前言 大家好,我是安果! 上一篇文章,聊到 PC 端的一种自动化方案:WinAppDriver 聊聊 PC 端自动化最佳方案 - WinAppDriver 有小伙伴后台给我留言,说「 pywinauto 」作为 WinAppDriver 的替代方案,也能完美完成 PC 端的自动化 2. 介绍 Pywinauto,完全由 Python 构建的一个模块,可以用于自动化 Windows 上的 GUI 应用程序 同时,它支持鼠标.键盘操作,在元素控件树较复杂的界面,可以辅助我们完成自动化操作 项目…

1.阿里开源软件:DataX DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳定高效的数据同步功能.(摘自百科) 2.Apache开源软件:Sqoop Sqoop(发音:skup)是一款开源的工具,主要用于在HADOOP(Hive)与传统的数据库(mysql.postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Post…

ezdpl是easy deployment的简写,使用简单的ssh和shell脚本来部署.升级.回滚和重新配置linux服务器. 重要提示:警告:这个项目还处于测试过程中,请仔细阅读说明,并且自己承担可能带来的风险.最佳实践:根据自己的生产环境修改脚本,部署之前需要充分测试. 最新版本请关注我的github https://github.com/Panblack/ezdpl 为什么要写ezdpl?现在很流行使用puppet之类的工具进行自动化的系统配置.puppet方便.高效而且可以在实际配置之…

一,基础篇 先安装nodejs 使用淘宝镜像安装tnpm 安装 cnpm 插件:npm install -g cnpm --registry=https://registry.npm.taobao.org 然后就可以用 cnpm命令从淘宝镜像获取插件包了:当然,你这时候依旧可以用npm命令从官方服务获取插件包. cnpm支持除 publish 之外的原生 npm 所有命令. 1,新建文件夹 gulp 2,切换到gulp目录下,执行 cnpm init,填写相关信息,生成package.json文…

下文仅针对TASKCTL4.5有效,在执行安装程序后,会看到安装程序有4个选项,其中,1和2是需要了解的. 1, 典型安装: 这个选项是单机部署,在第一次使用TASKCTL的时候,我用的是这种安装方式,安装起来非常省心.后来了解到它会自动的把一个Server节点和字符界面客户端安装好,这样我们就能够快速体验软件,同时,也会提示用户安装TASKCTL制作的一些范例,很多在文档没有描述清楚的技术细节,这里都有说明. 2, 产品自定义安装: 这个选项在联机部署时会用到,当然,也可以用作单机部署.它需要…

本文是我关于数据库分区的方案的一些想法,或许有些问题.仅供大家讨论.SqlServer (SqlServer 2005\SqlServer 2008)实现分区需要在企业版下进行. SqlServer的分区分为大致有以下个过程:1.创建文件组用以存放数据文件 2.创建文件组用户数据文件 3.创建分区函数 4.创建分区方案  5.在分区方案下创建表 本文是在SqlServer2012 下完成的. 过程: 1.新建数据库,在属性中创建文件以及文件组.如下图: 可以在下图中选择文件组.或者新建文件组用户…

Scheduler是k8s集群的调度器,主要的任务是把定义好的pod分配到集群节点上 有以下特征: 1  公平   保证每一个节点都能被合理分配资源或者能被分配资源 2  资源高效利用   集群所有资源最大化被利用 3  效率  调度的性能好,能够对大批量pod进行调度 4  灵活  允许用户根据自己的需求控制调取的逻辑 工作原理: Scheduler是单独运行的程序,启动之后会一直连接API Server,获取值:PodSpec.NodeName为空的pod,也就是对没有标记namespace…

1. 前言 大家好,我是安果! 一提到自动化,可能大家想到的是 App 端的 Appium.Airtest.AutoJS,亦或是 Selenium.Puppeteer.Cypress 等 Web 端的自动化框架 本篇文章,我将和大家聊聊 PC 端的自动化工具 - WinAppDriver ​2. 准备 WinAppDriver,全称为 Windows Application Driver,它是 Windows 上一个类似 Selenium 的 UI 自动化驱动服务框架 它支持 Appium,可以…

Cron表达式 1. 时间字段与基本格式 Cron表达式有6或7个空格分割的时间字段组成: 位置 时间域名 允许值 允许的特殊字符 1 秒 0-59 ,-*/ 2 分支 0-59 ,-*?/ 3 小时 0-23 ,-*/ 4 日期 1-31 ,-*/LWC 5 月份 1-12或 JAN-DEC ,-*/ 6 星期 1-7 或 SUN-SAT ,-*?/LC# 7 年(可选) 1970-2099 ,-*/ 在月份和星期中,我们也可以使用英文单词的缩写形式 2. 特殊字符 在Cron表达式的时间字段…

准备工作 Jenkins和gogs的安装配置可以看前两篇:Jenkins安装.配置与说明  和 gogs安装与说明(docker) 此外,因为还要安装.net core的SDK和Git工具: 安装.net core(本文使用的3.1) : linux 部署.net core 环境 安装Git: # Ubuntu sudo apt-get install git # CentOS sudo yum install -y git # 配置,暂时也可以不配置 git config --global u…

本文主要来源以下Bryce Zhang博主的文章,感谢博主的无私分享,转载请注明出处,尊重原创 然,根据Bryce Zhang文章进行实践过程中遇到一些问题,解决后在此做相应的总结.大神请绕道,觉得低端更勿喷,一笑而过即可,以下为正文: 问题1:为什么没有任何编译信息出现,总是提示file don't exist 答:因为以上脚本中自动创建的文件夹只有Sites和workspace/xcodebuild文件夹,其它搜索项目的文件夹以及编译后相关文件存放的文件夹都没有自动创建,需要使用者自行创建.…

deployment methodIn Redshift1, Deploy process: Drop and Refresh the view, Drop table, Create an empty table using the DDL2, Build data: Insert the data to table from the viewIn Netezza, when do deployment:1, Deploy process: Drop all the existing tabl…

一 概述 Docker发布版本应该与现有的版本发布尽量一致,参考jenkins的版本发布过程:我认为maven库和docker库有很多类似的地方,因此打包过程参考maven的打包过程:重点实现docker自动打包.push.pull.run.kill相关流程的控制. 二 需求分析 1.部署和目前的jenkins发布流程基本保持一致,目前版本发布的触发条件有:定时发布.手工发布,发布过程包括:下载代码.构建.停止tomcat.清除缓存.当期版本.上传war包.上传且替换配置文件.启动tomcat等…

其实很多人都不能理解操作型应用系统和分析型系统的意义,主要问题在于这两个系统所面对的用户和需求是不相同的. 建模重点“凡事应该简单,简单到不能再简单”…

以下实例项目为vue项目,其他项目当然也雷同咯 在项目中建一个这个么脚本文件 不说了,上代码 #!/bin/sh handle=$1; env=$2; # 远程部署机 webhook # 如果用远程机器部署的话就要用到以下方法 # preHandle(){ # git pull orgin master # npm config set registry http://registry.npm.taobao.org/ # npm install # npm run build-prod # }…

一.为Jenkins添加Windows节点 这里需要填写远程工作目录,启动方法一项一定要选择"Launch agent via Java Web Start"一项,其它的保持默认.启动项:"Launch agent via Java Web Start"可能会不可选,如果不可选则需要在"Configure Global Security"中进行配置 配置好后,在左侧的导航栏中点开刚才配置的节点会出现如下图所示的内容 此时Windows的节点已经添…

https://www.muzilong.cn/article/117 开发环境 环境:lnmp下进行试验. 框架:laravel5 问题描述 这几天做银行对帐接口时,踩了一个坑,具体需求大致描述一下. 银行每天凌晨后,会开始准备昨天的交易流水数据,需要我们这边请求拿到. 因为他们给的是一个base64加密的zip压缩流,解开以后可以得到txt文件,里面就是我们需要的数据了. 业务程序写好以后,随手丢了一个定时任务就去睡觉了. 哪知道第二天上班的时候,检查.发现并没有拿到数据,查询一下日志的时候…

共耗时10多个小时 思路一 总体设计 ansible-playbook目录结构 [root@ansible ~]# tree /etc/ansible/roles/tomcat /etc/ansible/roles/tomcat ├── files │ ├── catalina.sh │ ├── context.xml │ └── setenv.sh ├── handlers │ └── main.yaml ├── tasks │ ├── install_jdk.yaml │ ├── insta…

开发环境 环境:lnmp下进行试验 问题描述 这几天做银行对帐接口时,踩了一个坑,具体需求大致描述一下. 银行每天凌晨后,会开始准备昨天的交易流水数据,需要我们这边请求拿到. 因为他们给的是一个base64加密的zip压缩流,解开以后可以得到txt文件,里面就是我们需要的数据了. 业务程序写好以后,随手丢了一个定时任务就去睡觉了. 哪知道第二天上班的时候,检查.发现并没有拿到数据,查询一下日志的时候发现,凌晨服务端请求的时候,银行接口返回了:系统错误信息. 咨询银行那边后,银行那边相关人员建议我…

1. 前言 大家好,我是安果! 之前写过一篇文章,文中提出了一种方案,可以实现每天自动给微信群群发新闻早报 如何利用 Python 爬虫实现给微信群发新闻早报?(详细) 但是对于很多人来说,首先编写一款 App 需要一定的移动端开发经验,其次还需要另外编写无障碍服务应用,如此显得有一定难度的 本篇文章将介绍另外一种方案,即:利用前面文章介绍的 AutoJS 来实现自动给微信群发送新闻早报 2. 爬虫及服务 为了演示方便,这里以百度热搜为新闻早报数据源, 使用 Requests + Beautif…

摘自http://articles.e-works.net.cn/bi/Article126429.htm 1.前言 互联网时代企业数据呈现爆发式增长,全面考验着企业的数据处理和分析能力.面对大容量.多样性.高增长的数据很多企业往往无所适从,除了耗费大量管理和存储成本外并没有给企业带来真正的价值,大量的数据堆积给企业带来了巨大的挑战.然而数据已经渗透到了企业内外各个层面,因此想要从庞大的企业数据中"掘金"就必须有信息化应用强有力的支撑. 近年来大数据.云计算.移动应用.社交等新兴技术风…

BI商业智能软件一般都会提供若干数据整合.数据查询.分析与评价.数据可视化及数据分享的手段,但是在BI项目的构建与实施过程中,如果不按照一定的应用组织思路.数据分析模式及分析流程使用这些工具或手段,呈现给最终用户的将是独立的工具集和离散的分析内容,BI系统的整体应用效果将大打折扣.同时,最终用户也了解数据分析模式及数据分析流程方面的一些常用理论和方法,以便形成自己的分析内容组织思路,从而有效开展数据决策分析工作.这方面目前已有多种卓有成效的理论及实践体系,本文基于既往经历的典型BI/DW项目实施…