一.概述 暂略 二.ODPS插件 https://yq.aliyun.com/articles/68911…

参考来源 https://blog.csdn.net/qq_36698956/article/details/80751655,在这个文章基础上实际使用增加的. 一,安装,采用的是下载官方网站的windows安装 下载地址:https://community.hitachivantara.com/docs/DOC-1009855 我下载的版本是最新版本 8.2版本,直接下载解压data-integration就可以了. 如果需要远程web控制,或者kettle的集群模式,需要使用首先启动cart…

目录 Kettle学习笔记(一)-环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle简介 Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows.Linux.Unix上运行,s数据抽取高效稳定.Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出.Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提…

原文:PHP学习笔记----IIS7下安装配置php环境 Php如何安装 Php版本的选择 Php在windows下的(php5.4.7)有两种版本: VC9 x86 Non Thread Safe 非线程安全型 以FastCGI模式运行 VC9 x86 Thread Safe 线程安全性 以ISAPI模式运行 安装过程 只需要解压上一步的zip包即可,然后配置php.ini 详见Php如何配置 Mysql如何安装 下载Mysql database msi安装文件,安装提示下一步即可. Php如…

openresty 学习笔记一:环境安装 openresty 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库.第三方模块以及大多数的依赖项.用于方便地搭建能够处理超高并发.扩展性极高的动态 Web 应用.Web 服务和动态网关.性能之高与具体内容就不贴了,官网介绍很详细了 对我而言,我是觉得在nginx上加上这个lua的扩展来处理网关,路由和鉴权甚至加解密都是是非常合理的,这些工作在nginx就处理好,后端类似php程序等只管业务实现和界面展示,整…

目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 Kettle中设置编码格式 如果处理的数据中有中文,需要对中文设置编码格式,一般是utf8格式,彻底的修改格式的方法就是,修改spoon.bat文件中增加如下信息:"-Dfile.encoding=UTF-8": Kettle中调整运行性能 修改参数 Kettle默认的性能适用于普通的一般硬件,如果自己的电脑硬…

目录 Kettle学习笔记(一)- 环境部署及运行 Kettle学习笔记(二)- 基本操作 kettle学习笔记(三)- 定时任务的脚本执行 Kettle学习笔记(四)- 总结 打开Kettle 打开时间略长,请耐心等待. 常用的控件说明 这里先对控件做下简单说明,方便后面使用. 通用控件 通用--START:作业开始: 通用--作业:指定某个作业循环执行: 通用--转换:指定某个转换,加入到作业中来: 通用--设置变量:设置变量,为了转换或者作业中获取变量: 通用--成功:作业完成操作: 通用…

学习笔记--Git安装.图文详解 安装Git成功后,现在安装Gruntjs,官网:http://gruntjs.com/ 一.安装node 参考node.js 安装.图文详解 (最新的node会自动安装npm) 二.安装grunt命令行工具grunt-cli 卸载旧版本grunt(<0.4.0) (没装过请忽略) npm uninstall grunt -g 安装grunt-cli npm install grunt-cli -g 使用-g全局安装,这样可以在任何一个目录里使用了.命令: npm…

最近在学习Python3,想写一些自己的学习笔记.方便自己以后看,主要学习的资料来自菜鸟教程的Python3教程和廖雪峰官方网站的Python教程. 1.下载 1)打开https://www.python.org/downloads/ 当前最新版本3.6.5 2.安装 下载完成之后,运行exe文件,第一个页面底部,记得勾选add Python to path,这样会自动把Python加到系统变量里面去,然后默认安装即可 我的安装路径: C:\Users\ms\AppData\Local\Prog…

0.前言     本文介绍怎样在树莓派中通过apt方式安装opencv.并通过一个简单的样例说明怎样使用opencv. 相比于源码方式安装opencv,通过apt方式安装过程步骤简单些,消耗的时间也少一些.通过apt方式安装没有自己主动生成opencv.pc文件,所以在编写makefile文件时不能直接使用pkg-config工具,而须要逐个指定opencv_core.opencv_imgproc等动态链接库.     [相关博文]     [树莓派学习笔记-- 源码方式安装opencv]  …

声明:今天起学习Git,第一篇学习笔记主要借鉴廖雪峰先生的个人博客,以及自己的实践所得. “本教程只会让你成为Git用户,不会让你成为Git专家”——引自廖雪峰博客. 一.Git简介 Git是目前世界上最先进的分布式版本控制系统(没有之一). 什么是版本控制系统? 如果你用Microsoft Word写过长篇大论,那你一定有这样的经历: 经过无数次的更改,想保存每一次的更改记录,或者与他人合作完成时需要保存各自的更改记录,最终,各种副本让你眼花缭乱. 如果有一个软件,不但能自动帮我记录每次文件的…

最近因为工作需要,自学了Sass.现在将学习笔记整理在这里,供大家参考. 1. Sass的安装 Sass的编辑器安装方法有很多,大致能分为两种:应用程序(application)和命令行界面(command line).我使用的是命令行.因为之前已经在Mac上安装过Homebrew的package,用的命令行是 brew install sass/sass/sass Homebrew对系统xCode版本有要求,如遇提示xCode版本过低,在App Store下载更新软件,或者直接卸载软件都可以.…

前言 当然,还是觉得Centos 在众多的Linux 发行版中,还是很有地位的,好多的服务器大多沿用的都是一代的Centos 因为它开源(这是废话)而且稳定,这才是服务器沿用的最重要的一项指标. 镜像下载 这里就沿用网易开源镜像站,下载centos 7的版本,因为这里主要是作为学习和熟悉这个系统,理所应当的安装最小化版本, 不安装桌面版,命令行操作才是王道!! 网易镜像站: http://mirrors.163.com/centos/7/isos/x86_64/ 虚拟机启动配置 创建虚拟机的时候…

一.概述 1.kettle是什么 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window.Linux.Unix上运行,绿色无需安装,数据抽取高效稳定.中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出. 更多介绍,参考kettle中文网:http://www.kettle.net.cn/ 2.kettle四大家族 Chef(中文:厨师).Kitchen(中文:厨房).Spoon(中文:勺子).Pan(中文:平底锅)---注意英文发…

此笔记是学习Maven时自己摸索+各种百度而来,并非全部原创,望与各位一同学习,勿拍~勿拍~ 安装步骤 1.下载Maven的最新版本,地址:http://maven.apache.org/download.cgi 2.将下载完成的压缩包放至D盘根目录(图方便,一会儿安装完再删就好) 3.在命令行上操作,进入到你想要安装的目录路径后敲:jar xvf 的命令来进行解压安装(请勿手动解压以省略此步) 4.配置环境变量 新建系统变量  MAVEN_HOME  变量值:D:\zhangshiyuan\a…

Sqlite简介 sqlite是一个开源的嵌入式文件数据库,sqlite以动态链接库的方式供应用程序调用,所有的数据库对象都存储在同一个文件中. sqlite动态库非常小,最新的3.8.11版本也只有500k左右.sqlite虽然小,但功能并不弱,它支持sql-92标准中大部分SQL规范, 支持表,索引,视图,触发器等对象,同时它还支持事务,满足ACID特性,因此非常适合嵌入式设备存储数据,尤其是手机,君不见微信,支付宝其实都在用哦.鉴于sqlite在嵌入式 领域非常流行,本人最近也在学习这个数…

一 .webpack学习环境准备: 1:window系统 2:安装node.js  官方网址 下载好后下一步下一步安装即可 安装步骤略过....... 3:nrm的安装 打开cmd命令控制台 输入:npm i nrm -g   (全局安装nrm包) 安装好后使用 nrm ls 查看 使用nrm use 镜像地址名称 注意:nrm只是提供了几个常用的下载包的URL地址.最终的装包工具还是npm或者cnpm工具,比如后面安装webpack包:cnpm install -g webpack  就会从n…

今年有一个很重要的职业目标,就是好好学习活字格这个神器,争取在这两个月拿到活字格初级工程师的认证证书.给自己加个油,今天开始好好学习,好好做笔记. 第一步,下载安装 先去活字格官网:http://www.grapecity.com.cn/solutions/huozige 点上面那个下载按钮,就可以下到最新的安装包了,是个Zip文件,很快就下到本地了. 然后解压缩,装活字格设计器.还有个安装文件是服务器,那个是发布产品才需要的.我这新手才学呢,先不用装那个. 安装,界面很简洁,UI不错,我喜欢…

一.概述 数据剖析和数据检验: 用于数据的检查.清洗 . 统计步骤: 提供数据采样和统计的功能 分区: 根据数据里某个字段的值,拆分成多个数据块.输出到不同的库表和文件中. 脚本: Javascript 基础 二.数据剖析和数据检验 1.数据剖析 分析原始数据的数据类型.长度.值域等,属于ETL的第一步 kettle中使用DataCleaner进行数据剖析 首先需要在工具-marketPlace中安装改插件并重启:https://wiki.pentaho.com/pages/viewpage.a…

前言 虽然现在NoSQL发展迅速,但MySQL还是非常受欢迎的,成千上万的公司依旧采用LAMP OR LNMP的搭配来进行开发,因此MYSQL的学习还是有一定的必要. 安装环境:Windows 7,需要.NET FRAMEWORK 4.0的支持 MySQL版本:5.6.10.1 安装 1.双击SETUP安装文件开始安装,前面的三步都是点“下一步”即可. 2.到第四步出现如下图所示界面. 这步我是选择Custom安装类型,比较自由,然后指定安装目录和存放数据目录. 3.接下来的几步都可以直接“下一…

a.nodejs安装 nodejs的安装没有什么说的默认安装即可.安装包官网下载即可:nodejs官网 本人用的是window的安装包node-v4.2.6-x64.msi 安装完成后打开命令行查看使用node -v命令查看安装node版本,有版本号展示说明安装成功啦 需要创建一个文件夹作为nodejs服务器文件夹,比如本人在D:\chua下创建了一个chuaNodejs.这个文件夹将作为node服务端的根路径,也就是一个独立的工程. nodejs的基础使用可以参考菜鸟教程的基础教程,这里不分析…

Redis的官方只提供了Linux版本的,并没提供Windows版本的(不过非官方有windows版本的.可以下载下来做开发测试学习用非常方便.博客后面会介绍到的).Linux下安装过程如下[以下命令最好的root下执行]: redis的安装 #cd /tmp #wget http://download.redis.io/releases/redis-2.8.9.tar.gz #tar xzf redis-2.8.9.tar.gz #cd redis-2.8.9 #make #make inst…

用过一段时间的caffe后,对caffe有两点感受:1.速度确实快; 2. 太不灵活了. 深度学习技术一直在发展,但是caffe的更新跟不上进度,也许是维护团队的关系:CAFFE团队成员都是业余时间在维护和更新.导致的结果就是很多新的技术在caffe里用不了,比如RNN, LSTM,batch-norm等.当然这些现在也算是旧的东西了,也许caffe已经有了,我已经很久没有关注caffe的新版本了.它的不灵活之处就是新的东西很难自己扩展,只能等版本更新,这就比较尴尬. 因此,只学caffe一个工…

偶遇node是在一个阳光明媚的上午,无意间打开博客看到一片关于nodejs的介绍,通读全篇后,心情跌宕起伏,哎呀,这么好的东西我竟然现在才知道,这是最气的,于是马上开始制定学习nodejs计划,好了,话不多说,开始我的学习记录. 想要学习node首先开发环境不可少,下面就记录一下安装express框架和构建第一个node工程项目(跳过安装nodejs环境,因为已经装过,nodejs.org下载对应的安装包下一步傻瓜化安装): 1.安装express express是nodejs上最流行的web开…

最近由于工作不忙,正好闲暇时间学学基于 node 的 web开发框架. 现在关于web开发框架除了Express 还有新出的 KOA以及其它一些. 但是想想还是先从 Express 入手吧.因为比较成熟了,社区也健壮. 关于安装 Express 还是比较简单的,开始现在 win 环境下来学习,以后会过渡到 linux上. 首先,假定安装了,nodejs.接下来就创建一个目录. mkdir express cd express 通过 npm init 命令创建一个 package.json 文件.…

0x00 概述 ELK-logstash在搬运日志的时候会出现多行日志,普通的搬运会造成保存到ES中单条单条,很丑,而且不方便读取,logstash-filter-multiline可以解决该问题 github地址:https://github.com/logstash-plugins/logstash-filter-multiline 其他插件的地址:https://github.com/logstash-plugins 官网地址:https://www.elastic.co/cn/produ…

如果你已经配置好了安卓的运行环境,也配置好了自带的模拟器AVD,而且也launch了你的安卓模拟器,那么我相信你是不再愿意launch安卓模拟器第二次了,因为实在是太卡了(当然如果你电脑的配置够高,你就可以无视了). 有没有什么解决方法呢?回答是肯定的,比如用你的真机,但是安卓的版本实在是太多,你不可能买到市场上所有流行的机器吧.所以模拟器的使用是必然的, 好在Genymotion的存在,相对AVD模拟器来说Genymotion好的太多了.   Genymotion官网:https://www.…

0x00 概述 Docker从1.13版本之后采用时间线的方式作为版本号,分为社区版CE和企业版EE. 社区版是免费提供给个人开发者和小型团体使用的,企业版会提供额外的收费服务,比如经过官方测试认证过的基础设施.容器.插件等. 社区版按照stable和edge两种方式发布,每个季度更新stable版本,如17.06,17.09:每个月份更新edge版本,如17.09,17.10. 注意!!直连国外docker官网网站不稳定,时好时坏,请务必增加阿里云Docker源!!! 0x01 安装docke…

Windows7环境下Circos使用教程 一.下载安装软件包 1.strawberry perl 因为Circos软件是依赖perl语言编译环境的,但是windows环境下默认是没有perl的,所以需要先安装perl编译环境才能正常运行Circos. (1).下载perl软件地址:http://www.perl.org.然后选择download菜单. (2).进入download菜单页面,会有三种操作系统的下载文件,我们选择windows,推荐下载strawberry perl这个版本. (3…

(参考书籍:<深入浅出MySQL>) 一.备份恢复策略 a)      确定要备份的表的存储引擎是事务型还是非事务型 b)      确定使用全备份还是增量备份 c)      定期做备份,备份的周期需要充分考虑系统可承受恢复时间 d)      确保MySQL打开log-bin选项,有了BINLOG,MySQL才可以在必要的时候做完整恢复,或基于时间点的恢复,或基于位置的恢复 二.备份 a)      备份指定的数据库或者此数据库中的某些表 i.          mysqldump [op…