用kettle做etl也有段时间了,遇到很多问题,总结了一下. [关于版本的问题] kettle常用的版本有4.1和4.4,对于4.1版本: 1.该版本的兼容性有点差,在某些机器上运行会启动失败,或者是启动完后增加资源库时报错直接退出. 2.对于etl的sql,比如oracle,不支持/*------*/的注释方式,会将其识别为错误的sql,仅支持--的注释方式.而4.4不存在这个问题. 3.运行不稳定,执行复杂etl过程时容易出现异常退出. [关于etl过程的问题] 无论4.1或者4.4,有时…

前言: 目前形势,参加到 iOS 队伍的人是越来越多,可以说是已经达到了供过于求的地步了. 今年,找过工作人可能会更深刻地体会到今年的就业形势不容乐观,之前实习的时候就想着写一篇面经,后来忙就给忘了,现在找完工作了,也是该静下心总结一下走过的路程了,我全盘托出,奉上这篇面试心得与经验总结. 诚意之作,希望可以给在外来找工作的人一点指导以及帮助,如果能耐心读完的话,相信你会找到自己想需要的东西的. 一,在这之前我想先问大家几个问题 你如何看待面试? 任何企业招聘重要岗位时都不会只安排一个候选人面试…

今年kaggle华人优胜团队很多,所以经验.心得不少,都是干货慢慢收集. 一.[干货]Kaggle 数据挖掘比赛经验分享 github:https://github.com/ChenglongChen/Kaggle_HomeDepot 1.了解数据分布 ◆ 分析特征变量的分布 ◇ 特征变量为连续值:如果为长尾分布并且考虑使用线性模型,可以对变量进行幂变换或者对数变换. ◇ 特征变量为离散值:观察每个离散值的频率分布,对于频次较低的特征,可以考虑统一编码为"其他"类别. ◆ 分析目标变量…

    题外话:这几天天气突然转冷了.今天已是11月23日了,查查黄历,昨天(11月22日)刚好是小雪,一夜温度骤降,果然老祖先的经验有灵验!冬天来了,还是多加加衣服,注意保暖! 1.Abstract     前些天借用他人的一块MCS-51开发板来做实验,不想这块板子与我刚开始接触MCS-51的板子一样,实在是太亲切了!现在回过来看这块板子,功能算不上是太强大,麻雀虽小五脏俱全,该有的功能都有.于是又忍不住捣腾这块板子,倒不是写小程序一块,看着电路图,到处连线测试一下功能,从中体会下最初的学习…

在准备预备作业02之前,我参考娄老师的提示,阅读了<[做中学(Learning By Doing)]之乒乓球刻意训练一年总结>一文. 在文章描述的字里行间,给予我的印象是系统.负责,娄老师重拾乒乓技能的经历让我联想到了自己. 以下分享我进行足球运动的经验和反思. · 背景简介 在初中二年级的某个下午,我在学校操场上接触到了足球,并且很快的喜欢上了这项运动. 作为一名爱好者,这一项竞技体育,让我感受到了运动的快乐. 很快,球场上技术的缺陷让我明白了训练的重要性,当然,课余训练也局限倒脚和射门.但…

[原创]继续我的项目研究,现在采用Libjpeg库函数来进行处理,看了库函数之后发现C语言被这些人用的太牛了,五体投地啊...废话不多说,下面就进入正题. Libjpeg库在网上下载还是挺方便的,这里就不附上来了,当然如果找不到的话,也可以发邮件给我,我的邮箱是gungnir2011@gmail.com. 打开库函数会看到有很多很多的文件,里面有两个解决方案,一个是apps,一个是jpeg.apps里面有5个工程,分别是用于压缩,解压,转换,读取JPEG中COM段,写入JPEG中COM段,COM…

初学者的时间大部分浪费在了环境上了: 建议直接上Linux系统,我推荐国产的深度系统,deepin这几年一直在不断的发展,现在15.4已经很不错了 1,图形化界面很漂亮,内置正版crossover,并且做了优化.可以不用折腾的安装日常使用的软件,很是节约时间,不玩游戏的话可以放弃Windows了. 2,配置好系统后要备份好系统,尤其是新手,系统总是坏 Python环境下安装TensorFlow比较麻烦,Linux还要解决各种依赖问题: 建议使用开源的Python发行版本,自动解决依赖问题,可设置…

本博客是自己在学习和工作途中的积累与总结,仅供自己参考,也欢迎大家转载,转载时请注明出处. http://www.cnblogs.com/king-xg/p/6927541.html 如果觉得对您有帮助,请点击推荐或收藏本博客,谢谢. 1. 使用了connect by 的人,大多会存在一些疑问: a. start with 后接的节点不同导致查询的方向(上或下)不同? b. prior 关键字理解? c. 突然出现的诸多冗余数据是怎么来的? 案例数据集就拿我上一篇博客的案例表来用了(删掉了循环列…

管理mysql主从有2年多了,管理过200多组mysql主从,几乎涉及到各个版本的主从,本博文属于总结性的,有一部分是摘自网络,大部分是根据自己管理的心得和经验所写,整理了一下,分享给各位同行,希望对大家有帮助,互相交流. 一.mysql主从的原理 1.Replication 线程 Mysql的 Replication 是一个异步的复制过程(mysql5.1.7以上版本分为异步复制和半同步两种模式),从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql inst…

如果我比别人看得更远,只因为我站在巨人的肩膀上.                                                        ——牛顿 高级软件工程课程终于开课了!第一堂课上,殷秋丰老师要求我们回顾学习往届学长学姐们的工作,从中学习.吸取经验教训,为自己更好地工作打下基础.课后,我们小组对以往Team的博客进行了充分的调研,并最终确定了选择Gun N' Rose组的博客(http://www.cnblogs.com/Gun-N-Rose/)进行学习.通过学习师兄…

Mysql数据库主从心得整理 原文:http://blog.sae.sina.com.cn/archives/4666 管理mysql主从有2年多了,管理过200多组mysql主从,几乎涉及到各个版本的主从,本博文属于总结性的,有一部分是摘自网络,大部分是根据自己管理的心得和经验所写,整理了一下,分享给各位同行,希望对大家有帮助,互相交流. 一.mysql主从的原理 1.Replication 线程 Mysql的 Replication 是一个异步的复制过程(mysql5.1.7以上版本分为异步…

我用的是windows系统,这几天学着使用git时发现每次使用git push时每次都要输入一遍用户名和密码,感觉特烦,特意上网查了下,找到了简化方法.虽然不是原创,但至少算是加了点自己的心得和经验吧,毕竟中间也硌了半天. 首先进入你用户名目录,windows一般是在C:\users\Administrator,此时需要新建一个名为.git-credentials的文件,windows本身不允许直接创建以"."开头的文件/文件夹,需要借助于其他工具,由于后面还是要用git来配置信息,这…

日前CSDN采访了祁宇,请他解读C++11的新标准.C++的现状以及未来的发展前景. CSDN:怎么会想到编写<深入应用C++11:代码优化与工程级应用>这本书的?有没有什么故事可以分享下? 祁宇:我作为比较早使用C++11的开发者,在项目中应用C++11的时候,可以查阅的资料还很有限,主要是通过ISO标准(ISO/IEC 14882:2011),维基百科.MSDN和http://en.cppreference.com/w/等网站来学习C++11.然而,这些地方对新特性的介绍比较零散,虽然知道…

OData(Open Data Protocol)协议是一个开放的工业标准,用于定义RESTFul API的设计和使用.我的文章标题前加上SAP的前缀,只是为了表明这篇文章介绍的是Jerry在SAP项目开发中使用到OData的一些心得和经验. 目前OData被广泛用于SAP Business Suite和SAP S/4HANA的众多Fiori应用中,以及SAP Customer Engagement Center和一些正在开发的新一代云产品中.此外OData也是SAP Cloud for Cus…

本文整理自李样兵在北京站 RocketMQ meetup分享美菜网使用 RocketMQ 过程中的一些心得和经验,偏重于实践. 嘉宾李样兵,现就职于美菜网基础服务平台组,负责 MQ ,配置中心和任务调度等基础组件开发工作. 今天主要从三个方面进行分享: 美菜网消息队列的历史 基于 RocketMQ 我们做了那些事情 同城双活的选型和思考 美菜网消息队列的历史 美菜网历史上是多套 MQ 并存,Kafka 用于大数据团队:NSQ 和 RocketMQ 用于线上业务. 多套集群存在的问题:1.维护和资…

大家好,好久不见了. 一转眼距离上一篇博客已经是4个月前的事了.要问博主这段时间去干了什么,我只能说:我去“外面看了看”. 图1 我想去看看 在外面跟几家创业公司谈了谈,交流了一些大数据与机器视觉相关的心得与经验.不过由于各种原因,博主又回来了. 目前,博主的工作是在本地的一个高校做科研.而研究的方向主要是计算机视觉. 图2 科研就是不断的探索过程 由于我所做的是计算机视觉方向,跟EasyPR本身非常契合.未来这个这个系列的博客会继续下去,并且以后会有更加专业的内容. 目前我研究的方向是文字定位…

用一种新的技术思维去群发邮件一种不用换IP,不需要任何发件箱的邮件群发方式一种不需要验证码,不需要**代码变量的邮件群发方式即使需要验证码也能全自动识别验证码的超级智能软件教你最核心的邮件群发思维和软件群发技术图片链接不是问题50%~90%进入收件箱让你不再为进垃圾箱而发愁每天群发100万封邮件不再是难题懒人技术升级版大站协议邮件群发提供的不仅仅是软件更重要的是群发技术 邮件群发神器简介:什么是通什翡翠商城大站协议邮件群发系统?通什翡翠商城大站协议邮件群发系统,是通过签署邮件群发服务器协议的大站…

 泰格老虎 2013-03-07 00:39:10 这是海恒CEO高鹏写的一篇国内app快速生成平台对比文章,介绍了国内快速生成APP的平台与自己平台的对比,很有参考价值. 同类网站 安米网 http://www.appbyme.org/追信 http://app.zhui.cn/简网app工厂 http://app.cutt.com/app华高科技 http://www.wacosoft.cn/cn/products/macp.html掌信通 http://app.m.cn/ http://w…

1,如何安装win10+Red Hat Enterprise Linux双系统???? 有很多人(没做过调查,可能就我自己想装吧)想要安装Red Hat Enterprise Linux系统,但是又不局限于虚拟机,看了网上很多资料,也动手实践了,终于把双系统搭出来了,写个小小的经验,让大家分享一下吧,建议大家在装的时候先把我的文章认认真真从头到尾看一遍,消除心中的疑虑之后再开始动手实现,不过,如果你没有diy精神的话,还是建议你用虚拟机吧.   首先说明一下我的机子是华硕的机子,Y581C,50…

在上篇<会员管理系统的设计和开发(1)>介绍了关于会员系统的一些总体设计思路和要点,经过一段时间开发,软件终于完成并发布.在这期间,碰到了不少技术难点,并积累了不少开发心得和经验,本篇继续介绍这个开发过程中相关的技术要点,主要介绍其中RDLC报表的相关操作,如报表的设计和通用的动态加载模块的处理等内容. 什么是RDLC呢,它的全称是Report Definition Language Client-Side,原来是微软基于SQL Server 报表服务中经提供了一种被称为报表定义语言(Repo…

由VR界网和暴风魔镜联合举办的2016中国VR开发者论坛第一期已于3月2日下午5点在吉林动画学院圆满落幕,本次论坛云集了VR相关领域的精英,邀请了VR社交<极乐王国>.暴风魔镜.南京睿悦.北京竞技时代.玖的公司.雪炭VR等各领域知名人士参与,与VR开发者们分享VR游戏中的种种心得与经验,与会现场更是异常火爆! 2016中国VR开发者论坛尚未开始千人会场便已座无虚席,可见本次论坛的火爆程度.VR作为一个新兴的热门产业,目前正在以惊人的速度崛起,不管是对于内容.硬件.还是对于资本等方面来说,这都是…

  管理mysql主从有2年多了,管理过200多组mysql主从,几乎涉及到各个版本的主从,本博文属于总结性的,有一部分是摘自网络,大部分是根据自己管理的心得和经验所写,整理了一下,分享给各位同行,希望对大家有帮助,互相交流. 一.mysql主从的原理 1.Replication 线程 Mysql的 Replication 是一个异步的复制过程(mysql5.1.7以上版本分为异步复制和半同步两种模式),从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql in…

随着智能手机和平板电脑的普及, 越来越多的人用移动设备浏览网页,我们平时在pc浏览器上用的鼠标事件,比如:click, mouseover等, 已经无法满足移动设备触摸屏的特点,触摸时代的到来,离不开那些触摸事件. 触摸事件包含4个接口. TouchEvent 代表当触摸行为在平面上变化的时候发生的事件. Touch 代表用户手指与触摸平面间的一个接触点. TouchList 代表一系列的Touch; 一般在用户多个手指同时接触触控平面时使用这个接口. DocumentTouch 包含了一些创建…

前言 工作三年了,一直从事基于.NET体系的企业应用开发,心得和经验也攒了点:担心时间长了给忘了,所以得给写下来,以便以后回味回味:更重要的是能让知识系统化和体系化. 本系列以一个简单的企业应用系统为基线,以技术设计使用为主线来总结我这三年的一些心得. 框架结构 1. C/S,B/S架构,N-tire, Restful服务,SOA: 2. EAI(企业系统应用集成): 3. 持续集成(Continuous integration): 4. Scrum/XP开发: 5. 软件管理; 具体技术 1.…

一.前言.提出问题 公司最近举行2011年度创新设计大赛,快年底了正打算写写2010年以来Android开发的心得与经验,正好同事出了个点子:假如A和B两个人分别在不同的地点,能不能实现这样的功能,让A和B之间可以互相感知对方的位置信息. 于是整理了一下思绪,说白了分解开来就是两个方面的问题:一.实现信息的即时传递,二.实现基站/wifi.GPS的定位. 1. 实现消息的即时传递:说到这个问题大家应该能联想到QQ.MSN.Gtalk这些即时通信软件. 2. 定位:这个让人联想到时下非常火的LBS…

前言 从事iOS开发已经两年了,从一无所知到现在能独立带领团队完成一系列APP的开发,网络上的大神给了我太多的帮助.他们无私地贡献自己的心得和经验,写出了一篇篇精美的文章.现在我也开始为大家贡献自己的心得,把它写成一系列iOS开发技巧系列文章. 这一系列文章都干货十足,希望各位读者可以积极留言,和我沟通. 何为Model? Model就是MVC和MVVM最前面的M,显然Model的重要性不言而喻.只有在将网络&数据库获取的数据正确转化成Model后,才能更好地服务ViewController和V…

关键词:芯片 良率分析 晶圆图 质量管理 JMP Minitab 半导体芯片的生产,简单来讲,是将电路通过各种复杂的物理化学方法制作到晶圆上,在生产的最后阶段会进行不同电性功能的测试以确保产品的功能性,而利用这些测试结果再结合晶圆的形状所产生的图形就是晶圆图(Wafer Map).晶圆图是以芯片(Die)为单位的,将测试完成的结果用不同颜色.形状或代码标示在各个芯片的位置上. 半导体业内人士都知道:晶圆图是提供追溯产品发生异常原因的重要线索,通过晶圆图的空间分布情况及其模型分析,可以找出可能发生…

Mysql数据库主从心得整理      管理mysql主从有2年多了,管理过200多组mysql主从,几乎涉及到各个版本的主从,本博文属于总结性的,有一部分是摘自网络,大部分是根据自己管理的心得和经验所写,整理了一下,分享给各位同行,希望对大家有帮助,互相交流. 一.mysql主从的原理 1.Replication 线程 Mysql的 Replication 是一个异步的复制过程(mysql5.1.7以上版本分为异步复制和半同步两种模式),从一个 Mysql instace(我们称之为 Mast…

Personal Knowledge Management PKM(Personal Knowledge Management),中文译为个人知识管理. 个人知识管理是一种新的知识管理的理念和方法,能将个人拥有的各种资料.随手可得的信息变成更具价值的知识,最终利于自己的工作.学习和生活.通过对个人知识的管理,人们可以养成良好的学习习惯,增强信息素养,完善自己的专业知识体系,提高自己的能力和竞争力,为实现个人价值和可持续发展打下坚实基础. 在日常工作和生活中,有许多的信息来源.比如网页,微信,邮件…

感谢: 感谢每一个打开这篇文章的人,听我在这里瞎扯!至于我为什么会有闲情写这篇文章呢?因为我每天想的是为什么要给我这样的需求,背后的人性是什么,我能再做些什么能让他更好.久而久之,我也稍微有了些自己的思维,善于去思考事物的本质,然后,我就有了点感悟,一些我觉得正能量的东西,一些我觉得值得传递的东西,如果我的磁场吸引了你的话,我很高兴,但请你以开放的心态来看待我所讲的东西,不要陷入我的思维里,你该有你的思维,读完我的文章后,你应该从中得到一些启迪,避免全盘接收,抛弃你传统的中国填鸭式的思维方式吧!…