『NiFi 学习之路』简介 『NiFi 学习之路』入门 -- 下载.安装与简单使用 『NiFi 学习之路』资源 -- 资料汇总 『NiFi 学习之路』把握 -- 架构及主要组件 『NiFi 学习之路』使用 -- 主要组件的使用 『NiFi 学习之路』自定义 -- 组件的自定义及使用 『NiFi 学习之路』感悟 -- 我对 NiFi 的理解 NiFi 这个东西到底有哪些应用场景?这些功能特性是如何在使用过程中发挥作用的?这些功能特性的底层实现是如何 一.概述 2017 年的 2 月初到写就这篇文章…

一.概述 许多业务仅仅使用官方提供的组件不能够满足性能上的需求,往往要通过高度可定制的组件来完成特定的业务需求. 而 NiFi 提供了自定义组件的这种方式. 二.自定义 Processor 占坑待续 三.Debug Processor 目前似乎没有较好的方式,有一个邮件列表就此话题进行了探讨. Getting started developing/debugging Nifi processors [hortonworks]Is there a way to debug a custom NiF…

一.概述 大部分 NiFi 使用者都是通过 NiFi 的 Processor 来实现自己的业务的.因此,我也主要就 NiFi 官方提供的 Porcessor 进行介绍. 二.Processor 如果你没有修改 Processor 的存放目录的话,Processor 被存放在 [nifi_install_location]/libs 目录下,NiFi 被启动时,都会将该目录下的组件加载到系统中,供用户使用. 这里我主要对我使用的一些 Processor 进行介绍. http://nifi.apac…

一.概述 通过前面几篇文章的学习,相信你对 NiFi 有了一个基础性的了解. 数据处理和分发系统 是什么概念? NiFi 系统中数据的传递方式是怎样的? NiFi 的重要 Processor 有哪些? Processor 间是以何种方式进行协作的? 上述问题对于阅读并练习了前几章内容的你来说,应该都不难理解. 那么对于更加深层次的问题诸如:各个 Processor 是如何运行的?ExecuteScript 是如何对脚本初始化的?整个系统是如何实现对数据进行存储.分发和处理的?应该更能勾起你的兴趣…

一.概述 由于 NiFi 是一个比较新的开源项目,国内的相关资料少之又少. 加之,大家都知道,国内的那么些个教程,原创都只是停留在初级使用阶段,没有更多深入的介绍. 再者,其余的文章不是东抄抄就是西抄抄,有的是翻译国外的资料,蹩脚得很,还不如直接看英文原文呢. 二.资源列表 2.1 官方文档 官网:nifi.apache.org 官网文档:nifi.apache.org/docs 2.2 国外博客 Matt Burgess: 此人出了一系列的 NiFi ExecuteScript 的文章 --…

一.概述 "光说不练假把式." 官网上的介绍多少让人迷迷糊糊的,各种高大上的词语仿佛让 NiFi 离我们越来越远. 实践是最好的老师.那就让我们试用一下 NiFi 吧! 二.安装 由于我的整个学习和使用过程都是在 Linux 下完成,所以,整个教程也是面向 Linux 用户的. 其他系统下的使用方法类似,如有其他系统的用户,那么还请有选择性的进行参考本教程. NiFi 是免安装地,仅需从官网下载压缩包,然后解压,旋即完成了整个安装过程. 官网下载压缩包:nifi.apache.org/…

​ 0 序篇 2015年11月,Google正式发布了Tensorflow的白皮书并开源TensorFlow 0.1 版本. 2017年02月,Tensorflow正式发布了1.0.0版本,同时也标志着稳定版的诞生. 2019年10月,TensorFlow在经历七个多月(2019年3月1日-2019年10月1日)的 2.0 Alpha 版本的更新迭代后发布 2.0 正式版. 2.0 正式版官方介绍视频 https://v.qq.com/x/page/b3003v2g8dq.html 虽然 2.0…

在学习之前,首先了解一下python的前世今生 一.python简介与发展: python 是一种面向对象的解释性计算机程序设计语言. python由荷兰人Guido van Rossum 于1989年发明. 1991年,第一个Python编译器诞生.它是用C语言实现的,并能够调用C语言的库文件.从一出生,Python已经具有了:类,函数,异常处理,包含表和词典在内的核心数据类型,以及模块为基础的拓展系统. 1994年1月 python 1.0诞生,增加lambda,map,filter and…

预习内容 defer 的作用有哪些? 多个 defer 的执行顺序是怎样的? defer,return,函数返回值 三者之间的执行顺序 defer的作用 go中的defer是延迟函数,一般是用于释放资源或者收尾工作. 由于defer是具有延迟特性且执行动作是在函数return之后,因此作为资源释放作用再好不过. 典型例子:释放锁.关闭文件.关闭链接等 // 释放锁 func getValue() { s.Lock() defer s.Unlock() ... } // 关闭文件 func rea…

此篇教程参考自TensorFlow 2.0 + Keras Crash Course,在原文的基础上进行了适当的总结与改编,以适应于国内开发者的理解与使用,水平有限,如果写的不对的地方欢迎大家评论指出.觉得文章有用的话麻烦点赞,想看原文可以点击链接kx上网访问. ​ 0 序 TensorFlow经过四年的发展,逐渐成为深度学习与机器学习框架的霸主,市场占有率与用户都遥遥领先于其他竞争对手.下图为下图是KDnuggets网站对2018年的机器学习框架的使用做的一个调查统计.可以可以看出当时Tens…

1.Python简介 1.1 Python是什么 相信混迹IT界的很多朋友都知道,Python是近年来最火的一个热点,没有之一.从性质上来讲它和我们熟知的C.java.php等没有什么本质的区别,也是一种开发语言,而且已经进阶到主流的二十多种开发语言的top 5(数据源自最新的TIOBE排行榜). 来头不小啊!二十多种主流的开发语言,我该从哪一个开始呢?人生苦短,let‘s python! 1.2 Python的由来和发展趋势 Python的前世源自鼻祖“龟叔”.1989年,吉多·范罗苏姆(Gu…

一.概述 自定义的 Processor 继承了 AbstractProcessor,而 AbstractProcessor 继承了 AbstractSessionFactoryProcessor ,getLogger() 方法位于 AbstractSessionFactoryProcessor 类中. protected final ProcessorLog getLogger() { return this.logger; } 二.问题解决 该问题出现的原因是随着版本的更新, NiFi API…

一.概述 在某些极端情况下,某些 NiFi 节点信息会由于用户强行 disconnect from cluster ,而出现 local flow 与 cluster 的 flow 不同步的问题. 此后,该问题节点再也无法正常同 cluster 建立连接,并且频繁报错:Failed to connect node to cluster because local flow is different than cluster flow. 二.问题解决 关于此问题,一个邮箱列表对此话题做了较为清晰的…

重新学习Mysql数据库2:『浅入浅出』MySQL 和 InnoDB 作为一名开发人员,在日常的工作中会难以避免地接触到数据库,无论是基于文件的 sqlite 还是工程上使用非常广泛的 MySQL.PostgreSQL,但是一直以来也没有对数据库有一个非常清晰并且成体系的认知,所以最近两个月的时间看了几本数据库相关的书籍并且阅读了 MySQL 的官方文档,希望对各位了解数据库的.不了解数据库的有所帮助. 本文中对于数据库的介绍以及研究都是在 MySQL 上进行的,如果涉及到了其他数据库的内容或者…

Qt 学习之路 2(71):线程简介 豆子 2013年11月18日 Qt 学习之路 2 30条评论 前面我们讨论了有关进程以及进程间通讯的相关问题,现在我们开始讨论线程.事实上,现代的程序中,使用线程的概率应该大于进程.特别是在多核时代,随着 CPU 主频的提升,受制于发热量的限制,CPU 散热问题已经进入瓶颈,另辟蹊径地提高程序运行效率就是使用线程,充分利用多核的优势.有关线程和进程的区别已经超出了本章的范畴,我们简单提一句,一个进程可以有一个或更多线程同时运行.线程可以看做是“轻量级进程”,…

Qt 学习之路 2(24):Qt 绘制系统简介 豆子 2012年10月30日 Qt 学习之路 2 77条评论 Qt 的绘图系统允许使用相同的 API 在屏幕和其它打印设备上进行绘制.整个绘图系统基于QPainter,QPainterDevice和QPaintEngine三个类. QPainter用来执行绘制的操作:QPaintDevice是一个二维空间的抽象,这个二维空间允许QPainter在其上面进行绘制,也就是QPainter工作的空间:QPaintEngine提供了画笔(QPainter)…

Qt 学习之路 2(13):对话框简介  豆子  2012年9月14日  Qt 学习之路 2  53条评论 对话框是 GUI 程序中不可或缺的组成部分.很多不能或者不适合放入主窗口的功能组件都必须放在对话框中设置.对话框通常会是一个顶层窗口,出现在程序最上层,用于实现短期任务或者简洁的用户交互.尽管 Ribbon 界面的出现在一定程度上减少了对话框的使用几率,但是,我们依然可以在最新版本的 Office 中发现不少对话框.因此,在可预见的未来,对话框会一直存在于我们的程序之中. Qt 中使用QD…

Qt 学习之路 2(7):MainWindow 简介  豆子  2012年8月29日  Qt 学习之路 2  29条评论 前面一篇大致介绍了 Qt 各个模块的相关内容,目的是对 Qt 框架有一个高屋建瓴般的了解.从现在开始,我们将开始尝试使用 Qt 开始新的历程.由于我们已经比较详细地介绍过信号槽的相关内容,因此我们可以用一个新的程序开始进一步的学习,同时对信号槽有一个比较深入的理解. QMainWindow是 Qt 框架带来的一个预定义好的主窗口类.所谓主窗口,就是一个普通意义上的应用程序(不…

Home / Qt 学习之路 2 / Qt 学习之路 2(6):Qt 模块简介  豆子  2012年8月26日  Qt 学习之路 2  20条评论 Qt 5 与 Qt 4 最大的一个区别之一是底层架构有了修改.Qt 5 引入了模块化的概念,将众多功能细分到几个模块之中.Qt 4 也有模块的概念,但是是一种很粗的划分,而 Qt 5 则更加细化.本节主要对 Qt 5 的模块进行一个简单的介绍,以便以后大家需要哪些功能的时候知道到哪个模块去寻找. Qt 5 模块分为 Essentials Module…

Home / Qt 学习之路 2 / Qt 学习之路 2(2):Qt 简介 Qt 学习之路 2(2):Qt 简介  豆子  2012年8月21日  Qt 学习之路 2  43条评论 Qt 是一个著名的 C++ 应用程序框架.你并不能说它只是一个 GUI 库,因为 Qt 十分庞大,并不仅仅是 GUI 组件.使用 Qt,在一定程度上你获得的是一个“一站式”的解决方案:不再需要研究 STL,不再需要 C++ 的<string>,不再需要到处去找解析 XML.连接数据库.访问网络的各种第三方库,因为…

WPF学习之路初识   WPF 介绍 .NET Framework 4 .NET Framework 3.5 .NET Framework 3.0 Windows Presentation Foundation (WPF) 是下一代显示系统,用于生成能带给用户震撼视觉体验的 Windows 客户端应用程序. 使用 WPF,您可以创建广泛的独立应用程序以及浏览器承载的应用程序.示例包括下图中显示的 Contoso Healthcare Sample Application(Contoso Heal…

天花无数月中开,五采祥云绕绛台.堕地忽惊星彩散,飞空旋作雨声来.怒撞玉斗翻晴雪,勇踏金轮起疾雷.更漏已深人渐散,闹竿挑得彩灯回. ——明·瞿佑·<烟火戏> 记得每年过春节的那段时间,除了欣赏隆冬的景色,剩下的就是欣赏天空中美丽的烟花了. 成都的冬天,天空中总是灰蒙蒙的,像是织了一层薄薄的轻纱,把阳光挡走了一部分.路边的枫树上,没有了夏日整天“知了”,“知了”的小家伙,是否有鸟儿,我却也忘了.树上的枫叶寥寥无几,可能是在某一时候,悄无声息地飘落了:有时路过一棵年岁已高的树,也不知是地球引力还是什…

▓▓▓▓▓▓ 大致介绍 前面一片博客介绍了Git到底是什么东西,如果有不明白的可以移步 Git学习之路(1)-Git简介 ,这篇博客主要讲解在Windows上安装Git和创建一个版本库 ▓▓▓▓▓▓ 安装Git 因为我是用的Windows,所以就介绍一下在Windows上怎样安装,Linux.Mac的请移步 廖雪峰的官方网站-Git教程 或者 CODE帮助文档-Progit中文版 下载Git的客户端可以点击 Git for Windows ,由于网速感人,所以我提供了一个百度云的链接,点击下载…

学习python的过程: 在茫茫的编程语言中我选择了python,因为感觉python很强大,能用到很多领域.我自己也学过一些编程语言,比如:C,java,php,html,css等.但是我感觉自己都找不到那种一拼到底的那种拼劲,自己也纠结过,到底学什么.我自己思考了真的很久.找到正确的路很重要,但是我也不知道为什么选择了Python,但是选择过后就要走下去,不管路有多么的艰难.加油吧!!! Python学习之路第一天 学习内容: 1.Python简介 2.安装 3.第一个Python程序 4.…

环境也搭建好了,android系统也基本了解了,那么接下来就可以开始学习android开发了,相信这么学下去肯定可以把android开发学习好的,再加上时而再温故下linux下的知识,看看android源码,终有一天可以让自己提高到另外一个高度. 好了,言归正传,真正地开始android开发学习之路了. 相信很多人都知道android四大组件,它们分别是活动(Activity),服务(Service),广播接收器(Broadcast Receiver)和内容提供器(Content Provide…

目录:[持续更新.....] spring 部分常用注解 spring boot 学习之路1(简单入门) spring boot 学习之路2(注解介绍) spring boot 学习之路3( 集成mybatis ) spring boot 学习之路4(日志输出) spring boot 学习之路5(打成war包部署tomcat) spring boot 学习之路6(定时任务) spring boot 学习之路6(集成durid连接池) spring boot 学习之路7(静态页面自动生效问题)…

博客链接:http://blog.csdn.net/yangyangyang20092010/article/details/50374289 Recurrent Neural Network 学习之路 Followed by distinctive figures in corresponding articles. 1. Read paper: "A critical review of Recurrent Neural Networks for Sequence Learning"…

web前端全栈学习之路 --- 陆续更新中 一.HTML相关 1.HTML常用标签:http://www.cnblogs.com/wyb666/p/8733699.html 2.HTML5基础: 3.video元素和audio元素:https://www.cnblogs.com/wyb666/p/9751083.html 4.HTML5进阶:https://www.cnblogs.com/wyb666/p/9746357.html 二.CSS相关 1.CSS选择器及常用样式:http://www…

STM32学习之路入门篇之指令集及cortex——m3的存储系统 一.汇编语言基础 一).汇编语言:基本语法 1.汇编指令最典型的书写模式: 标号 操作码        操作数1, 操作数2,... :注释 1).标号是可选的,如果有,它必须顶格写.标号的作用是让汇编器来计算程序转移的地址. 2).操作码是指令的助记符,它的前面必须有至少一个空白符,通常使用提个Tab键来产生. 3).操作码后面往往跟若干个操作数,而第一个操作数,通常都给出本指令执行结果的存储地.不同指令需要不同数目的操作数,并…

中小研发团队架构实践之生产环境诊断工具WinDbg 生产环境偶尔会出现一些异常问题,WinDbg或GDB是解决此类问题的利器.调试工具WinDbg如同医生的听诊器,是系统生病时做问题诊断的逆向分析工具,Dump文件类似于飞机的黑匣子,记录着生产环境程序运行的状态.本文主要介绍了调试工具WinDbg和抓包工具ProcDump的使用,并分享一个真实的案例.N年前不知谁写的代码,导致每一两个月偶尔出现CPU飙高的现象.我们先使用ProcDump在生产环境中抓取异常进程的Dump文件,然后在不了解代码的…