1.State概念理解 在Flink中,按照基本类型,对State做了以下两类的划分:Keyed State, Operator State. Keyed State:和Key有关的状态类型,它只能被基于KeyedStream之上的操作,方法所使用.我们可以从逻辑上理解这种状态是一个并行度操作实例和一种Key的对应, <parallel-operator-instance, key>.Operator State:(或者non-keyed state),它是和Key无关的一种状态类型.相应地我

http://ifeve.com/flink-quick-start/ http://vinoyang.com/2016/05/02/flink-concepts/ http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/ 并行数据流 程序在Flink内部的执行具有并行.分布式的特性.stream被分割成stream partition,operator被分割成operator sub

STEP 1:设置开发环境 与yeoman的所有交互都是通过命令行.Mac系统使用terminal.app,Linux系统使用shell,windows系统可以使用cmder/PowerShell/cmd.exe. 1.1 安装条件 安装yeoman之前,你需要先安装如下内容 Nodejs v4或者更高版本 npm git 通过以下命令检查是否安装node环境以及npm管理工具. $ node -v && npm -v npm默认随node一起安装.有些node版本可能安装的是旧版本的np

在学习python的过程中,做练习,解析https://www.python.org/events/python-events/ HTML文件,输出Python官网发布的会议时间.名称和地点. 对html的解析是网页抓取的基础,分析抓取的结果找到自己想要的内容或标签以达到抓取的目的. HTMLParser是python用来解析html的模块.它可以分析出html里面的标签.数据等等,是一种处理html的简便途径. HTMLParser采用的是一种事件驱动的模式,当HTMLParser找到一个特定

最近开始学习React,发现最好的方法不是看这个书那个书,而是直接上官网,一步步的跟着学习,真的获益匪浅.许多翻译的书上漏掉的知识点都可以学到. 入门的一些准备工作可以参照官网的步骤,引入依赖的核心包,就不多说了,直接上官网的第二个具体例子,一个过滤产品列表的Table:https://facebook.github.io/react/docs/thinking-in-react.html 这篇文章主要介绍的并不是API的一些使用,而是向刚入门的同学介绍使用React设计组件时的一些思路,思考怎

最近十几天一直在忙着做集团官方网站的工作,从刚开始紧张的筹备一直到现在初步成型,今天才有时间特地来记录一下自己在这个项目中的收获. 先来说一说今天遇到的问题吧:关于cookie~ 事情起因是这样的:在项目马上验收的时候,经理在调试各种功能的时候,发现我做的页面中有一个功能,并没给加条件限制,这样子就有可能让网站遭到恶意攻击:频繁的投递简历,于是乎类似于各大招聘网站中的这种"申请职位"效果: 之前并没有设置cookie,而处于安全以及人性化就在其中加入cookie.而至此,就特地了解了一

前言 最近一段时间在网上经常看到关于Knockout.js文章,于是自己就到官网看了下,不过是英文的,自己果断搞不来,借用google翻译了一下.然后刚刚发现在建立asp.net mvc4.0的应用程序的时候,建完之后我直接在项目的Scripts中看到了这两个js类库,用谷歌翻译看了下官网,Ko的实现原理是MVVM,比MVC高级一些. 简介MVVM模式 MVVM是Model-View-ViewModel的简写. WPF的数据绑定与Presentation Model相结合是非常好的做法,使得开发

前言 这是 React 系列教程的第一篇,我们将用 React 实现 Animate.css 官网的效果.对于 Animate.css 官网效果是一个非常简单的例子,原代码使用 jQuery 编写,就是添加类与删除类的操作.这对于学习 React 来说是一个非常典型且简单的示例.但是我并不会在教程中介绍相关的前置知识,比如 JSX.ES6 等,对于小白来说还是会有一些困惑的地方,所以可能还要了解一下 React 相关的基础知识.虽然 React 有很多值得深究的知识,但这个系列教程主要以浅显易懂

介绍 Docker Swarm 是 Docker 公司推出的官方容器集群平台,基于 Go 语言实现 作为容器集群管理器,Swarm 最大的优势之一就是 100% 支持标准的 Docker API.各种基于标准 API 的工具比如 Compose.docker-py.各种管理软件,甚至 Docker 本身等都可以很容易的与 Swarm 进行集成.这大大方便了用户将原先基于单节点的系统移植到 Swarm 上. 基本概念 节点: 运行 Docker 的主机可以主动初始化一个 Swarm 集群或者加入一

----本节内容-------1.概览        1.1 Spark SQL        1.2 DatSets和DataFrame2.动手干活        2.1 契入点:SparkSession        2.2 创建DataFrames        2.3 非强类型结果集操作        2.4 程序化执行SQL查询        2.5 全局临时视图        2.6 创建DataSets        2.7 与RDD交互操作        2.8 聚集函数3.Sp

官网链接为 https://kubernetes.io/docs/tutorials/kubernetes-basics/ 基础操作环境为minikube 常见基础命令 查看基础的一些信息 # 查看版本 (oracle) ➜ cdss_db git:(dameng) kubectl version Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.0", G

https://flink.apache.org/ 使用谷歌浏览器进入官网后,点击页面右键,使用谷歌翻译,翻译准确率很高: 常用部分:

不多说,直接上干货! 说在前面的话  首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu LTS \n \l root@zhouls-virtual-machine:~# Neo4j 是一个NoSQL的图形数据库(Graph Database).Neo4j使用图(graph)相关的概念来描述数据模型,把数据保存为图中的节点以及节点之间的关系.很多应用中数据之间的关系,可以很直接地使用图中节点和关系的概念来建模

不多说,直接上干货! 说在前面的话  首先,查看下你的操作系统的版本. root@zhouls-virtual-machine:~# cat /etc/issue Ubuntu 14.04.4 LTS \n \l root@zhouls-virtual-machine:~# Neo4j 是一个NoSQL的图形数据库(Graph Database).Neo4j使用图(graph)相关的概念来描述数据模型,把数据保存为图中的节点以及节点之间的关系.很多应用中数据之间的关系,可以很直接地使用图中节点和

本博客实现React官网首页上展示的demo, 为了方便直接采用单文件的形式, 如果想完整集成 在自己的项目中, 可以参考React官网的安装指南, 安装Create React App. hello-world 请移步至我写的这篇博客: 单文件快速体验使用react输出hello_world A Stateful Component React组件除了通过this.props传入参数, 还在内部维护this.state, 该数据只能在组件 才能访问. 一旦组件的this.state发生改变,

分布式应用 分布式应用 distributed application可以在给定时间(同时)在网络中的多个系统上运行,通过协调它们以快速有效的方式完成特定任务. (a), (b): a distributed system.  (c): a parallel system. 通过将分布式应用配置为在更多系统上运行,可以进一步减少完成任务的时间.分布式应用正在运行的一组系统称为集群,而在集群中运行的每台机器被称为节点. 分布式应用有两部分, Server(服务器)和 Client(客户端)应用程序

不多说,直接上干货! https://beam.apache.org/get-started/beam-overview/ https://beam.apache.org/get-started/quickstart-java/ Apache Beam Java SDK Quickstart This Quickstart will walk you through executing your first Beam pipeline to run WordCount, written usin

不多说,直接上干货! 在这篇博客里,我采用了非官网的安装步骤,来进行安装.走了弯路,同时,也是不建议.因为在大数据领域和实际生产里,还是要走正规的为好. Ubuntu14.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐) 官方文档 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 这里是一个总述,不多说. 这里是Overview,不多说. 第一步:为软件包管理系统导入公

不多说,直接上干货! 在这篇博客里,我采用了非官网的安装步骤,来进行安装.走了弯路,同时,也是不建议.因为在大数据领域和实际生产里,还是要走正规的为好. Ubuntu16.04下Mongodb(离线安装方式|非apt-get)安装部署步骤(图文详解)(博主推荐)  官方文档 https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/ 这里是一个总述,不多说. 这里是Overview,不多说. 第一步:为软件包管理系统导入

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 3.1 Broker Configs 3.1 broker配置 The essential configurations are the following: broker.id log.dirs zookeeper.connect 基本配置如下: broker.id log.dirs zookeeper.connect Topic-level configurations and

不多说,直接上干货! 一切来源于官网 http://kafka.apache.org/documentation/ 1.5 Upgrading From Previous Versions 1.5 从老版本升级kafka Upgrading from 0.8.x, 0.9.x, 0.10.0.x or 0.10.1.x to 0.10.2.0 从0..x, .X 升级到 0.10.1.0 0.10.2.0 has wire protocol changes. By following the r