目录 · Linux网络IO模型 · 文件描述符 · 阻塞IO模型 · 非阻塞IO模型 · IO复用模型 · 信号驱动IO模型 · 异步IO模型 · BIO编程 · 伪异步IO编程 · NIO编程 · Buffer和Channel · 深入Buffer · Selector · AIO编程 · 四种IO编程对比及选择Netty的原因 · Netty入门 · 开发与部署 · Hello World · 粘包/拆包问题 · 问题及其解决 · LineBasedFrameDecoder · Delim…

目录 · 概况 · Hadoop · 云计算 · 大数据 · 数据挖掘 · 手工搭建集群 · 引言 · 配置机器名 · 调整时间 · 创建用户 · 安装JDK · 配置文件 · 启动与测试 · Cloudera Manager · 原理 · Hadoop架构 · 性能调优 · 硬件选型 · 操作系统调优 概况 Hadoop 1. ASF(Apache软件基金会)给出定义:Hadoop软件库是一个框架,允许在集群中使用简单的编程模型对大规模数据集进行分布式计算. 2. Hadoop生态圈 a) H…

目录 概况 手工搭建集群 引言 安装Python 配置文件 启动与测试 应用部署 参数配置 Storm命令 原理 Storm架构 Storm组件 Stream Grouping 守护进程容错性(Daemon Fault Tolerance) 数据可靠性(Guaranteeing Message Processing) 消息传输机制 API WordCount示例 应用部署方式 组件接口 组件实现类 数据连接方式 常用Topology模式 日志(集群模式) 并行度设置 tick定时机制 序列化 与…

目录 概述 原理 组成 执行流程 性能 API 应用程序模板 通用读写方法 RDD转为DataFrame Parquet文件数据源 JSON文件数据源 Hive数据源 数据库JDBC数据源 DataFrame Operation 性能调优 缓存数据 参数调优 案例 数据准备 查询部门职工数 查询各部门职工工资总数,并排序 查询各部门职工考勤信息 概述 Spark SQL是Spark的结构化数据处理模块. Spark SQL特点 数据兼容:可从Hive表.外部数据库(JDBC).RDD.Parqu…

目录 · 初步认识 · Java里程碑(关键部分) · 理解虚拟机 · Java虚拟机种类 · Java语言规范 · Java虚拟机规范 · 基本结构 · Java堆(Heap) · Java栈(Stacks) · 方法区(Method Area) · 直接内存(Direct Memory) · 本地方法栈(Native Method Stacks) · 常用参数 · 设置参数 · 查看参数 · 跟踪垃圾回收 · 跟踪类加载/卸载 · 设置初始堆和最大堆 · 设置堆分布 · 处理堆溢出 · 配置…

目录 · 线程安全 · 线程安全的实现方法 · 互斥同步 · 非阻塞同步 · 无同步 · volatile关键字 · 线程间通信 · Object.wait()方法 · Object.notify()方法 · 编写线程间通信代码的套路 · 面试题:子线程.主线程交替循环 · 生产者-消费者问题 · 哲学家进餐问题 · 读者-写者问题 · 线程内共享 · 定时器 · JDK5新功能 · 线程池 · Callable和Future · ReentrantLock · ReadWriteLock · …

Table of contents Table of contents Overview Introduction Use cases Manual setup Assumption Configuration Startup & test Principle Topic Distribution Producer Consumer Operation Adding topics Modifying topics Removing a topic Graceful shutdown Balanc…

目录 目录 概况 原理 API DStream WordCount示例 Input DStream Transformation Operation Output Operation 缓存与持久化 Checkpoint 性能调优 降低批次处理时间 设置合理批次时间间隔 内存调优 概况 Spark Streaming支持实时数据流的可扩展(scalable).高吞吐(high-throughput).容错(fault-tolerant)的流处理(stream processing). 架构图 特性…

目录 概况 手工搭建集群 引言 安装Scala 配置文件 启动与测试 应用部署 部署架构 应用程序部署 核心原理 RDD概念 RDD核心组成 RDD依赖关系 DAG图 RDD故障恢复机制 Standalone模式的Spark架构 YARN模式的Spark架构 应用程序资源构建 API WordCount示例 RDD构建 RDD缓存与持久化 RDD分区数 共享变量 RDD Operation RDD Operation隐式转换 RDD[T]分区Operation RDD[T]常用聚合Operati…

目录 · 概况 · 原理 · HDFS 架构 · 块 · NameNode · SecondaryNameNode · fsimage与edits合并 · DataNode · 数据读写 · 容错机制 · 数据完整性 · NameNode HA · NameNode Federation · HDFS Snapshots · 操作 · API 概况 1. 文件系统抽象类FileSystem a) 源码 public abstract class FileSystem extends Config…

目录 · 概况 · 手工安装 · 引言 · 创建HDFS目录 · 创建元数据库 · 配置文件 · 测试 · 原理 · 架构 · 与关系型数据库对比 · API · WordCount · 命令 · 数据类型 · 文件存储格式 · 数据格式 · 数据库 · 数据表 · 装载数据 · 插入数据 · 导出数据 · 查询数据 · 函数 · 性能调优 · join调优 · Reduce任务数 · 合并小文件 · multi-group-by insert和multiple insert · union a…

目录 · 概况 · 原理 · MapReduce编程模型 · MapReduce过程 · 容错机制 · API · 概况 · WordCount示例 · Writable接口 · Mapper类 · Reducer类 · Partitioner抽象类 · WritableComparator接口 · 示例:连接 · 示例:二次排序 概况 1. 起源:一篇Google论文. 2. 特点 a) 开发简单:用户可不考虑进程通信.套接字编程,无需高深技巧,只需符合MapReduce编程模型. b) 伸缩…

目录 · 概况 · 原理 · 资源调度器分类 · YARN架构 · ResourceManager · NodeManager · ApplicationMaster · Container · YARN工作流程 · YARN资源调度 · 操作 · Overview · User Commands · Administration Commands 概况 1. YARN:Yet Another Resource Negotiator,统一资源管理调度平台. 2. 与MRv1:脱胎于MRv1,解决…

目录 · ZooKeeper安装 · 分布式一致性理论 · 一致性级别 · 集中式系统 · 分布式系统 · ACID特性 · CAP理论 · BASE理论 · 一致性协议 · ZooKeeper概况 · ZooKeeper API · 命令 · Java API · Curator · ZooKeeper应用场景 · 数据发布/订阅 · 配置管理 · 命名服务 · 集群管理 · Master选举 · 分布式锁 · 分布式队列 · Hadoop · HBase · Kafka ZooKeeper安…

目录 · 特点 · 安装 · 数据库 · 服务器命令 · 数据类型及其操作命令 · 数据结构 · string · list · set · hash · zset · 发布与订阅 · 排序 · 事务 · pipeline · 基准测试 · 键的过期 · 持久化 · 概况 · snapshoting · AOF · 主从复制 · HA · Lua · 示例:分布式日志 特点 1. Redis是一个开源的.C语言编写的.面向键值对类型数据的分布式NoSQL数据库系统. 2. 特点:高性能(内存数据…

目录 · Introduction to ActiveMQ · Installing ActiveMQ · Message-oriented middleware · JMS specification · What's the Java Message Service? · JMS client · Non-JMS client · JMS producer · JSM consumer · JSM provider · JMS message · JMS domains · Administ…

中国.NET:各地微软技术俱乐部汇总(持续更新中...)   本文是转载文,源地址: https://www.cnblogs.com/panchun/p/JLBList.html by ​史记微软.      i 成功的故事荡气回肠,失败的故事千回百转,但是你不去追求与偿试,你永完不会知道成功的原因失败的原因是什么,人生一辈子也就三万天,如果每天糊里糊涂的过去了,若干年后要连故事都没得讲.如果你还是孤单的程序狗,那么加入中国.NET俱乐部这个大家庭,我们一起书写最精彩的故事.   ★早期三俱★…

目录 · 概况 · 安装 · 基础 · 基础语法 · 数据类型 · 变量 · 常量 · 字符编码 · 字符串格式化 · list · tuple · dict · set · if语句 · for语句 · while语句 · 函数 · 函数定义 · 空函数 · 参数检查 · 默认参数 · 可变参数 · 关键字参数 · 参数组合 · 多个返回值 · 数据类型转换函数 · 递归函数 · 高级特性 · 切片 · 迭代 · 列表生成式 · 生成器 · 函数式编程 · 高阶函数 · map/reduce…

目录 · 概况 · 安装 · 基础 · 基础语法 · 数据类型 · 变量 · 常量 · 字符编码 · 字符串格式化 · list · tuple · dict · set · if语句 · for语句 · while语句 · 函数 · 函数定义 · 空函数 · 参数检查 · 默认参数 · 可变参数 · 关键字参数 · 参数组合 · 多个返回值 · 数据类型转换函数 · 递归函数 · 高级特性 · 切片 · 迭代 · 列表生成式 · 生成器 · 函数式编程 · 高阶函数 · map/reduce…

书籍 HTTP权威指南 <- @Fenng Introduction to Information Retrieval <- @陈利人 Lua 源码欣赏 <- @简悦云风 The Architecture of Open Source Applications <- @CloudFoundry(已陆续读了部分章节,赞!图灵社区有章节翻译) 程序设计实践 <- @寒冬winter 推荐语:薄薄200页,就能让一个掌握一门编程语言基础的人成为一个合格的程序员,其中“算法和数据结构…

面试汇总,整理一波,doc文档可点击[此处下载] 1.基础篇 1.1.Java基础 • 面向对象的特征:继承.封装和多态• final, finally, finalize 的区别• Exception.Error.运行时异常与一般异常有何异同• 请写出5种常见到的runtime exception 常见的几种如下: NullPointerException - 空指针引用异常 ClassCastException - 类型强制转换异常. IllegalArgumentException - 传…

1.Netty 是一款异步的事件驱动的网络应用程序框架,支持快速地开发可维护的高性能的面向协议的服务器和客户端. 2.早期Java API 使用的阻塞函数 // 创建一个新的ServerSocket,用以监听指定端口上的连接请求 ServerSocket serverSocket = new ServerSocket(portNumber); // 对 accept的调用将被阻塞,直到一个连接建立 SufferedReader in = serverSocket.accept(); -- 这种方…

昨天我们发布了Java成神之路上的知识汇总,今天继续. Java成神之路技术整理(长期更新) 以下是Java技术栈微信公众号发布的关于 Spring/ Spring MVC/ Spring Boot/ Spring Cloud 的技术干货,本文长期更新. Spring 系列 Java 必看的 Spring 知识汇总 Spring 5.0 正式发布了 Spring的核心模块解析 Spring的生态 获取 ApplicationContext 的几种方式 一张图搞懂 Spring bean 的完整生…

来自:http://cnblog.cloudfoundry.com/2012/05/ 本文是Cloud Foundry的一个简单上手指南和资料汇总,内容将根据产品的发布定期更新. Cloud Foundry简介 Cloud Foundry是一个开源的平台即服务,它提供给开发者自由度去选择云平台,开发框架和应用服务.Cloud Foundry最初由 VMware 发起,得到了业界广泛的支持,它使得开发者能够更快更容易的开发,测试,部署和扩展应用.Cloud Foundry是一个 开源项目 ,用户可…

今天,小编对Hadoop入门学习知识进行了汇总,帮助大家更好地入手大数据.小编关于Hadoop入门总共发写了12篇原创文章,文章是参照尚硅谷大数据视频教程来进行撰写的. 今天,小编带你解锁正确的阅读顺序.按这个顺序阅读并去实操,相信你一定可以学会的,具体文章阅读顺序如下: 第1篇:Linux常用知识总结 第2篇:大数据技术之Linux实用实操(一) 第3篇:Shell入门编程基础篇 第4篇:Shell入门编程进阶篇 第5篇:大数据思维,到底是什么? 第6篇:必懂的大数据常识,get到了吗? 第7…

对于Android开发的童鞋们来说,图片处理时或多或少都会遇到令人头疼和不满意的问题,今天小编收集了5篇Android图片处理的干货文章,一起来看看吧! 一.Android 高清加载巨图方案 拒绝压缩图片 不使用压缩技术的条件下怎么加载高清图片呢?这篇博文的目的就是去自定义一个显示巨图的View,支持用户去拖动查看 二.Android ListView异步加载图片乱序问题,原因分析及解决方案 在Android所有系统自带的控件当中,ListView这个控件算是用法比较复杂的了,关键是用法复杂也就…

id 名词 含义 详细  1 Android CTS     CTS 全称 Compatibility Test Suite 兼容性测试工具 当产品开发出来以后,并定制了自己的 Android 系统后,必须 要通过最新的 CTS 检测,以保证标准的 Android Application 能运行在该平台下.通过了 CTS 验证,需要将测试报 告提交给 Google , 已取得 android market 的认证. CTS 是一款通过命令行操作的工具. 目前 CTS 没有提供 windows 版…

1 基本介绍 Bootstrap Netty应用程序通过设置 bootstrap(引导)类开始,该类提供了一个用于应用程序网络层配置的容器.Bootstrap有两种类型,一种是用于客户端的Bootstrap,一种是用于服务端的ServerBootstrap.不管应用程序使用哪种协议,无论是客户端还是服务器都需要使用引导.Bootstrap用来连接远程主机,有1个EventLoopGroup.ServerBootstrap用来绑定本地端口,有2个EventLoopGroup.一个ServerBoo…

参考资料:http://www.maljob.com/pages/newsDetail.html?id=394 参考资料:http://www.blogjava.net/liuguly/archive/2014/05/03/413172.html 1.为什么要有引用计数器 Netty里四种主力的ByteBuf, 其中UnpooledHeapByteBuf 底下的byte[]能够依赖JVM GC自然回收:而UnpooledDirectByteBuf底下是DirectByteBuffer,如Java…

对于Android开发的童鞋们来说,图片处理时或多或少都会遇到令人头疼和不满意的问题,今天小编收集了5篇Android图片处理的干货文章,一起来看看吧! 一.Android 高清加载巨图方案 拒绝压缩图片 不使用压缩技术的条件下怎么加载高清图片呢?这篇博文的目的就是去自定义一个显示巨图的View,支持用户去拖动查看 二.Android ListView异步加载图片乱序问题,原因分析及解决方案 在Android所有系统自带的控件当中,ListView这个控件算是用法比较复杂的了,关键是用法复杂也就…