源码导读 spark 源码导读1 从spark启动脚本开始 spark 源码导读2 进一步窥探Master.Worker启动及通信机制 spark 源码导读3 进一步理解脚本调用关系 spark 源码导读5 列举spark引用的框架和算法 spark 源码导读6 App, Driver 及 Worker的容错恢复 以spark源码为参照分析模式匹配及种类 GraphX spark 源码导读4 初探Graphx 内核理解 spark 内核调度理解 性能 spark性能相关参数配置 spark 实战…

这里的LPR的的几篇文章是之前项目的一些相关资料的整理,涉及实验室内部的资料就没有放上来,希望能对想了解这方面的同学,有所帮助,那怕了解个大概也好.知道整体的思路就好.当初就是一个人瞎摸索,走了很多的弯路,也算给其他人一点建议吧. 车牌识别LPR系统系列文章汇总: 车牌识别LPR(一)-- 研究背景 车牌识别LPR(二)-- 车牌特征及难点 车牌识别LPR(三)-- LPR系统整体结构 车牌识别LPR(四)-- 车牌定位 车牌识别LPR(五)-- 一种车牌定位法 车牌识别LPR(六)-- 字符分…

本文作为scala系列文章索引 本博客目录: case class 背后的秘密 以spark源码为参照分析模式匹配及种类 另外,本文还收录了几个作者认为比较好的博文或网站: scala 相关网址汇总 Scala 课堂! 在路上 scala 中文 Scala新手指南中文版 - 目录 scala tutorialspoint Effective Scala…

相信我,你会收藏这篇文章的 本篇文章是这段时间撸出来的SpringBoot源码解析系列文章的汇总,当你使用SpringBoot不仅仅满足于基本使用时.或者出去面试被面试官虐了时.或者说想要深入了解一下这个东西时,那么这篇文章绝对能够满足你 SpringBoot自动装配原理解析 本篇文章是当你想要深入学习SpringBoot时最应该读的一篇文章,它包含了SpringBoot的精髓:约定大于配置这句话的原理及实现方式,除了自动装配的原理之外还包含了一个自定义Star的小惊喜 SpringBoot源码…

系列文章列表 Query DSL Query DSL 概要,MatchAllQuery,全文查询简述 Match Query Match Phrase Query 和 Match Phrase Prefix Query Multi Match Query Java Rest Client API Elasticsearch Java Rest Client API 整理总结 (一)--Document API Elasticsearch Java Rest Client API 整理总结 (二)…

本篇汇总docker系列的文章目录: 01. 准备Docker环境 02. CentOS安装Docker 03. Bridge Network 01 容器间通信 持续更新中…… 本人微信公众号同步更新云计算.容器.网络.编程等文章,欢迎关注!…

本文整理汇总了本博客自去年学习HBase以来写的全部关于HBase的相关内容.持续更新中,很多其它内容.敬请关注! 相关知识: 1.<布隆过滤器(Bloom Filter)> 2.<7-bit整数(Integer)压缩算法> 3.<Java NIO(上)><Java NIO(下)> HBase安装: 1.<CentOS分布式环境安装HBase-0.96.0> 2.<centos集群上安装ganglia-3.6.0监控hadoop-2.2.0…

引言 不知不觉已经写了好几篇 python 相关的随笔了,从刚开始的门外汉到现在已经对 python 有一些入门了,时间也已经过去了一个多月. 写博客真是好处多多,不仅能提供整理自己学习的知识点,梳理思路:而且还能够将知识记录下来,方便自己查阅,也会对用到的同仁提供帮助. 后续我还会持续跟新 python 学习应用的历程,并在此文中添加进新写的文章,记录自己 python 之路的历程. 如果您认真读过我的某些文章,并觉得某些地方认识有偏差,欢迎在评论中留言,批评指正.我会虚心思考,认真回复. p…

先看一张图 0 这个图是Eureka官方提供的架构图,整张图基本上把整个Eureka的核心功能给列出来了,当你要阅读Eureka的源码时可以参考着这个图和下方这些文章 EurekaServer EurekaServer就是我们常说的服务端 Eureka服务端的启动可参考这篇文章EurekaServer自动装配及启动流程解析 它维护了一张服务注册表,在这个服务注册表中包含了所有的客户端信息 当服务端启动时会做这么几个事情: 向集群中的其他服务端发起数据同步请求:Eureka应用注册与集群数据同步源…

下面是名企面试中经常会出现的面试题目,大家可以戳相应的题目查看题目细节,其答案会在紧接着的后一篇中出现  剑指offer系列  始 剑指offer—灯管问题(1)  剑指offer—10人电梯(2)  剑指offer—最多能喝多少啤酒(3)  剑指offer—为什么多了一块(4)  剑指offer—如何倒出2两酒(5)   剑指offer—必胜策略(6)  剑指offer—测试题(7)  剑指offer—概率悖论(8)  剑指offer—人民币为何只有四种面值(9) 剑指offer—猜牌游戏(1…

[CloudNotes版本更新信息与下载地址:http://cloudnotes.cloudapp.net/webapi/Home/Release] [CloudNotes RESTful API帮助文档地址:http://cloudnotes.cloudapp.net/webapi/Help] CloudNotes:一个云端个人笔记系统 CloudNotes之领域建模篇:领域模型简介 CloudNotes之桌面客户端篇:增强的笔记列表 CloudNotes之桌面客户端篇:插件系统的实现 Clo…

Web前端开发最佳实践(1):前端开发概述 Web前端开发最佳实践(2):前端代码重构 Web前端开发最佳实践(3):前端代码和资源的压缩与合并 Web前端开发最佳实践(4):在页面中添加必要的meta信息 Web前端开发最佳实践(5):正确闭合HTML标签,停止使用不标准的标签和属性 Web前端开发最佳实践(6):过时的块状元素和行内元素 Web前端开发最佳实践(7):使用合理的技术方案来构建小图标 Web前端开发最佳实践(8):还没有给CSS样式排序?其实你可以更专业一些 Web前端开发最佳…

JVM中运行时数据区中的堆.栈.方法区等区域的特性介绍 Java中class文件的组成结构 JVM的类加载生命周期介绍 Java堆.新生代老年代的特点.堆中的内存分配策略 JVM垃圾收集算法详解 JVM各个垃圾收集器的简单介绍及常用参数详解 JVM中的内存溢出\OOM的原因及解决方案 浅谈Java类加载器ClassLoader以及双亲委派模式 JVM常用调优参数 Java虚拟机是怎么new的对象 JVM内存模型 JVM性能分析神器-VisualVM…

前言介绍 .NET Core是微软新一代主力编程平台,开源.免费.跨平台.轻量级.高性能,支持Linux.Docker.k8s等环境,适合开发微服务.云原生.大型互联网应用.全开源解决方案. Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中,然后发布到任何流行的 Linux或Windows 机器上,也可以实现虚拟化.容器是完全使用沙箱机制,相互之间不会有任何接口. Kubernetes一个用于容器集群的自动化部署.扩容以及运维的开源平台.通过Kube…

请移步我博客园的网站 基本上是自己的原创,不是网上抄来抄去的,有很多干货,希望一边整理,一边修改-有不对的地方多多指教. https://www.cnblogs.com/CodeWorkerLiMing/p/11831507.html--开发环境 https://www.cnblogs.com/CodeWorkerLiMing/p/11831580.html--功能码1 https://www.cnblogs.com/CodeWorkerLiMing/p/11875368.html--功能码2…

~ JavaFX桌面应用开发系列文章汇总篇 ~ JavaFX桌面应用开发-HelloWorld JavaFX布局神器-SceneBuilder JavaFX让UI更美观-CSS样式 JavaFX桌面应用-为什么应用老是"未响应" JavaFX桌面应用-MVC模式开发,"真香" JavaFX桌面应用-loading界面 JavaFX桌面应用-表格用法 文章将在博客.公众号上持续更新,部分文章仅在公众号上发布. =============================…

Spark-性能调优-系列文章 Spark Master at spark://node-01:7077 scala java8_百度搜索 (1 封私信)如何评价Linkedin决定逐渐减少Scala转而使用Java8的决定? - 知乎 为什么Java 8也不能干掉Scala? - 大数据技术参考_大数据技术文献_大数据趋势分析 SPARK_WORKER_CORES 超过_百度搜索 spark 调优经验(续二) | IT瘾 spark调优经验(待续) | IT瘾 Spark&Spark性能调优实…

Spring研磨分析.Quartz任务调度.Hibernate深入浅出系列文章笔记汇总 置顶2017年04月27日 10:46:45 阅读数:1213 这系列文章主要是对Spring.Quartz.Hibernate等JavaWeb相关框架学习.并用于实践开发相当一段时间后,进行回顾总结的一系列笔记记录,对其中重点难点如IOC.AOP.数据库连接等进行了分析.主要是基于一些经典书籍文档讲解的基础上,融入自己实践的感悟,基本文章中提到的实例都是经过实际代码测试的,也力求讲得通俗易懂. Spring…

学习WF当然是MSDN作为第一手材料,但是看完了一些基础的入门知识后,园子里的一些WF大牛们的系列文章就是很好的提高的材料了.在此,感谢他们,我真佩服他们有这样的耐心和良好的学习习惯. 以下就是我经常看的一些WF的系列文章: 1.生鱼片blog的坚持学习系列,这个是我看得最多的了,感觉挺对我的学习思路. http://www.cnblogs.com/carysun/archive/2008/10/21/1209612.html 2.笑煞天的WF学习笔记系列,知识点很细,每个你想要学习的WF知识点…

一.RDD简介 RDD 全称为 Resilient Distributed Datasets,是 Spark 最基本的数据抽象,它是只读的.分区记录的集合,支持并行操作,可以由外部数据集或其他 RDD 转换而来,它具有以下特性: 一个 RDD 由一个或者多个分区(Partitions)组成.对于 RDD 来说,每个分区会被一个计算任务所处理,用户可以在创建 RDD 时指定其分区个数,如果没有指定,则默认采用程序所分配到的 CPU 的核心数: RDD 拥有一个用于计算分区的函数 compute:…

ASP.NET MVC 系列随笔汇总[未完待续……] 为了方便大家浏览所以整理一下,有的系列篇幅中不是很全面以后会慢慢的补全的. 学前篇之: ASP.NET MVC学前篇之扩展方法.链式编程 ASP.NET MVC学前篇之Lambda表达式.依赖倒置 ASP.NET MVC学前篇之Ninject的初步了解 ASP.NET MVC学前篇之请求流程 路由篇: ASP.NET MVC路由(一) ASP.NET MVC路由(二) ASP.NET MVC路由(三) ASP.NET MVC Module A…

Maven:基于Java平台的项目构建.依赖管理和项目信息管理. 1.构建 Maven标准化了构建过程 构建过程:编译.运行单元测试.生成文档.打包和部署 避免重复:设计.编码.文档.构建 2.依赖管理 提供了中央仓库,帮助我们自动下载构件 通过坐标系统准确定位每一个构件(artifact),通过一组坐标可以找到任何一个java类库(如jar文件) 3.项目信息管理 直接的项目信息:项目描述.开发者列表.版本控制系统地址.许可证... 更多有价值信息:项目文档.测试报告.静态分析报告.源码版本日…

之前一段时间都在个人公众号账号“大内老A”发布关于ASP.NET Core的系列文章,很多人留言希望能够同步到这里,所以在这里 对这些文章做一个汇总,以便于PC端阅读.如果说微软官方文档主要关于ASP.NET Core的编程模式的话,我这个系列则主要关注整个ASP.NET Core的设计思想和实现原理.我希望这个系列为致力于深入学习ASP.NET Core的人提供一个全面.系统而深入的知识库.为了确保本系列的纯粹性,这个系列旨在关注ASP.NET Core以中间件管道核心的框架,不会涉及建立在它…

Spark系列-初体验(数据准备篇) Spark系列-核心概念 在Spark体验开始前需要准备环境和数据,环境的准备可以自己按照Spark官方文档安装.笔者选择使用CDH集群安装,可以参考笔者之前的文章:Cloudera Manager大数据集群环境搭建 至于数据的准备就是本文的主要内容,数据采用python爬虫的方式,爬去上一个月上海的天气数据,参考了https://www.cnblogs.com/haha-point/p/7467221.html,但是因为网站做了反爬虫,研究了一下,发下只要…

概述 由TerryLee编写的<Silverlight 2完美征程>一书,已经上市,在该系列文章的基础上补充了大量的内容,敬请关注.官方网站:http://www.dotneteye.cn/silverlight Silverlight 2 Beta 1版本发布了,无论从Runtime还是Tools都给我们带来了很多的惊喜,如支持框架语言Visual Basic, Visual C#, IronRuby, Ironpython,对JSON.Web Service.WCF以及Sockets的支持…

随笔分类 - webrtc   Android IOS WebRTC 音视频开发总结(七八)-- 为什么WebRTC端到端监控很关键? 摘要: 本文主要介绍WebRTC端到端监控(我们翻译和整理的,译者:weizhenwei,校验:blacker),最早发表在[编风网] 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn). callstats是一家做实时通讯性能测阅读全文 posted @ 2016-07-22 08:…

概述 由TerryLee编写的<Silverlight 2完美征程>一书,已经上市,在该系列文章的基础上补充了大量的内容,敬请关注.官方网站:http://www.dotneteye.cn/silverlight Silverlight 2 Beta 1版本发布了,无论从Runtime还是Tools都给我们带来了很多的惊喜,如支持框架语言Visual Basic, Visual C#, IronRuby, Ironpython,对JSON.Web Service.WCF以及Sockets的支持…

SpringCloud系列教程 | 终篇:文章汇总(持续更新) 我为什么这些文章?一是巩固自己的知识,二是希望有更加开放和与人分享的心态,三是接受各位大神的批评指教,有任何问题可以联系我: inwsy@hotmail.com. Github源码下载:https://github.com/meteor1993/SpringCloudLearning <跟我学SpringCloud>系列: Greenwich版 Spring Cloud Greenwich.SR1; Spring Boot 2.1…

一.Transformation spark 常用的 Transformation 算子如下表: Transformation 算子 Meaning(含义) map(func) 对原 RDD 中每个元素运用 func 函数,并生成新的 RDD filter(func) 对原 RDD 中每个元素使用func 函数进行过滤,并生成新的 RDD flatMap(func) 与 map 类似,但是每一个输入的 item 被映射成 0 个或多个输出的 items( func 返回类型需要为 Seq ).…

一.作业提交 1.1 spark-submit Spark 所有模式均使用 spark-submit 命令提交作业,其格式如下: ./bin/spark-submit \ --class <main-class> \ # 应用程序主入口类 --master <master-url> \ # 集群的 Master Url --deploy-mode <deploy-mode> \ # 部署模式 --conf <key>=<value> \ # 可选…