2015-11-11 ----------------------------------------------------------------------------------- 其实,写博客是很消耗时间的,尤其是新手玩家.但凡事不妨一试,再说它也可以反过来倒逼 我坚持学习这个领域的知识,也不失为自我暗示的好方法. 鉴于过往的学习体验,往往是零零碎碎地接收一堆杂乱知识,不能很好地消化,仿若段誉短时 间吸收以大众人的内力,反倒自食其害.苦了现在还需腾出大量时间整理.也因有了这么一遭 领悟…

Version: OpenCV 2.4.9 IDE    : VS2010 OS     : Windows ----------------------------------------------------------------------------------- GoalIn this tutorial you will learn how to:• Load an image (using imread)• Create a named OpenCV window (using…

初次尝试用 Spark+scala 完成项目的重构,由于两者之前都没接触过,所以边学边用的过程大多艰难.首先面临的是如何快速上手,然后是代码调优.性能调优.本章主要记录自己在项目中遇到的问题以及解决方式,下篇会尝试调优方法.末尾会分享自己的学习资料,也供大多菜鸟第一次使用作为参考.由于自己项目中大量使用spark sql,所以下面的经验大多是和spark sql有关.同样下面也列出作为菜鸟在学习过程中的困惑以及踩的坑,还请大牛勿笑 ~_~ 如果有更好的方式解决,欢迎留言,一起学习. 1.常用场景…

前几节介绍了下常用的函数和常踩的坑以及如何打包程序,现在来说下如何调参优化.当我们开发完一个项目,测试完成后,就要提交到服务器上运行,但运行不稳定,老是抛出如下异常,这就很纳闷了呀,明明测试上没问题,咋一到线上就出bug了呢!别急,我们来看下这bug到底怎么回事~ 一.错误分析 1.参数设置及异常信息 18/10/08 16:23:51 WARN TransportChannelHandler: Exception in connection from /10.200.2.95:40888 ja…

上一节简单介绍了Spark的基本原理以及如何调用spark进行打包一个独立应用,那么这节我们来学习下在spark中如何编程,同样先抛出以下几个问题. Spark支持的数据集,如何理解? Spark编程中常用到的操作? 一.RDD基础 1.RDD简介 在上一节的组件图Spark Core中我们简单提到了对弹性分布式数据集:RDD(Resilient Distributed DataSet),它表示分布在多个计算节点上可以并行操作的元素集合,是Spark主要得编程抽象.一般我们广为熟知的数值类型是整…

由于最近在工作中刚接触到scala和Spark,并且作为python中毒者,爬行过程很是艰难,所以这一系列分为几个部分记录下学习<Spark快速大数据分析>的知识点以及自己在工程中遇到的小问题,以下阶段也是我循序了解Spark的一个历程. 先抛出几个问题: 什么是Spark? Spark内部是怎么实现集群调度的? 如何调用Spark? 如何打包一个Spark独立应用? 一.Spark是什么 Spark是一个用来实现快速而通用的集群计算平台.它一个主要特点是能够在内存中进行计算,并且提供了基于P…

一.背景 处理json格式的字符串,key值一定为String类型,但value不确定是什么类型,也可能嵌套json字符串,以下是使用 JSON.parseFull 来解析多层json. 二.实例代码 import collection.mutable.Map import scala.util.parsing.json._ def regJson(json:Option[Any]) = json match { //转换类型 case Some(map:collection.immutable…

在做spark项目时,我们常常面临如何在本地将其打包,上传至装有spark服务器上运行的问题.下面是我在项目中尝试的两种方案,也踩了不少坑,两者相比,方案一比较简单,本博客提供的jar包适用于spark版本2.0以下的,如果jar包和版本不对应会出现找不到类或方法等错误提示信息,它主要借助于eclipse和现成的jar包进行打包应用,只能从官网上下载对应的jar包,局限很大.方案二是借助于IntelliJ + maven方式,它只要配置好pom.xml文件,在文件中写明自己的运行环境即可,通用(…

好久没有更新了,实在不知道应该写一些什么内容,因为作为入门系列,实际上应该更多的是操作而不是理论,而在UI5 SDK中的EXPLORER里面有着各种控件的用法,所以在这里也没有必要再来一遍,还是看官方的用法更地道. 看一下基于最新的库所推荐的项目结构. 另外,我觉得对于初学者来说是一个非常好的消息,就是UI5版本从1.28更新到1.30以及更高之后,Tutorial系列有了重大更新,之前的Get Started->Tutorials->Application Best Practice现在改为…

下载并安装CMake3.0.1       要自己编译OpenCV2.4.9的源代码.首先.必须下载编译工具,使用的比較多的编译工具是CMake. 以下摘录一段关于CMake的介绍: CMake是一个跨平台的安装(编译)工具,可以用简单的语句来描写叙述全部平台的安装(编译过程).他可以输出各种各样的makefile或者project文件,能測试编译器所支持的C 特性,类似UNIX下的automake.仅仅是 CMake 的组态档取名为 CmakeLists.txt.Cmake 并不直接建构出终于…