//1 从内存中创建makeRdd,底层实现就是parallelize val rdd=sc.makeRDD(Array(1,2,"df",55)) //2 从中创建parallelize val paraRdd=sc.parallelize(Array(1,2,3,54,5)) //3 从外部存储中创建 // 默认情况下,可以读取项目路劲,也可以读取其他路劲如hdfs // 默认从文件中读取数据都是字符串类型 // 读取文件时,传递的分区参数为最小分区数,但不一定是这个分区数,取决与…

一.yarn简介 yarn是在hadoop2.x中才引入的一个新的机制,在hadoop1.x中MapReduce任务需要同时做任务管理和资源分配,那么引入yarn之后,hadoop的资源管理的任务就全部交给yarn来处理,从而实现存储.任务.资源的分离. 二.yarn的主要角色 1.ResourceManager ResourceManager是基于应用程序对集群资源的需求进行调度的Yarn集群主控节点,负责协调和管理整个集群(所有 NodeManager)的资源,响应用户提交的不同类型应用的…

累加器 val dataRdd = sc.makeRDD(List(1, 2, 3, 4), 2) var sum = 0 //累加器可以收集driver和各个excuter中累加的结果 //如果此处删除累加器,用java的算法sum=sum+i那么结果是0,driver端的sum就是0,缺有无法得知各个excuter中加到了几 val accumulator = sc.longAccumulator dataRdd.foreach({ case i=>{ sum=sum+i accumulat…

============================================================================== 深入linux kernel内核配置选项 ============================================================================== 如果自己不亲自实践配置的话,你永远也体会不到内核的真实所在. 使用过linux的发行版之一gentoo的话,你应该知道这是一个彻头彻尾的自定义…

4.      RDD编程API 4.1 RDD的算子分类 Transformation(转换):根据数据集创建一个新的数据集,计算后返回一个新RDD:例如:一个rdd进行map操作后生了一个新的rdd. Action(动作):对rdd结果计算后返回一个数值value给驱动程序,或者把结果存储到外部存储系统(例如HDFS)中: 例如:collect算子将数据集的所有元素收集完成返回给驱动程序. 4.2 Transformation RDD中的所有转换都是延迟加载的,也就是说,它们并不会直接计算结…

MongoDB为Java提供了非常丰富的API操作,相比关系型数据库,这种NoSQL本身的数据也有点面向对象的意思,所以对于Java来说,Mongo的数据结构更加友好. MongoDB在今年做了一次重大升级,版本来到了3.0. 相比之前的版本,这个版本中又很大的变化,相应地,本文中的方法可能在旧的版本中无法使用. 安装MongoDB Java Driver 使用maven的用户在pom.xml中使用以下的dependency. <dependency> <groupId>org.m…

序言 MangoDB CSharp Driver是c#操作mongodb的官方驱动. 官方Api文档:http://api.mongodb.org/csharp/2.2/html/R_Project_CSharpDriverDocs.htm#! 驱动的具体介绍:https://docs.mongodb.org/ecosystem/drivers/csharp/ 本文主要对c#操作mongodb的增删改查,以及数据库链接配置做代码示例,方便进一步封装及学习. mongodb链接配置 public…

一.JDBC 连接Oracle 说明 JDBC 的应用连接Oracle 遇到问题,错误如下: ORA-12505,TNS:listener does not currently know of SID given in connect descriptor TheConnection descriptor used by the client was. 我在DB 层面配置了静态注册,并且GLOBAL_DBNAME和SID_NAME 不一样,以往的配置都是一样的,所以没有发现这个问题. (SID_…

关于关于驱动设备模型相关概念请参考<Linux Device Drivers>等相关书籍,和内核源码目录...\Documentation\driver-model 简单来说总线(bus),驱动(driver),设备(device)这三者之间的关系就是:驱动开发者可以通过总线(bus)来将驱动(driver)和设备(device)进行隔离,这样的好处就是开发者可以将相对稳定不变的驱动(driver)独立起来,可以通过总线(bus)来桥接与之匹配的设备(device).设备(device)只需要…

TI AM335x ti am335x_tsc.c 代码跟踪 在kernel 首层目录: 先运行make ARCH=arm tags 这个作用是建立tags文件,只含有arm架构的,利用ctag即可进行跟中代码. drivers/input/touchscreen/ti_am335x_tsc.c 看到代码最后, module_platform_driver(ti_tsc_driver); 其实跟进入有如下定义: #define module_platform_driver(__platform_…