println("--------------------"+data.rdd.getNumPartitions) // 获取DF中partition的数目

     val partitions = data.rdd.glom().collect() // 获取所有data下所有的partition，返回一个partition的集合

     for(part <- partitions){

       println(part.getClass.getName + "::::::::" + part.length) // 每个partition中的数据量

     }

结果：

--------------------100

[Lorg.apache.spark.sql.Row;::::::::61516

[Lorg.apache.spark.sql.Row;::::::::61656

[Lorg.apache.spark.sql.Row;::::::::61991

[Lorg.apache.spark.sql.Row;::::::::61269

[Lorg.apache.spark.sql.Row;::::::::61654

[Lorg.apache.spark.sql.Row;::::::::61780

[Lorg.apache.spark.sql.Row;::::::::62059

[Lorg.apache.spark.sql.Row;::::::::61675

[Lorg.apache.spark.sql.Row;::::::::61339

[Lorg.apache.spark.sql.Row;::::::::61783

[Lorg.apache.spark.sql.Row;::::::::61620

[Lorg.apache.spark.sql.Row;::::::::61883

[Lorg.apache.spark.sql.Row;::::::::61631

[Lorg.apache.spark.sql.Row;::::::::61930

[Lorg.apache.spark.sql.Row;::::::::61451

[Lorg.apache.spark.sql.Row;::::::::61797

[Lorg.apache.spark.sql.Row;::::::::61367

[Lorg.apache.spark.sql.Row;::::::::61647

[Lorg.apache.spark.sql.Row;::::::::61488

[Lorg.apache.spark.sql.Row;::::::::61584

[Lorg.apache.spark.sql.Row;::::::::61733

[Lorg.apache.spark.sql.Row;::::::::61491

[Lorg.apache.spark.sql.Row;::::::::61809

[Lorg.apache.spark.sql.Row;::::::::61062

[Lorg.apache.spark.sql.Row;::::::::61658

[Lorg.apache.spark.sql.Row;::::::::61599

[Lorg.apache.spark.sql.Row;::::::::61911

[Lorg.apache.spark.sql.Row;::::::::61602

[Lorg.apache.spark.sql.Row;::::::::61348

[Lorg.apache.spark.sql.Row;::::::::61677

[Lorg.apache.spark.sql.Row;::::::::61722

[Lorg.apache.spark.sql.Row;::::::::61482

[Lorg.apache.spark.sql.Row;::::::::61714

[Lorg.apache.spark.sql.Row;::::::::61241

[Lorg.apache.spark.sql.Row;::::::::61737

[Lorg.apache.spark.sql.Row;::::::::62015

[Lorg.apache.spark.sql.Row;::::::::62062

[Lorg.apache.spark.sql.Row;::::::::61557

[Lorg.apache.spark.sql.Row;::::::::61607

[Lorg.apache.spark.sql.Row;::::::::61175

[Lorg.apache.spark.sql.Row;::::::::61653

[Lorg.apache.spark.sql.Row;::::::::61460

[Lorg.apache.spark.sql.Row;::::::::61705

[Lorg.apache.spark.sql.Row;::::::::61492

[Lorg.apache.spark.sql.Row;::::::::61340

[Lorg.apache.spark.sql.Row;::::::::61767

[Lorg.apache.spark.sql.Row;::::::::61756

[Lorg.apache.spark.sql.Row;::::::::61793

[Lorg.apache.spark.sql.Row;::::::::61417

[Lorg.apache.spark.sql.Row;::::::::61376

[Lorg.apache.spark.sql.Row;::::::::62039

[Lorg.apache.spark.sql.Row;::::::::61571

[Lorg.apache.spark.sql.Row;::::::::61849

[Lorg.apache.spark.sql.Row;::::::::61553

[Lorg.apache.spark.sql.Row;::::::::61612

[Lorg.apache.spark.sql.Row;::::::::61980

[Lorg.apache.spark.sql.Row;::::::::61714

[Lorg.apache.spark.sql.Row;::::::::62376

[Lorg.apache.spark.sql.Row;::::::::61884

[Lorg.apache.spark.sql.Row;::::::::61273

[Lorg.apache.spark.sql.Row;::::::::61669

[Lorg.apache.spark.sql.Row;::::::::61695

[Lorg.apache.spark.sql.Row;::::::::61515

[Lorg.apache.spark.sql.Row;::::::::61247

[Lorg.apache.spark.sql.Row;::::::::61909

[Lorg.apache.spark.sql.Row;::::::::61879

[Lorg.apache.spark.sql.Row;::::::::61913

[Lorg.apache.spark.sql.Row;::::::::61199

[Lorg.apache.spark.sql.Row;::::::::61678

[Lorg.apache.spark.sql.Row;::::::::61619

[Lorg.apache.spark.sql.Row;::::::::61909

[Lorg.apache.spark.sql.Row;::::::::61406

[Lorg.apache.spark.sql.Row;::::::::61775

[Lorg.apache.spark.sql.Row;::::::::61559

[Lorg.apache.spark.sql.Row;::::::::61773

[Lorg.apache.spark.sql.Row;::::::::61888

[Lorg.apache.spark.sql.Row;::::::::61634

[Lorg.apache.spark.sql.Row;::::::::61786

[Lorg.apache.spark.sql.Row;::::::::61666

[Lorg.apache.spark.sql.Row;::::::::61519

[Lorg.apache.spark.sql.Row;::::::::61563

[Lorg.apache.spark.sql.Row;::::::::61481

[Lorg.apache.spark.sql.Row;::::::::61295

[Lorg.apache.spark.sql.Row;::::::::61343

[Lorg.apache.spark.sql.Row;::::::::61750

[Lorg.apache.spark.sql.Row;::::::::61328

[Lorg.apache.spark.sql.Row;::::::::61650

[Lorg.apache.spark.sql.Row;::::::::61541

[Lorg.apache.spark.sql.Row;::::::::61397

[Lorg.apache.spark.sql.Row;::::::::61505

[Lorg.apache.spark.sql.Row;::::::::61761

[Lorg.apache.spark.sql.Row;::::::::61795

[Lorg.apache.spark.sql.Row;::::::::62291

[Lorg.apache.spark.sql.Row;::::::::61566

[Lorg.apache.spark.sql.Row;::::::::61213

[Lorg.apache.spark.sql.Row;::::::::62028

[Lorg.apache.spark.sql.Row;::::::::62634

[Lorg.apache.spark.sql.Row;::::::::61838

[Lorg.apache.spark.sql.Row;::::::::61243

[Lorg.apache.spark.sql.Row;::::::::61585

样例：

--------------------100
[Lorg.apache.spark.sql.Row;::::::::61516

[Lorg.apache.spark.sql.Row;::::::::61656

[Lorg.apache.spark.sql.Row;::::::::61991

[Lorg.apache.spark.sql.Row;::::::::61269

[Lorg.apache.spark.sql.Row;::::::::61654

[Lorg.apache.spark.sql.Row;::::::::61780

spark查看DF的partition数目及每个partition中的数据量【集群模式】的更多相关文章

  1. Spark集群模式&Spark程序提交

    Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone-Spark自带的一种集群管理方式,易于构建集群. Apache Mesos- ...

  2. 【待补充】Spark 集群模式 && Spark Job 部署模式

    0. 说明 Spark 集群模式 && Spark Job 部署模式 1. Spark 集群模式 [ Local ] 使用一个 JVM 模拟 Spark 集群 [ Standalone ...

  3. Spark Tachyon编译部署（含单机和集群模式安装）

    Tachyon编译部署 编译Tachyon 单机部署Tachyon 集群模式部署Tachyon 1.Tachyon编译部署 Tachyon目前的最新发布版为0.7.1,其官方网址为http://tac ...

  4. Spark Streaming揭秘 Day31 集群模式下SparkStreaming日志分析（续）

    Spark Streaming揭秘 Day31 集群模式下SparkStreaming日志分析(续) 今天延续昨天的内容,主要对为什么一个处理会分解成多个Job执行进行解析. 让我们跟踪下Job调用过 ...

  5. Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析

    Spark Streaming揭秘 Day30 集群模式下SparkStreaming日志分析 今天通过集群运行模式观察.研究和透彻的刨析SparkStreaming的日志和web监控台. Day28 ...

  6. Spark集群模式概述

    作者:foreyou出处:http://www.foreyou.net/2015/06/22/spark-cluster-mode-overview/声明:本文采用以下协议进行授权: 署名-非商用|C ...

  7. Apache Spark 2.2.0 中文文档 - 集群模式概述 | ApacheCN

    集群模式概述 该文档给出了 Spark 如何在集群上运行.使之更容易来理解所涉及到的组件的简短概述.通过阅读 应用提交指南 来学习关于在集群上启动应用. 组件 Spark 应用在集群上作为独立的进程组 ...

  8. Spark 官方文档（2）——集群模式

    Spark版本:1.6.2 简介:本文档简短的介绍了spark如何在集群中运行,便于理解spark相关组件.可以通过阅读应用提交文档了解如何在集群中提交应用. 组件 spark应用程序通过主程序的Sp ...

  9. Spark学习笔记3（IDEA编写scala代码并打包上传集群运行）

    Spark学习笔记3 IDEA编写scala代码并打包上传集群运行 我们在IDEA上的maven项目已经搭建完成了,现在可以写一个简单的spark代码并且打成jar包 上传至集群,来检验一下我们的sp ...

随机推荐

  1. deque源码3(deque的构造与内存、ctor、push_back、push_front)

    deque源码1(deque概述.deque中的控制器) deque源码2(deque迭代器.deque的数据结构) deque源码3(deque的构造与内存.ctor.push_back.push_ ...

  2. yum源配置

    我这里使用的centos7操作系统. 下载地址是:https://www.centos.org/download/ yum仓库的创建可以参考: http://www.cnblogs.com/zhaoj ...

  3. 动态代理实现AOP

    代理 代理顾名思义:代为处理.不是对目标对象的直接操作,而是通过代理对目标对象进行包装,此时可以在目标对象的基础上添加额外的操作以满足业务需求.图示 分类:动态代理.静态代理. 代理三要素:共同接口. ...

  4. mysql年初至今聚合

    年初至今聚合和滑动聚合类似,不同的地方仅在于统计的仅为当前一年的聚合.唯一的区别体现在下限的开始位置上.在年初至今的问题中,下限为该年的第一天,而滑动聚合的下限为N个月的第一天.因此,年初至今的问题的 ...

  5. MySQL中间件之ProxySQL(11)：链式规则( flagIN 和 flagOUT )

    返回ProxySQL系列文章:http://www.cnblogs.com/f-ck-need-u/p/7586194.html 1.理解链式规则 在mysql_query_rules表中,有两个特殊 ...

  6. ZooKeeper系列(3)：znode说明和znode状态

    ZooKeeper系列文章:https://www.cnblogs.com/f-ck-need-u/p/7576137.html#zk 1.znode znode的官方说明:http://zookee ...

  7. Hyperledger Fabric链码之二

    上篇文章中我们介绍了链码的概念,本文中我们将介绍Fabric下链码的编写和测试.我们会通过一个简单例子的方式来阐述链码API的使用. 链码API     每一个链码程序都必须实现一个接口Chainco ...

  8. mybatis逆向工程（MyBatis Generator）

    mybatis逆向工程(MyBatis Generator) 1. 什么是mybatis逆向工程 mybatis官方为了提高开发效率,提高自动对单表生成sql,包括 :mapper.xml.mappe ...

  9. RNN入门（4）利用LSTM实现整数加法运算

      本文将介绍LSTM模型在实现整数加法方面的应用.   我们以0-255之间的整数加法为例,生成的结果在0到510之间.为了能利用深度学习模型模拟整数的加法运算,我们需要将输入的两个加数和输出的结果 ...

  10. ListView的setOnItemClickListener位置错乱问题

    如果你对一个ListView同时addHeaderView(listhHeaderView),也就是头部视图,再加setAdapter,当你加上setOnItemClickListener事件后你会发 ...