1.driver的功能是什么? 1)一个Spark作业运行时包括一个Driver进程,也是作业的主进程,具有main函数,并且有SparkContext的实例,是程序的人口点: 2)功能:负责向集群申请资源,向master注册信息,负责了作业的调度,,负责作业的解析.生成Stage并调度Task到Executor上.包括DAGScheduler,TaskScheduler. 2.spark的有几种部署模式,每种模式特点? 1) 本地模式 2) standalone 模式 3) spark on…

找了这篇文章看了一下面试题<Spark 和hadoop的一些面试题(准备)> http://blog.csdn.net/qiezikuaichuan/article/details/51578743 其中有一道题目很不错,详见: http://www.aboutyun.com/thread-18826-1-1.html http://www.cnblogs.com/lucius/p/3483494.html 我觉得可以在Hadoop上面实际编程做一下. 我觉得第一篇文章里面下面这一段总结的很好…

PS.学了两三年的软件开发到头来发现连一些基本的东西都没掌握,通过面试题来检验自己的水平,让学习变得更加有方向性,也为将来择业而打下基础,不至于到时候手忙脚乱. 一．选择,填空题 1. 在ADO.NET中,对于Command对象的ExecuteNonQuery()方法和ExecuteReader()方法,下面叙述错误的是(C). a) insert.update.delete等操作的Sql语句主要用ExecuteNonQuery()方法来执行: b) ExecuteNonQuery()方法返回执…

1.什么是运维?什么是游戏运维? 1)运维是指大型组织已经建立好的网络软硬件的维护,就是要保证业务的上线与运作的正常,在他运转的过程中,对他进行维护,他集合了网络.系统.数据库.开发.安全.监控于一身的技术运维又包括很多种,有DBA运维.网站运维.虚拟化运维.监控运维.游戏运维等等 2)游戏运维又有分工,分为开发运维.应用运维(业务运维)和系统运维开发运维:是给应用运维开发运维工具和运维平台的应用运维:是给业务上线.维护和做故障排除的,用开发运维开发出来的工具给业务上线.维护.做故障排查系统运维…

注:红色表示答案 一．选择,填空题 1.  在ADO.NET中,对于Command对象的ExecuteNonQuery()方法和ExecuteReader()方法,下面叙述错误的是(C). a)   insert.update.delete等操作的Sql语句主要用ExecuteNonQuery()方法来执行: b)   ExecuteNonQuery()方法返回执行Sql语句所影响的行数. c)   Select操作的Sql语句只能由ExecuteReader()方法来执行:~ d)   Exe…

Spark系列面试题 Spark面试题(一) Spark面试题(二) Spark面试题(三) Spark面试题(四) Spark面试题(五)--数据倾斜调优 Spark面试题(六)--Spark资源调优 Spark面试题(七)--Spark程序开发调优 Spark面试题(八)--Spark的Shuffle配置调优 1.程序开发调优 :避免创建重复的RDD 需要对名为"hello.txt"的HDFS文件进行一次map操作,再进行一次reduce操作.也就是说,需要对一份数据执行两次算子操…

Spark系列面试题 Spark面试题(一) Spark面试题(二) Spark面试题(三) Spark面试题(四) Spark面试题(五)--数据倾斜调优 Spark面试题(六)--Spark资源调优 Spark面试题(七)--Spark程序开发调优 Spark面试题(八)--Spark的Shuffle配置调优 1.Shuffle优化配置 -spark.shuffle.file.buffer 默认值:32k 参数说明:该参数用于设置shuffle write task的BufferedOutp…

一个以技术为立身根基的教育机构做出来的微信号,干货程度会有多高? 马哥Linux运维公众号运营五年,从一开始的定位就是给技术人分享加薪干货的地方.这五年里,公众号运营最重的任务就是做内容.内容并不好做,选题.调研.撰写.发布,一篇精品文章的准备周期超过半个月,而回报并不稳定. 这五年里我们看到很多账号的转型,走流量路线.做标题党.接广告,甚至刷粉丝.刷阅读量.坦白说,这种捷径比我们所选的道路更轻松,回报更快也更高.在很长时间里,这个公众号没有给我带来任何收入,去年唯一的收入来源流量主也被我主动关…

Spark系列面试题 Spark面试题(一) Spark面试题(二) Spark面试题(三) Spark面试题(四) Spark面试题(五)--数据倾斜调优 Spark面试题(六)--Spark资源调优 Spark面试题(七)--Spark程序开发调优 Spark面试题(八)--Spark的Shuffle配置调优 GraphX 是新的图形和图像并行计算的Spark API.从整理上看,GraphX 通过引入 弹性分布式属性图(Resilient Distributed Property Grap…

JAVA面试题和项目面试核心要点精华总结(想进大公司必看) JAVA面试题和项目面试核心要点精华总结(想进大公司必看)…