1.讲讲你做的过的项目, 项目里有哪些难点重点呢?    kafkaDirect ES  /hive  kafka producer   难点值得一提的有两点:  1.rdd中用到外部变量的时候如何处理  2.广播变量的更新 rdd处理kafka读过来的数据,这些数据引用外部的class来进行规则解析,规则的更新后怎么办? 2.讲讲多线程吧, 要是你,你怎么实现一个线程池呢Executor接口   提供了execute()方法将任务提交和任务执行分离ExecutorService接口   继承E…

以下为整理的自己秋招遇到的面试题:主要是Java和大数据相关题型:根据印象整理了下,有些记不起来了. 死锁.乐观锁.悲观锁synchronized底层原理及膨胀机制ReetrantLock底层原理,源码是如何实现公平和非公平的synchronized和lock的区别volitale理解?volitale保证可见性的意义什么是指令重排序,为什么要禁止指令重排序介绍java中的基本数据类型及所占大小2的8次方是多少,Integer最小值是多少,说数值scala中Int和Long是怎么实现的,丰富的A…

前段时间,跟候选人聊天的时候,一个有多年工作经验的资深 iOS 工程师告诉我,他最近正在学习 Machine Learning 相关的知识.他觉得,对于程序员来说,技术进步大大超过世人的想象,如果你不跟随时代进步,就会落后于时代. 我其实已经听过很多人跟我说过类似的话.只不过不同人嘴里提到的词汇各有不同——大数据.数据挖掘.机器学习.人工智能…… 这些当前火热的概念各有不同,又有交叉,总之都是推动我们掌控好海量数据,并从中提取到有价值信息的技术. 程序员对这些技术跃跃欲试,知乎上「深度学习如何入…

本套SQL题的答案是由许多小伙伴共同贡献的,1+1的力量是远远大于2的,有不少题目都采用了非常巧妙的解法,也有不少题目有多种解法.本套大数据SQL题不仅题目丰富多样,答案更是精彩绝伦! 注:以下参考答案都经过简单数据场景进行测试通过,但并未测试其他复杂情况.本文档的SQL主要使用Hive SQL. 一.行列转换 描述:表中记录了各年份各部门的平均绩效考核成绩. 表名:t1 表结构: a -- 年份 b -- 部门 c -- 绩效得分 表内容: a b c 2014 B 9 2015 A 8 20…

(此文章同时发表在本人微信公众号"dotNET每日精华文章",欢迎右边二维码来关注.) 题记:Build2016开完很久了,现在才来回顾下,就说说那些和大数据相关的Session,也因为笔者最近在深入研究这方面的东西. 3月30日到4月1日的Build2016 微软开发者大会的内容引爆了整个.NET开发社区,大家的热情都被Xamarin免费开源.Bash on Windows等点燃了.不过在这些热点背后,我还是比较关注和自己最近研究的大数据领域相关的Session.下面我就整理一些我个…

比赛技巧:https://zhuanlan.zhihu.com/p/28084438 文章来源: https://www.imooc.com/article/72863 随着近几年人工智能和大数据的快速发展和应用,使得相应的工智能&大数据相关比赛比赛近几年火热了起来,下面就我知道到的人工智能&大数据相关比赛,为大家简要说下,感兴趣的可以参加一些比赛,锻炼一下自己,也能知道一些前沿的技术,说不定还能拿些奖金呢?哈哈…

选择结构.循环结构.大数据java基础面试题 switch: 注意: byte short int char String(jdk1.7支持) 不能是 long float double boolean while.do-while.for同c# 面试题: 大数乘法:随机给定两个超大整数,计算乘积. 思路:AB*CD = AC(BC+AD)BD public static void main(String[]arg) { String i1="111111111111111"; Str…

[大数据从入门到放弃系列教程]第一个spark分析程序 原文链接:http://www.cnblogs.com/blog5277/p/8580007.html 原文作者:博客园--曲高终和寡 *********************分割线********************** 由于新入职了一家公司,准备把我放进大数据的组里面 我此前对大数据,仅仅停留在听说过这个名词上,那么这次很快就要进入项目,一边我自己在学习,一边也把教程分享出来,避免后来之人踩我所踩过的坑 *************…

一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了 转载: 大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的.你可以把它比作一个厨房所以需要的各种工具.锅碗瓢盆,各有各的用处,互相之间又有重合.你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮.但是每个工具有自己的特性,虽然奇怪的组合也能工作,但是未必是最佳选择. 大数据,首先你要能存的下大数据. 传统的文件系统是单机的,不能横跨不同的机器.HDFS(Hadoo…

先上Java Web图 为了简化叙述,只写Java代码,然后控制台输出 使用[Random类]取得随机数 import java.util.Random; public class Fir { public static void main(String[] args) { //输出 int [] a=creatnumber_11x5(); for(int i=0;i<a.length;i++){ System.out.print(a[i]+" "); } } //11选5 也可…