为了分享给你们,也为自己. 感谢下面的老师们! 1.王家林DT大数据梦工厂的大数据IMF传奇行动课程 总的目录是: 第一阶段:Linux和Java零基础企业级实战 第二阶段:Hadoop和Hive零基础企业级实战 第三阶段:Scala零基础企业级实战 第四阶段:从零基础到彻底精通第一个Spark实战程序 第五阶段:Spark Core实战.解析.性能优化 第六阶段:Spark SQL企业级实战 第七阶段:Kafka企业级实战 第八阶段:Spark Sreaming企业级实战 第九阶段:Spark…

课程一.基于Linux操作系统平台下的Java语言开发(20课时)课程简介本套课程主要介绍了Linux系统下的Java环境搭建及最基础的Java语法知识.学习Linux操作系统下Java语言开发的好处 好处一:不再束缚在Windows操作系统下,开阔眼界.好处二:熟练Linux操作系统的指令,走出“指指点点”的开发,成为真正的代码程序员.好处三:增加自己的竞争实力,为自己应聘时加上浓浓的一笔.课程大纲第一讲 安装虚拟机以及Linux操作系统第二讲 Linux桌面系统第三讲 Linux文件和目录管…

Windows下搭建Spark+Hadoop开发环境需要一些工具支持. 只需要确保您的电脑已装好Java环境,那么就可以开始了. 一. 准备工作 1. 下载Hadoop2.7.1版本(写Spark和Hadoop主要是用到了Yarn,因此Hadoop必须安装) 下载地址:http://apache.fayea.com/hadoop/common/hadoop-2.7.1/ 下载其中的hadoop-2.7.1.tar.gz并解压到一个固定目录作为Hadoop安装目录. 2. 下载支持插件 下载地址:…

1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚拟机的网络设置为NAT模式,这样安装好后的3台虚拟机的IP是挨着的,不然还要修改IP,以达到便于配置集群的目的! NAT模式可以在断网的情况下连接上虚拟机而桥架模式不行! 2.安装JDK 参考我的博客:https://www.cnblogs.com/yszd/p/10140327.html 3.运行…

找了这篇文章看了一下面试题<Spark 和hadoop的一些面试题(准备)> http://blog.csdn.net/qiezikuaichuan/article/details/51578743 其中有一道题目很不错,详见: http://www.aboutyun.com/thread-18826-1-1.html http://www.cnblogs.com/lucius/p/3483494.html 我觉得可以在Hadoop上面实际编程做一下. 我觉得第一篇文章里面下面这一段总结的很好…

昨晚和同事一起看一个scala写的程序,程序都写完了,且在idea上debug运行是ok的.但我们不能调试的方式部署在客户机器上,于是打包吧.打包时,我们是采用把外部引入的五个包(spark-assembly-1.5.1-hadoop2.6.0.jar.commons-logging.jar.fastjson-1.2.10.jar.sqljdbc4.jar.log4j.jar)打包到我们的jar包中.好了,一切都好了...在java -jar demo.jar方式运行,以及把它拷贝到spark集…

1.spark执行./start-all.sh报"WARN Utils: Service 'sparkWorker' could not bind on port 0. Attempting port 1." 解决办法:在spark-env.sh中加入"export SPARK_LOCAL_IP=127.0.0.1"这一条 2.Hadoop2.7启动报"Error: JAVA_HOME is not set and could not be found&q…

一.课程简介 1. Hadoop是什么? Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架.它支持在商品硬件构建的大型集群上运行的应用程序.Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作而成. Hadoop框架透明地为应用提供可靠性和数据移动.它实现了名为MapReduce的编程范式:应用程序被分割成许多小部分,而每个部分都能在集群中的任意节点上执行或重新执行.此外,Hadoop还提供了分布…

在这里,非常感谢下面的著名大牛们,一路的帮助和学习,给予了我很大的动力! 有了Hadoop,再次有了Spark,一次又一次,一晚又一晚的努力相伴! HBase简介(很好的梳理资料) 1. 博客主页:http://jiajun.iteye.com/ 2.博客主页:http://www.cnblogs.com/ggjucheng/ 3.博客主页:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 4.博客主页:http:/…

一.背景 微博,一个DAU上亿.每日发博量几千万的社交性产品,拥有庞大的数据集.如何高效得从如此规模的数据集中挖掘出有价值的信息,以增强用户粘性,提高信息传播速度,就成了重中之重.因此,我们引入了hadoop 分布式计算平台,对用户数据和内容数据进行分析和挖掘,作为广告推荐的基础. 二.问题及解决方案 在hadoop平台上进行开发时,主要遇到了以下一些问题: 2.1 数据量庞大 问题:无论在进行针对用户的协同过滤运算,还是在计算用户可能错过的微博中,无一例外的都遇到了数据量太大无法进行运算的情况…