视频地址:http://pan.baidu.com/s/1dDEgKwD 着重介绍了HDFS 运行了示例程序wordcount,自己也试了一遍(用的伪分布式) 1.建立数据(和讲师的操作有些不一样,不过我相信自己) 2.运行wordcount程序 3.查看结果 (可以看出来,只要没空格,它都看作是一个单词) 接下来介绍了50030和50070查看任务和HDFS状态 ...... 其中如果想看日志的话除了命令行也可以直接输入 http://localhost:50070/logs/ http://…

视频地址:http://pan.baidu.com/s/1dDEgKwD 最开始还是讲hadoop的起源,但是和其他垃圾视频不同,不是照本宣科,听了还是受益.作者给人一种感觉就是他是确实把他的经验和体会告诉别人,而不是像其他讲师把网上别人的思想讲一遍 视频给了课程目标,不知道我听完了视频能达到多少 Google是两个大学生创业建立起来的,值得我去反思,我的年轻在哪里? Google是hadoop的细想之源: 通讯运营商要向Google付费(Google已经垄断到这种地步了) Google的数据是…

视频地址:http://pan.baidu.com/s/1dDEgKwD 第六课统讲了hadoop几个子项目和HBase,第七课还是讲的HBase 第八课讲了PIG 第九课讲了Hive和Zookeeper 第十课讲了sqoop 这一课还是比较受用,之前就一直疑问HDFS怎么和关系型数据库联系起来 原来有这样的组件 这几节讲的很笼统,也不实践,都是快进看的. Linux whereis命令 http://www.jb51.net/os/RedHat/1103.html MR的输出目录必须是不存在的…

视频地址:http://pan.baidu.com/s/1dDEgKwD 这一节是讲师助教带着动手操作写简单的开发环境的部署和两个实例 开发环境的部署:http://www.cnblogs.com/admln/p/test-deployDevelopment.html 第一个实例就是wordcount 第二个实例 package testHadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration;…

视频地址:http://pan.baidu.com/s/1dDEgKwD 这个视频理论性太强,不过倒是给了自己唯一的选项就是自己实践,不用像以前那样视频中敲一个字符,我也敲一个字符 讲到的内容: 介绍了三本书 讲师说第一本适合入门者,重实验,但是里面错误不少:第二本重理论,讲的深:第三本是高级人员才能看的,属于源码级别的书,深入解析了HDFS源码,并教你怎么修改以让你的HDFS最大限度的优化到完美对接自己的项目. 无疑,这才是我想搞定的. 接下来讲了怎么安装hadoop 伪分布式 完全分布式 以…

视频地址:http://pan.baidu.com/s/1dDEgKwD 这一节讲的全是理论 任务执行优化 : 1.推测式执行: 2.重用JVM: 3.忽略模式. 除了手动修改Log4J.properties也可以在web界面修改logLevle…

1.大数据金字塔结构 Data Source-->Data Warehouses/Data Marts-->data exploration-->Data Mining-->Data Presentations-->Making Decisions 2.从业职位   业务人员.ETL工程师.数据仓库工程师(及时需求).数据分析师.数据展现设计师.   IT支持人员:运维.程序员.生产线数据管理员 3.数据分析:统计方法,有目的 地对收集到的数据进行处理.   数据挖掘:查找隐…

dataguru访问地址:http://f.dataguru.cn/?fromuid=99611 课程优惠码:C4B6  这段时间一直在dataguru(炼数成金)上学习<hadoop数据分析平台(第十四期)>,说说我对炼数成金的印象. 最开始听说dataguru是通过它的广告邮件中的链接,发送的对象是itpub会员,如果你也是itpub会员,应该也会收到这么一封邮件. 后来才知道dataguru的前身是是ITPUB培训,ITPUB的创始人正是dataguru的主讲师-黄志洪(同时也是分布式系…

MapReduce工作原理图文详解 1.Map-Reduce 工作机制剖析图: 1.首先,第一步,我们先编写好我们的map-reduce程序,然后在一个client 节点里面进行提交.(一般来说可以在Hadoop集群里里面的任意一个节点进行,只要该节点装了Hadoop并且连入了Hadoop集群) 2.job client 在收到这个请求以后呢,会找到JobTracker并且请求一个作业ID(Job ID).(根据我们的核心配置文件,可以很轻易的找到JobTracker) 3.通过HDFS 系统把…

创建图.启动图 Shift+Tab Tab 变量介绍: F etch Feed 简单的模型构造 :线性回归 MNIST数据集 Softmax函数 非线性回归神经网络   MINIST数据集分类器简单版本 二次代价函数 sigmoid函数 交叉熵代价函数 对数释然代价函数 拟合 防止过拟合 Dropout 优化器 优化器的使用 如何提升准确率? 1.改每批训练多少个 2.改神经网络中间层(神经元层数,每层的个数,每层用的激活函数,权重的初值用随机正态.要不要防止过拟合) 3.改计算loss的函数:…