Hadoop入门学习笔记---part2

在<Hadoop入门学习笔记---part1>中感觉自己虽然总结的比较详细,但是始终感觉有点凌乱.不够系统化,不够简洁.经过自己的推敲和总结,现在在此处概括性的总结一下,认为在准备搭建hadoop环境时,需要在linux机器上做一些设置,在搭建Hadoop集群环境前,需要在本地机器上做以下设置: 修改ip地址: 关闭防火墙: Hostname的修改: Ssh自动登陆的设置(也即:免密码登录): **关于以上操作的详细命令可以查看上一篇博客<Hadoop入门学习笔记---part1>…

Hadoop入门学习笔记---part4

紧接着<Hadoop入门学习笔记---part3>中的继续了解如何用java在程序中操作HDFS. 众所周知,对文件的操作无非是创建,查看,下载,删除.下面我们就开始应用java程序进行操作,前提是按照<Hadoop入门学习笔记---part2>中的已经在虚拟机中搭建好了Hadoop伪分布环境:并且确定现在linux操作系统中hadoop的几个进程已经完全启动了. 好了,废话不多说!实际的例子走起. 在myeclipse中新建一个java工程: 在项目工程中新建一个lib包用于存放…

Hadoop入门学习笔记---part1

随着毕业设计的进行,大学四年正式进入尾声.任你玩四年的大学的最后一次作业最后在激烈的选题中尘埃落定.无论选择了怎样的选题,无论最后的结果是怎样的,对于大学里面的这最后一份作业,也希望自己能够尽心尽力,好好做.正是因为选题和hadoop有关,现在正式开始学习hadoop.将笔记整理于此,希望与志同道合的朋友共同交流. 作者:itRed 邮箱:it_red@sina.com 个人博客链接:http://www.cnblogs.com/itred 好了,废话不多说.进入正题!开始hadoop的学习.…

Hadoop入门学习笔记---part3

2015年元旦,好好学习,天天向上.良好的开端是成功的一半,任何学习都不能中断,只有坚持才会出结果.继续学习Hadoop.冰冻三尺,非一日之寒! 经过Hadoop的伪分布集群环境的搭建,基本对Hadoop有了一个基础的了解.但是还是有一些理论性的东西需要重复理解,这样才能彻底的记住它们.个人认为重复是记忆之母.精简一下: NameNode:管理集群,并且记录DataNode文件信息: SecondaryNameNode:可以做冷备份,对一定范围内的数据作快照性备份: DataNode:存储数据:…

Hadoop入门学习笔记（一）

Week2 学习笔记 Hadoop核心组件 Hadoop HDFS(分布式文件存储系统):解决海量数据存储 Hadoop YARN(集群资源管理和任务调度框架):解决资源任务调度 Hadoop MapReduce(分布式计算框架):解决海量数据计算安装hadoop环境集群角色规划服务器运行角色 node1 namenode datanode resourcemanager nodemanager node2 secondarynamenode datanode nodemanager n…

Hadoop入门学习笔记总结系列文章导航

一.为何要学习Hadoop? 这是一个信息爆炸的时代.经过数十年的积累,很多企业都聚集了大量的数据.这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝炼数成金成为当务之急.但数据增长的速度往往比cpu和内存性能增长的速度还要快得多.要处理海量数据,如果求助于昂贵的专用主机甚至超级计算机,成本无疑很高,有时即使是保存数据,也需要面对高成本的问题,因为具有海量数据容量的存储设备,价格往往也是天文数字.成本和IT能力成为了海量数据分析的主要瓶颈. Hadoop这个开源产品的出现,打破…

Hadoop入门学习笔记之一

http://hadoop.apache.org/docs/r1.2.1/api/index.html 适当的利用 null 在map中可以实现对文件的简单处理,如排序,和分集合输出等. 需要关心的内容一个节点面对的是一个Map任务,一个Map任务面对的是一个split文件,一个map方法面对的是一个split文件生成的键值对. mapper类中map方法的输入是InputFormat的ReadeRecord类读取到的键值对学习一周之后问题总结: 1.实验时使用的文件过小,大量小文件问题,需…

Hadoop入门学习笔记（二）

Yarn学习 YARN简介 YARN是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度 YARN功能说明资源管理系统:集群的硬件资源,和程序运行相关,比如内存.CPU等. 调度平台:多个程序同时申请计算资源如何分配,调度的规则(算法). 通用:不仅仅支持MapReduce程序,理论上支持各种计算程序.YARN不关心你干什么,只关心你要资源,在有的情况下给你,用完之后还我. 即使MapReduce现在不流行了也可以用别的计算模型来替代如 spark flink,一定程度…

Hadoop入门学习笔记-第一天（HDFS：分布式存储系统简单集群）

准备工作: 1.安装VMware Workstation Pro 2.新建三个虚拟机,安装centOS7.0 版本不限配置工作: 1.准备三台服务器(nameNode10.dataNode20.dataNode30)2.配置三台机器网络ip分别为(192.168.18.10.192.168.18.20.192.168.18.30) 2.1 进入/etc/sysconfig/network-scripts 修改 ifcfg-ens33 文件,定义网卡信息如下,三台机器都要配置 ONBOOT=y…

Hadoop入门学习笔记-第二天（HDFS：NodeName高可用集群配置）

说明:hdfs:nn单点故障,压力过大,内存受限,扩展受阻.hdfs ha :主备切换方式解决单点故障hdfs Federation联邦:解决鸭梨过大.支持水平扩展,每个nn分管一部分目录,所有nn共享dn资源.使用JN集群保证数据一致性,使用zk集群解决主备切换 1.若使用主备节点,常常存在的问题:强一致性,若一致性.强一致性(同步):nn主节点必须等到nn副本返回成功后,才能向客户端返回成功.主和副本之间可能会有如网络延迟.阻塞等问题,就造成了nn的不可用,违背了HA初衷.弱一致性(异步):…

Hadoop入门学习笔记-第三天（Yarn高可用集群配置及计算案例）

什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等 Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析应用”的核心框架Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 hadoop 集…

Hadoop - 入门学习笔记（详细）

目录第1章大数据概论第2章从Hadoop框架讨论大数据生态第3章 Hadoop运行环境搭建(开发重点) 第4章 Hadoop运行模式本地模式:默认配置伪分布式模式:按照完全分布式模式配置,但是只有一个节点完全分布式模式(开发重点) 第5章 Hadoop编译源码(面试重点) 第1章大数据概论第2章从Hadoop框架讨论大数据生态大发行版本:Apache Hadoop.Coudera Hadoop.Hortonworks Hadoop Hadoop组成:MapReduce(计…

PyQt4入门学习笔记（三）

# PyQt4入门学习笔记(三) PyQt4内的布局布局方式是我们控制我们的GUI页面内各个控件的排放位置的.我们可以通过两种基本方式来控制: 1.绝对位置 2.layout类绝对位置这种方式要求程序员必须得指定好每个控件的位置和尺寸.当我们使用绝对位置时,我们得明白下面的几条限制: 当我们改变窗口大小时,控件的尺寸和位置不会改变. 我们的应用可能看起来和一般的应用有所不同. 改变前端页面可能会让我们的应用崩溃如果我们决定要改变我们的布局时,我们必须要把所有控件的位置全部更新下面这个例…

PyQt4入门学习笔记（一）

PyQt4入门学习笔记(一) 一直没有找到什么好的pyqt4的教程,偶然在google上搜到一篇不错的入门文档,翻译过来,留以后再复习. 原始链接如下: http://zetcode.com/gui/pyqt4/firstprograms/ 在这篇PyQt4的入门文档,我们讲学习一些基础功能. 简单的例子这是一个显示一个小窗口的简单例子.我们可以对这个窗口做一些操作.我们可以改变它的大小,最大化它,或者最小化它.这需要大量的编码.有人已经写好了这些基础函数,因为它在绝大部分应用中重复出现,不需…

Scala入门学习笔记三--数组使用

前言本篇主要讲Scala的Array.BufferArray.List,更多教程请参考:Scala教程本篇知识点概括若长度固定则使用Array,若长度可能有变化则使用ArrayBuffer 提供初始值时不要使用new,复杂对象数组没有提供初始值时必须提供new 用()来访问元素用for(elem <- arr)来遍历数组用for(elem <- arr if...)...yield...来将原数组转型为新数组 Scala数组和Java数组可以互操作数组 1.定长数组定义: //定…

OpenCV入门学习笔记

OpenCV入门学习笔记参照OpenCV中文论坛相关文档(http://www.opencv.org.cn/) 一.简介 OpenCV(Open Source Computer Vision),开源计算机视觉库提供了很多函数,实现了很多计算机视觉算法,算法从最基本的滤波到高级的物体检测皆有涵盖学习OpenCV所需要的基本知识 C/C++编程基础(编程能力) 了解算法原理(理论基础知识) 提升理论基础知识,所要了解的课程数字图像处理计算机视觉模式识别 OpenCV知识一个算法库,我们并…

stylus入门学习笔记

title: stylus入门学习笔记 date: 2018-09-06 17:35:28 tags: [stylus] description: 学习到 vue, 有人推荐使用 stylus 这个 css 预处理器.而之前也只是停留在听说过 stylus,并没有实际操作过.现在正好抽空来学习一下呗:如果会 less,sass之类的 css 预编译器,学 stylus 也是 so easy! --- 学习到 vue, 有人推荐使用 stylus 这个 css 预处理器.而之前也只是停留在听说过…

dubbo入门学习笔记之入门demo(基于普通maven项目)

注:本笔记接dubbo入门学习笔记之环境准备继续记录; (四)开发服务提供者和消费者并让他们在启动时分别向注册中心注册和订阅服务需求:订单服务中初始化订单功能需要调用用户服务的获取用户信息的接口(订单服务与用户服务分别部署在不同的服务器) 思路:1.基于官网的dubbo服务化最佳实践,我们开发一个入门级demo可以先开发一个公共的接口层,然后服务提供者和服务消费者分别引用该接口的依赖 2.本例中我们需要新建一个公共接口层的maven项目pub-interfence,定义查询用户信息的接口和初始…

React 入门学习笔记整理目录

React 入门学习笔记整理(一)--搭建环境 React 入门学习笔记整理(二)-- JSX简介与语法 React 入门学习笔记整理(三)-- 组件 React 入门学习笔记整理(四)-- 事件 React 入门学习笔记整理(五)-- state React 入门学习笔记整理(六)-- 组件通信 React 入门学习笔记整理(七)-- 生命周期 React 入门学习笔记整理(八)-- todoList React 入门学习笔记整理(九)--路由…

cocos2d-x入门学习笔记，主要介绍cocos2d-x的基本结构，并且介绍引擎自带的示例

cocos2d-x 3.0 制作横版格斗游戏 http://philon.cn/post/cocos2d-x-3.0-zhi-zuo-heng-ban-ge-dou-you-xi http://blog.csdn.net/start530/article/category/1295763 介绍入门ok http://blog.csdn.net/column/details/cocos2d-x-study.html cocos2d-x入门学习笔记,主要介绍cocos2d-x的基本结构,并且介绍引擎…

汇编入门学习笔记（七）—— dp，div，dup

疯狂的暑假学习之汇编入门学习笔记 (七)-- dp.div.dup 參考: <汇编语言> 王爽第8章 1. bx.si.di.和 bp 8086CPU仅仅有4个寄存器能够用 "[...]" 中进行单元寻址. bp:除了默认的段地址是ss.其它与bx一样. 它们全部正确的组合 mov ax,[bx] mov ax,[si] mov ax,[di] mov ax,[dp] mov ax,[bx+si] mov ax,[bx+di] mov ax,[bp+si] mov…

汇编入门学习笔记（九）—— call和ret

疯狂的暑假学习之汇编入门学习笔记 (九)-- call和ret 參考: <汇编语言> 王爽第10章 call和ret都是转移指令. 1. ret和retf ret指令:用栈中的数据,改动IP内容,从而实现近转移相当于: pop ip retf指令:用栈中的数据.改动CS和IP,从而实现远转移相当于: pop ip pop cs 样例:ret assume cs:code,ss:stack stack segment db 16 dup(1) stack ends code segm…

汇编入门学习笔记（十二）—— int指令、port

疯狂的暑假学习之汇编入门学习笔记 (十二)-- int指令.port 參考: <汇编语言> 王爽第13.14章一.int指令 1. int指令引发的中断 int n指令,相当于引发一个n号中断. 运行过程相当于: (1)取中断类型吗n. (2)标志寄存器入栈:设置IF=0,TF=0. (3)CS.IP入栈 (4)(IP)=(n*4),(CS)=(n*4+2) 样例1:编写.安装中断7ch.实现求一个word型数据的平方,用ax存放这个数据. assume cs:code code s…