自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔记系列>.其实,早在2014年Hadoop2.x版本就已经开始流行了起来,并且已经成为了现在的主流.当然,还有一些非离线计算的框架如实时计算框架Storm,近实时计算框架Spark等等.相信了解Hadoop2.x的童鞋都应该知道2.x相较于1.x版本的更新应该不是一丁半点,最显著的体现在两点: (1)H…

在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1.CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yulei_qq/article/details/51925673 2.CenOS虚拟机和Windows通信,地址:http://blog.csdn.net/yulei_qq/article/details/51930736 Hadoop 安装文件下载                  本人使用的安装版本文…

Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares # 安装apt依赖包 apt-get update -y \ && apt-get install supervisor -y \ && apt-get install python-dev python-pip libmysqlclient-dev -y # 安装pip.py…

所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系统环境变量: ~/.bash_profile export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79 export PATH=$TAVA_HOME/bin:$PATH 环境变量生效:source ~/bash_profile 验证Java是否配置成功:java -…

CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C ../servers/ 第二步:查看Hadoop支持的压缩方式以及本地库 cd /export/servers/hadoop-2.6.0-cdh5.14.0 bin/hadoop checknative 在第一台机执行,如果出现openssl为false,执行 yum -y insta…

CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(pretty)."静态"主机名也称为内核主机名,是系统在启动时从/etc/hostname自动初始化的主机名."瞬态"主机名是在系统运行时临时分配的主机名,例如,通过DHCP或mDNS服务器分配.静态主机名和瞬态主机名都遵从作为互联网域名同样的字符限制规则.而另一方面,&…

Solr学习笔记之1.环境搭建 一.下载相关安装包 1.JDK 2.Tomcat 3.Solr 此文所用软件包版本如下: 操作系统:Win7 64位 JDK:jdk-7u25-windows-i586.exe Tomcat:apache-tomcat-8.0.3.exe Solr:solr-4.7.0.zip 注意:JDK 与 Tomcat 版本要对应,要么都是32位版本,要么都是64位版本,否则会报异常. 二.Solr安装 1.解压solr的zip安装包: 2.将dist文件夹中的solr-4…

本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoop用户 使用root账户创建hadoop用户,为了在实验环境下便于操作,赋予hadoop用户sudo权限.具体操作代码如下: useradd hadoop # 添加hadoop用户 passwd hadoop # 设置密码 visudo hadoop ALL=(root)NOPASSWD:ALL 二…

一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar.gz 二,开始安装: 1,安装hadoop,以及jdk环境! 若没有安装hadoop,可参考文章:hadoop伪分布式环境搭建 2,将下载的hive压缩包解压到指定的目录.这里我的安装目录是 /opt/hive,压缩包的目录在-/下载/文件夹下 suod tar -zxvf -/下载/apache-…

HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle JDK 1.8 安装步骤 在CentOS 下安装 Oracle JDK 1.8 下载地址 将下载好的 JDK 的安装包 jdk-8u202-linux-x64.tar.gz 上传到应用服务器的/tmp目录下 执行以下命令 cd /usr/local && mkdir jdk &&am…

ESP32学习笔记(一) 环境搭建与下载 作者:Nevel 博客:nevel.cnblogs.com 转载请保留出处 前几天刚入手了ESP32模块,趁着放假有时间,我们先把ESP32的编译环境搭建好   首先,我们把ESP32模块连接上电脑,如果没有ESP32底板的话,则需连接一个usb转ttl模块,接下来我们下载好两个压缩包: Msys32为ESP32的下载工具链和仿真环境,可以从如下网址下载 https://dl.espressif.com/dl/esp32_win32_msys2_envi…

今天把java的学习重新拾起来,一方面是因为公司的项目需要用到大数据方面的东西,需要用java做语言 另一方面是原先使用的C#公司也在慢慢替换为java,为了以后路宽一些吧,技多不压身 此次的学习目标是: 低标:大学的那本java教材上的东西全部过一遍,知识点挖透 中标:能够学会使用maven.spring,做几个项目 高标:结合java,学会storm的基础知识(不知道这么说对不对..) 时间:2周(2017年2月16日-2017年3月2日) 目标可能有些高,本着OKR的原则... *** 本…

一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools /opt/* chown beifeng:beifeng /opt/* 最终效果如下: [beifeng@beifeng-hadoop- opt]$ pwd /opt [beifeng@beif…

1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask                  geteway  Node1 192.168.139.150 255.255.255.0 192.168.139.2 ②.hadoop 2.7 安装包 百度云下载链接:http://pan.baidu.com/s/1gfaKpA7密码:3cl7 2.安装 JDK 教程:http://ww…

伪分布式模式即单节点集群模式,所有的守护进程都运行在同一台机器上.这种模式下增加了代码调试功能,可以查看内存.HDFS文件系统的输入/输出,以及与其他守护进程交互.以hadoop用户远程登录K-Master服务器,在单机模式安装的基础上,我们增加对core-site.xml.hdfs-site.xml.mapred-site.xml核心文件的配置步骤. 开发环境 硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点) 软件环境:Java 1.7.0_45.ha…

本文的配置环境是VMware10+centos2.5. 在学习大数据过程中,首先是要搭建环境,通过实验,在这里简短粘贴书写关于自己搭建大数据伪分布式环境的经验. 如果感觉有问题,欢迎咨询评论. 一:伪分布式准备工作 1.规划目录 2.修改目录所有者和所属组 3.删除原有的jdk 4.上传需要的jdk包 5.增加jdk 的执行权限 6.解压jdk 7.修改profile的JAVA_HOME,PATH 8.切换至root用户,使文件生效 9.检验jdk是否成功 二:搭建为分布式 1.解压hadoop…

本文的配置环境是VMware10+centos2.5. 在学习大数据过程中,首先是要搭建环境,通过实验,在这里简短粘贴书写关于自己搭建大数据伪分布式环境的经验. 如果感觉有问题,欢迎咨询评论. 零:下载ruanjian 1.下载 2.下载网址 https://archive.apache.org/dist/hadoop/common/ 一:伪分布式准备工作 1.规划目录 2.修改目录所有者和所属组 3.删除原有的jdk 4.上传需要的jdk包 5.增加jdk 的执行权限 6.解压jdk 7.修改…

一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0  jdk1.8.0_161. spark-2.4.0-bin-hadoop2.6.这里的环境不一定需要和我一样,基本版本差不多都ok的,但注意这里spark要和hadoop版本相对应.所需安装包和压缩包自行下载即可. 因为这里是配置spark的教程,首先必须要配置Hadoop,配置Hadoop的教程在Hadoop2.0伪分布式平台环境搭建.配置Java以及安装VMware Tools就自行百度解决哈,这里就不写了(…

hadoop 2.7.3伪分布式模式运行wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次以伪分布式模式来运行wordcount. 参考: hadoop docs ​ 1 hadoop环境 伪分布式就是将多个hadoop组件部署在一台机器上.因此涉及到各组件的配置,以及机器信任关系. ### 准备一个全新的环境 # cd /home/jungle/hadoop # tar -zxvf hadoop-2.7.3…

一.准备虚拟环境 1. 虚拟环境网络设置 A.安装VMware软件并安装linux环境,本人安装的是CentOS B.安装好虚拟机后,打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet8 -> 属性.设置IPv4,设置如下: C.在创建好的虚拟机上点击网络设置,选择自定义并设置成“VMnet8(NAT)”如下图所示: D.修改VMware软件网络设置,设置方式如下所示: 2.  修改主机名 命令:vi /etc/sysconfig/network 将内容修改为 NETWORK…

Hello,大家好 !下面就让我带大家一起来搭建hadoop伪分布式的环境吧!不足的地方请大家多交流.谢谢大家的支持 准备环境: 1, ubuntu系统,(我在16.04测试通过.其他版本请自行测试,可参考官方文档!) 2,最好有网 下面就让我们开始吧:    前期准备: 1,如果你安装 Ubuntu 的时候不是用的 "hadoop" 用户,那么需要增加一个名为 hadoop 的用户. 首先按 ctrl+alt+t打开终端窗口,输入如下命令创建新用户 sudo useradd -m h…

一.准备工作 安装包链接: https://pan.baidu.com/s/1i6oNmOd 密码: i6nc 环境准备 修改hostname: $ sudo vi /etc/hostname why 修改IP 地址: $ sudo vi /etc/network/interfaces auto eth0 iface eth0 inet static address 192.16.13.11 netmask 255.255.255.0 gateway 192.16.13.254 重启网络服务生效…

环境:Centos6.9+jdk+hadoop1.下载hadoop的tar包,这里以hadoop2.6.5版本为例,下载地址https://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz2.修改linux虚拟机的主机名HOSTNAME的值改为hadoop01.zjl.com # vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01.zjl.…

(一).HDFS shell操作 以上已经介绍了如何搭建伪分布式的Hadoop,既然环境已经搭建起来了,那要怎么去操作呢?这就是本节将要介绍的内容: HDFS自带有一些shell命令,通过这些命令我们可以去操作HDFS文件系统,这些命令与Linux的命令挺相似的,如果熟悉Linux的命令很容易就可以上手HDFS的命令,关于这些命令的官方文档地址如下: http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-mapre…

目前项目无事,时间比较充裕,因此来学习下cocos2dx,当然本人也是新手一个, 写此笔记做备忘和脚步. 最近3.2版本更新出來了!官方说这是自2.x分支以来修复了超过450个bug,3.2版本是目前为止,官方发布的最稳定的版本. 因此修改下笔记!(涉及到3.1.1的修改成3.2,因为原来写的是3.1.1版本的环境搭建) 一.准备工作: 1.  下载官网cocos2d-x 3.2 版本(目前是最新的) 2.  下载python 2.7 (cocos2dx 3.X版本需要用2.7版本的,如果是苹果…

##################### Centos6.4VM_01_os.rar ################################################准备工作/opt /opt/modules 软件安装目录 /opt/softwares 软件包(tar.bin.zip) /opt/tools(eclipse等) /opt/data(测试数据)/home/hadoop(工具和数据) ##################### Centos6.4VM_01_os.r…

注意:所有的安装用普通哟用户安装,所以首先使普通用户可以以sudo执行一些命令: 0.虚拟机中前期的网络配置参考: http://www.cnblogs.com/qlqwjy/p/7783253.html 1.赋予hadoop用户以sudo执行一些命令 visodo 或者 vim /etc/sudoers 添加下面第二行内容: 登录hadoop用户查看命令: [hadoop@localhost java]$ sudo -l #查看当前用户可以以sudo命令执行哪些命令 Matching Defa…

Lua 环境搭建 Windows 不用 visual studio 系统环境:Win7 64bit 联系方式:yexiaopeng1992@126.com 前言: 最近需要学习Unity3d游戏中的热更新技术,选择ULua方案,因此准备学习一些Lua的基础知识.之前在Ubuntu上曾经写过Lua版本的"HelloWorld", 但那时的环境搭建只需要下载源码,然后 make & make install 就可以了,但一到Windows下就完全不会做了.经过网络查找对比,得到目前…

Lua是一个小巧的脚本语言.Lua由标准C编写而成,代码简洁,几乎在所有的操作系统和平台上都可以编译,运行. 主要讲一下mac和win下的环境搭建. 工具:      1.Sublime Text 2      2.LuaForWindows_v5.1.4-46.exe      3.lua-5.1.4.tar.gz(Mac) 一.Win7下安装 为了方便开发,借助于Sublime Text 2来学习和运行lua文件,当然Sublime Text 2也是我最喜欢和最强大的文本编辑器,完全可以用来…

零零散散学了几天nodejs,进度一直停滞不前,今天沉下心来好好看了下nodejs的介绍和代码.自己也试着玩了下,算是有点入门了. 这里来做个学习笔记. ———————————————————————————————————————————————————————————— 首先简单介绍下nodejs.引用大牛们的介绍: nodejs是由chrome浏览器,V8引擎,c++编写,本质是一个JavaScript运行环境. 再来说下本菜自己的理解:nodejs是一套支持js语言做服务器端操作的运行环…