ubuntu + hadoop2.5.2分布式环境配置 我之前有详细写过hadoop-0.20.203.0rc1版本的环境搭建 hadoop学习笔记——环境搭建 http://www.cnblogs.com/huligong1234/p/3533382.html 本篇部分细节就不多说. 一.基础环境准备系统:(VirtualBox) ubuntu-12.04.2-desktop-i386.isohadoop版本:hadoop-2.5.2jdk版本:jdk-6u26-linux-i586.bin…

python中在ubuntu中安装虚拟环境及环境配置 1.升级python包管理工具pip pip install --upgrade pip 备注:当你想升级一个包的时候 `pip install --upgrade 包名` 2.python虚拟环境安装 sudo apt-get install python-virtualenv sudo easy_install virtualenvwrapper 上述工具装好后找不到mkvirtualenv命令,需要执行以下环境变量设置. 1.创建目录用…

Ubuntu虚拟机+ROS+Android开发环境配置笔记 虚拟机设置: 1.本地环境:Windows 7:VMWare:联网 2.虚拟环境 :Ubuntu 14.04. 比較稳定,且支持非常多ROS 3.虚拟机配置:硬盘至少50G,由于整个工具链配置起来须要非常多空间,性能方面能够尽量往高配置. 4.虚拟环境搭建起来后,Ubuntu会弹出提示窗体询问是否升级软件,升级完后重新启动,约30分钟,取决于网络环境. 5.重新启动后,terminal运行下面:      $ sudo apt-get…

前言 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据.一转眼一两个月过去了,有些东西对已经忘了.现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了.开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下. 在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里.有的时候需要结合几篇文档去搭建平台.在这篇博客汇总会把我们遇到的问题,以及搭…

前言 本文主要通过对hadoop2.2.0集群配置的过程加以梳理,所有的步骤都是通过自己实际测试.文档的结构也是根据自己的实际情况而定,同时也会加入自己在实际过程遇到的问题.搭建环境过程不重要,重要点在于搭建过程中遇到的问题,解决问题的过程. 可能自己遇到的问题在一些由经验的老者手上都不是问题,但是这些问题着实让自己耽误了很长时间,最后问题解决也是费了太大心血.也通过这篇文档,表现出来,算是总结,为后者提供意见. Hadoop2.2.0体系结构 要想理解本节内容,首先需要了解hadoop1的体系…

今天我们来完成hadoop2.x的完全分布式环境搭建,话说学习本来是一件很快乐的事情,可是一到了搭环境就怎么都让人快乐不起来啊,搭环境的时间比学习的时间还多.都是泪.话不多说,走起. 1 准备工作 开工之前先说一下我们的机器环境: 一共是4台主机,主机1,2,3都是从master克隆过来的: 主机名 IP 用户 hadoopmaster 192.168.131.128 hadoop hadoopslaver1 192.168.131.130 hadoop hadoopslaver2 192.16…

Fedora下OpenGl开发环境配置 开发OpenGL工程需要3个库文件和对应的头文件: libglut.so,libGLU.so,libGL.so, gl.h ,glu.h, glut.h 这些库在linux系统中默认都有,使用locate命令验证都在标准库目录(/usr/lib)下: [root@localhost GL]# locate libglut.so /usr/lib/libglut.so.3 /usr/lib/libglut.so.3.9.0 [root@localhost G…

在安装JDK之前,请确认系统是32还是64,根据系统版本,选择JDK版本.Hadoop版本 下面是以在CentOS-6.5-x86_64系统上安装为例 安装前准备 在"/usr"下创建java目录,并cd到该目录,如下 确认防火墙关闭 防火墙关闭后的效果如下 具体操作,请查看"XX/XX/XX/ notes/防火墙.docx" 确认安装openssh-server.openssh-clients,具体操作,请参考"XX/XX/XX/notes/安全登录ss…

在经过几天的环境搭建,终于搭建成功,其中对于hadoop的具体设置倒是没有碰到很多问题,反而在hadoop各节点之间的通信遇到了问题,而且还反复了很多遍,光虚拟机就重新安装了4.5次,但是当明白了问题之后才发现这都是无用功,有了问题应该找具体的解决方案,并不是完全的重装,这样不会明白问题是怎么解决的,除了费时费力没有多大的用处,接下来就把搭建的过程详细叙述一下. 环境配置: 计算机: CPU-I7 2630QM 6G内存 256G SSD 虚拟机: vmware workstation 系统:…

准备材料有: 1. qt for android 5.×版本,下载地址如下,可以选择一个合适自己机器型号的版本进行下载. 地址:http://www.qt.io/download-open-source/#section-2 2. jdk下载以及环境配置 地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 环境变量设置: 0> 执行如下命令,解压jdk包到指定的路径去. $…

http://qpcwth.blog.163.com/blog/static/20993024620139151424822/ 在安装的过称中,出现一些问题,注意试想: 1.本次开发环境的配置,是基于友善之臂提供的资料,其中,qt-sdk-linux-x86-opensource-2010.05.1.bin是另外下载的. 2.安装之前,先确定gcc的版本低于4.7,否则会出错.我的系统本来是14.04,系统自带的gcc版本是4.8,后来安装失败,换成12.04的系统,自带的gcc是4.6.3,满…

1.升级python包管理工具pip pip install --upgrade pip 备注:当你想升级一个包的时候 `pip install --upgrade 包名` 2.python虚拟环境安装 sudo apt-get install python-virtualenv sudo easy_install virtualenvwrapper 上述工具装好后找不到mkvirtualenv命令,需要执行以下环境变量设置. 1.创建目录用来存放虚拟环境 mkdir $HOME/.virtua…

原文戳我 前段时间项目要用到权限控制的相关模块,经过讨论决定采用Apache下面的Shiro开源框架进行身份校验与权限控制,因项目需部署在集群环境下,所以需要分布式的支持,故配置了Redis作为权限数据的存储,这里简单的记录下相关的配置 applicationContext-shiro.xml 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37…

1.准备三台机器,机器名是:master.slave01.slave02 1.1 最小化安装centos6.5 1.2 安装ssh,yum -y install openssh-clients(这一步安装是因为系统最小化安装时,这个组件是没有的) 1.3 修改主机名 vi /etc/sysconfig/network 1.4 修改hosts文件,三台机器的内容一样 vim /etc/hosts 192.168.137.56 master 192.168.137.61 slave01 192.16…

1.准备: eclipse4.5,hadoop2.6.1,hadoop-eclipse-plugin-2.6.0.jar. 2.eclipse配置 eclipse->windows->Preferences->hadoop:配置为自己hadoop目录 window->showView->打开Map/Reduce Locations视图,右击新建"new hadoop Location", Location name :xxxx   名字随便取 Map/Re…

测试启动 按照下面的每一步执行,执行完一定要看输出的信息,注意warn或error或fatal的情况.因为这都是可能是问题出现的地方.出现一个问题,不解决,可能就会影响接下来的测试.这才是真正的工作量. 1.启动zookeeper 在hadoop1.hadoop2.hadoop3.hadoop4.hadoop5上zookeeper目录下分别执行命令:bin/zkServer.sh start 在每一台机器执行完上面的命令后,执行jps,会显示:这是初步认定启动没有问题 <span style=&qu…

为了开发环境纯净,应该首先创建虚拟环境 mkvirtualenv -p python3 虚拟环境名称 如,mkvirtualenv -p python3 ai 但是有的童鞋会卡在这一步,会报一个这样的错误: OSError: Command /home/python/.virtualenvs/ai/bin/python3 - setuptools pkg_resources pip wheel failed with error code 2 这是因为virtualenv虚拟环境----pip多…

1. 安装完整的vim# apt-get install vim-gnome 2. 安装ctags,ctags用于支持taglist,必需!# apt-get install ctags 3. 安装taglist#apt-get install vim-scripts#apt-get install vim-addon-manager# vim-addons install taglist 4. 安装pydiction(实现代码补全)#wget http://www.pythonclub.org…

直接在命令行中输入以下命令即可. sudo apt-get install build-essential 安装完成后输入 gcc 和 g++ 进行确认.…

重启Apache,测试:  …

windows7+eclipse+hadoop2.5.2环境配置    一.hadoop集群环境配置 参考我的前一篇文章(ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html) 但本人配置时还修改了如下内容(由于你的环境和我的可能不一致,可以在后面出现相关问题后再进行修改): a.在master节点上(ubuntu-V01)修改hdfs-site.xml加上以下内容 <property> &…

hadoop2.2的分布式环境需要配置的参数更多.但是需要安装的系统软件和单节点环境是一样的. 运行hadoop在非安全环境 hadoop的配置文件有两类: 1:只读的默认配置文件: core-default.xml,hdfs-default.xml,yarn-default.xml mapred-default.xml 2: 可配置的配置文件: core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml   除此之外,还可以修改bin目录…

软硬件环境: CentOS 7.2 64 位, OpenJDK- 1.8,Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root 用户来执行的.若要在自己的云主机上进行本教程的实验,为了系统安全,建议新建一个账户登录后再进行后续操作. 安装 SSH 客户端 安装SSH(输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题.测试正常后使用 exit 命令退出ssh): sudo yum install op…

spark笔记 spark简介 saprk 有六个核心组件: SparkCore.SparkSQL.SparkStreaming.StructedStreaming.MLlib,Graphx SparkCore 相当于Hadoop中的MapReduce,用于大规模离线批处理计算 SparkSQL 相当于Hive(稍微类似),用于交互式计算 注意: 1.交互式计算:用户界面中的查询条件进行过滤查询,然后交给SparkSQL进行处理,产生输出数据.速度比较快 2.交互式计算框架:Presto.Imp…

Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-cluster/和<Hadoop基础教程>这本书.我的用户名是wuyouwulv,所以在接下来的代码中如果出现wuyouwulv的地方只要更改一下用户名就可以了.搭建hadoop伪分布式环境并不需要为此创建一个新的group和user,所以我这里用的一直都是wuyouwulv这个用户.我所需的文件都放在我…

引言 一直用的Ubuntu 32位系统(准备下次用Fedora,Ubuntu越来越不适合学习了),今天准备学习一下Hadoop,结果下载Apache官网上发布的最新的封装好的2.5.1版,配置完了根本启动不起来,查看错误日志发现是native库的版本和系统不一致,使用file命令可以发现封装版的native库文件全是64位的: 原来官网发布的版本开始用64位环境编译了(貌似之前是32位环境编译).没办法,只好自己下载源码编译了. 毫无意外的,编译时各种错误简直停不下来,强忍着一个个耐心解决了,配…

目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallels克隆3台机器 3.安装Zookeeper-3.4.5 4.安装hadoop2.2.0 5.启动zookeeper 6.启动JournalNode集群 7.Hbase-0.96.2-hadoop2(启动双HMaster的配置,m1是主HMaster,m2是从HMaster) 8.在ubuntu12.…

准备工作 1.准备安装环境: 4台PC,均安装32位Ubuntu12.04操作系统,统一用户名和密码 交换机1台 网线5根,4根分别用于PC与交换机相连,1根网线连接交换机和实验室网口 2.使用ifconfig查看各PC的IP地址,并确保可以相互ping通 pc1 192.168.108.101 pc2 192.168.108.146 pc3 192.168.108.200 pc4 192.168.108.211 3.安装jdk,下载jdk-7u71-linux-i586.tar.gz,拷贝到你…

  Hadoop-2.4.1完全分布式环境搭建   Hadoop-2.4.1完全分布式环境搭建 一.配置步骤如下: 主机环境搭建,这里是使用了5台虚拟机,在ubuntu 13系统上进行搭建hadoop环境. 创建hadoop用户组以及hadoop用户,并给hadoop用户分配权限. 免密码登陆,为5台主机进行免密码登陆配置. 安装hadoop以及jdk,并配置环境变量. Hadoop分布式环境参数配置. 二.主机环境搭建: 在虚拟机上安装5台虚拟主机并分别安装好hadoop系统,然后分别完成以下…

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool…