转自:http://www.iteblog.com/archives/992 Hadoop经常用于处理大量的数据,如果期间的输出数据.中间数据能压缩存储,对系统的I/O性能会有提升.综合考虑压缩.解压速度.是否支持split,目前lzo是最好的选择.LZO(LZO是Lempel-Ziv-Oberhumer的缩写)是一种高压缩比和解压速度极快的编码,它的特点是解压缩速度非常快,无损压缩,压缩后的数据能准确还原,lzo是基于block分块的,允许数据被分解成chunk,能够被并行的解压.LZO库实现

1  下载 下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/stable2/ 2 解压 将文件解压到 /usr/local/hadoop cd ~/下载 tar -zxf hadoop-.tar.gz sudo mv ./hadoop-/ /usr/local/hadoop cd /usr/local/hadoop 此时可以查看Hadoop版本信息: ./bin/hadoop version   3 hadoop伪分布式配置 3.1 配置ha

eclipse在Ubuntu 13.04下的安装过程及问题小记 一.eclipse安装过程 首先确保在安装eclipse之前已经安装好Java虚拟机 1. eclipse官网下载压缩包 下载地址:http://www.eclipse.org/downloads/?osType=linux&release=undefined 2. 解压缩到 /opt/(/opt一般为大型商业软件或第三方软件包安装的地方,我习惯将第三方软件安装在此,当然你也可以安装在/usr/local下或其他地方) sudo t

ubuntu14.04下编译安装ambari-2.4.2.0 编译前的准备工作 准备工作有: 系统参数 系统依赖(编译环境) 离线安装包 java环境 maven环境 Nodejs环境 git环境 ant环境 python环境 下面是具体配置 系统参数 1.fs.inotify.max_user_watches = 8192 调整到524288 echo fs.inotify.max_user_watches=524288 >> /etc/sysctl.conf && sysc

不多说,直接上干货! 写在前面的话 (1) 最近一段时间,因担任我团队实验室的大数据环境集群真实物理机器工作,至此,本人秉持负责.认真和细心的态度,先分别在虚拟机上模拟搭建ambari(基于CentOS6.5版本)和cloudermanager(基于CentOS6.5或Ubuntu14.04版本). (2)  大数据集群范围包括3节点和4节点.本人都尝试过. (3)  安装搭建包括离线和在线.本人都尝试过 (4)  版本包括自定义指定和官方最新版本搭建.本人都尝试过. (5) 大数据集群节点的增

现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机,增加更多的slave只需重复slave部分的内容即可. 系统版本: master:Ubuntu 12.04 slave:Ubuntu 12.04 hadoop:hadoop 2.2.0 安装ssh服务:sudo apt-get install ssh 有时也要更新一下vim:sudo apt-ge

目录 联盛德 HLK-W806 (一): Ubuntu20.04下的开发环境配置, 编译和烧录说明 联盛德 HLK-W806 (二): Win10下的开发环境配置, 编译和烧录说明 联盛德 HLK-W806 (三): 免按键自动下载和复位 联盛德 HLK-W806 (四): 软件SPI和硬件SPI驱动ST7735液晶LCD 联盛德 HLK-W806 (五): W801开发板上手报告 介绍 W806是32位MCU, 1MB flash, 288K内存, 是W800去掉无线部分的版本, 这个芯片背后

有时候我们不得不採用手动安装一些软件. Ubuntu 14.04 下手动安装Firefox的Flash插件有下面几步 1. 下载Flash插件 下载地址为http://get.adobe.com/cn/flashplayer/?no_redirect 选择.tar.gz的包 2. 將下载好的包拷到某个文件夹下,如/home/aborn/tmp/install_flash并解压得到文件,例如以下 3. 将libflashplayer.so拷到firefox的插件文件夹/usr/lib/mozill

ubuntu14.04下手动安装eclipse 第一步: 安装jdk 第二步: 下载eclipse,假设下载的文件文件名为eclipse.tar.gz 第三步: 解压 sudo -zxvf ./eclipse.tar.gz 会的到文件夹eclipse 第四步: 移动文件 sudo mv ./eclipse /usr/lib 第五步: 创建启动快捷方式 $ sudo gedit /usr/share/applications/eclipse.desktop 添加如下内容: [Desktop Ent

ubuntu14.04 下手动安装java jdk 第一步: 下载jdk.tar.gz (这里假设下载的文件名为jdk.tar.gz) 第二步: 解压 sudo tar -zxvf ./jdk.tar.gz 这里会在当前目录下会的到一个新的被解压出来的文件夹(jdk-8×××),这里假设为该文件夹名为jdk 第三步: 移动解压出的文件夹 sudo mkdir /usr/lib/jvm 新建文件夹jvm sudo mv ./jdk /usr/lib/jvm/java 第四步: 修改环境变量 sud

Ubuntu16.04下编译安装OpenCV3.4.0(C++ & python) 前提是已经安装了python2,python3 1)安装各种依赖库 sudo apt-get update sudo apt-get install build-essential sudo apt-get install cmake git libgtk2.0-dev pkg-config libavcodec-dev libavformat-dev libswscale-dev sudo apt-get in

Ubuntu16.04 下如何安装搜狗拼音输入法[亲测有效]   一.添加fcitx键盘输入法系统[系统默认是iBus] 1.将下载源添加至系统源: sudo add-apt-repository ppa:fcitx-team/nightly 2.更新系统列表获得最新软件版本信息 sudo apt-get update 3.安装fcitx sudo apt-get install fcitx 4.安装fcitx的配置工具 sudo apt-get install fcitx-config-gtk

Ubuntu 16.04下编译安装Apache2.4和PHP7结合,并安装PDOmysql扩展. 1.编译安装apache2.4.20 1 第一步: ./configure --prefix=/usr/local/httpd --enable-so 2 第二步: make 3 第三步: sudo make install 2.编译安装libiconv 到这去下载,并编译安装 http://www.gnu.org/software/libiconv/#TOCdownloading 1 第一步:./

ubuntu16.04下docker安装和简单使用   转自:https://www.cnblogs.com/hupeng1234/p/9773770.html 前提条件 操作系统 docker-ce支持的ubuntu版本: Bionic 18.04 (LTS) Xenial 16.04 (LTS) Trusty 14.04 (LTS) 卸载旧版本docker[可选] $ sudo apt-get remove docker docker-engine docker.io --purge 支持的

前言: 一:配置 ubuntu 18.04 mysql 5.7.30 二:问题 ubuntu18.04下mysql安装时没有出现密码提示,安装后自己有一个默认的用户名以及密码 解决方案: 1. 在终端输入: sudo vi /etc/mysql/debian.cnf 可以查看到: user = debian-sys-maint password = WU2UbLLd4totyAs8 2. 用该账户登陆mysql: 注意:这里的密码是上面的{随机密码} mysql -u debian-sys-ma

Ubuntu20.04使用apt安装tomcat9 前言 系统环境:ubuntu20.04 java版本:openjdk version "11.0.11" 2021-04-20 开发环境:IDEA 1.apt安装 # 更新源 sudo apt update # 在apt中搜索tomcat sudo apt search tomcat # 安装tomcat9和tomcat9-admin sudo apt install tomcat9 tomcat9-admin 这样我们的tomcat

Apache Hadoop安装部署模式 单机(本地)模式(Standalone Mode) 伪分布模式(Pseudo-Distributed Mode) 完全分布模式(Fully Distributed Mode) 5个守护进程, 本地一个都不需要,用于测试 分布式,管理层应用层是分开的 伪分布式:一台机器上运行所有的Hadoop服务,5个后台守护进程 单机模式只有一个jvm,hadoop是在java上运行的,不使用hdfs, 通常用于调试 伪分布式模式:只有一台机器,每个Hadoop守护进程都

对于Hadoop和Spark的开发,最常用的还是Eclipse以及Intellij IDEA. 其中,Eclipse是免费开源的,基于Eclipse集成更多框架配置的还有MyEclipse.Intellij分为Community版和Ultimate版,前者免费,后者付费.付费版同样是集成了更多的框架便于开发,主要是针对web开发人员.这里我们讲述两个IDE的配置方法,并推荐使用Intellij完成配置.首先需要明确的是,本文的配置是基于Java语言,基于Scala语言配置Spark开发环境在In

参考http://blog.csdn.net/lalaguozhe/article/details/10912527 环境:hadoop2.3cdh5.0.2 hive 1.2.1 目标:安装lzo 测试作业运行与hive表创建使用lzo格式存储 之前安装试用snappy的时候,发现cdh解压后的native中已经包含了libsnappy之类的本地库,但是没有包含lzo. 所以lzo的使用,除了要安装lzo程序之外,还要编译安装hadoop-lzo. 1.安装lzo.可以yum安装,也可以根据上

Ubuntu下Redis安装两种安装方式: 1.apt-get方式 步骤: 以root权限登录,切换到/usr目录下. 接下来输入命令,apt-get install redis-server,如图: 3.安装完成后,Redis服务器会自动启动,我们检查Redis服务器程序,执行ps -aux|grep redis,如图: 4.通过启动命令检查Redis服务器状态,执行:netstat -apn|grep 6379,如图: 5.安装Redis服务器,会自动地一起安装Redis命令行客户端程序.在

说明:本文在root用户下进行,如不是root用户命令前加sodu 一.手动安装JDK 1.下载JDK 从官网http://www.oracle.com/technetwork/java/javase/downloads/index.html下载jdk8 jdk-8u73-linux-x64.tar.gz 2.解压$ tar -zxf jdk-8u73-linux-x64.tar.gz 解压出来是一个jdk1.8.0_73文件夹 3.将文件夹移动到安装目录(本文放在“/usr/lib/jvm/”