在hadoop中搭建lzo环境:

  1. wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
  2. export CFLAGS=-m64
  3. ./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
  4. make && make test && make install

在hadoop-env.sh中

export LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib

将如下配置到 core-site.xml 中：

<property>

<name>io.compression.codecs</name>

<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.BZip2Codec</value>

</property>

<property>

<name>io.compression.codec.lzo.class</name>

<value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

将如下配置到mapred-site.xml中：

<property>

<name>mapred.compress.map.output</name>

<value>true</value>

</property>

<property>

<name>mapred.map.output.compression.codec</name>

<value>com.hadoop.compression.lzo.LzoCodec</value>

</property>

<property>

<name>mapred.child.env</name>

<value>LD_LIBRARY_PATH=/usr/local/hadoop/lzo/lib</value>

</property>

												


											
Hadoop使用lzo压缩格式的更多相关文章
	

    
								
  1. Hadoop添加LZO压缩支持
		
    启用lzo的压缩方式对于小规模集群是很有用处,压缩比率大概能降到原始日志大小的1/3.同时解压缩的速度也比较快. 安装 准备jar包 1)先下载lzo的jar项目https://github.com/ ...
    
		
    2. 
						
  2. Hadoop支持的压缩格式对比和应用场景以及Hadoop native库
		
    对于文件的存储.传输.磁盘IO读取等操作在使用Hadoop生态圈的存储系统时是非常常见的,而文件的大小等直接影响了这些操作的速度以及对磁盘空间的消耗. 此时,一种常用的方式就是对文件进行压缩.但文件被 ...
    
		
    3. 
						
  3. hadoop 支持 LZO 压缩配置
		
    1)hadoop 本身并不支持 lzo 压缩,故需要使用 twitter 提供的 hadoop-lzo 开源组件.hadoop lzo 需依赖 hadoop 和 lzo 进行编译,编译步骤如下. 编译 ...
    
		
    4. 
						
  4. lzo压缩格式文件查看
		
    使用lzop命令解压并查看 :lzop -cd xxx.lzo |more 附压缩命令:lzop xxx.log (生成xxx.log.lzo) 其它参数: # lzop -v test # 创建te ...
    
		
    5. 
						
  5. Hadoop_常用存储与压缩格式
		
    HDFS文件格式 file_format: TEXTFILE 默认格式 RCFILE hive 0.6.0 和以后的版本 ORC hive 0.11.0 和以后的版本 PARQUET hive 0.1 ...
    
		
    6. 
						
  6. HADOOP与HDFS数据压缩格式
		
    1.cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压缩格式对性能具有重要的影响.在数据压缩上,需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的 ...
    
		
    7. 
						
  7. hive 压缩全解读(hive表存储格式以及外部表直接加载压缩格式数据)；HADOOP存储数据压缩方案对比（LZO,gz，ORC）
		
    数据做压缩和解压缩会增加CPU的开销,但可以最大程度的减少文件所需的磁盘空间和网络I/O的开销,所以最好对那些I/O密集型的作业使用数据压缩,cpu密集型,使用压缩反而会降低性能. 而hive中间结果 ...
    
		
    8. 
						
  8. hadoop中MapReduce中压缩的使用及4种压缩格式的特征的比较
		
    在比较四中压缩方法之前,先来点干的,说一下在MapReduce的job中怎么使用压缩. MapReduce的压缩分为map端输出内容的压缩和reduce端输出的压缩,配置很简单,只要在作业的conf中 ...
    
		
    9. 
						
  9. 对TextFile格式文件的lzo压缩建立index索引
		
    转自:http://blog.csdn.net/yangbutao/article/details/8519572 hadoop中可以对文件进行压缩,可以采用gzip.lzo.snappy等压缩算法. ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. GDI+中GIF图片的显示
			
    某位网友曾经问过我GDI+中Gif图像显示的问题,一直没时间给你写,在此致歉.我把这篇文章送给他. 一.GIF格式介绍 1.概述 GIF(Graphics Interchange Format,图形交 ...
    
			
    2. 
						
  2. 论文笔记之： Bilinear CNN Models for Fine-grained Visual Recognition
			
    Bilinear CNN Models for Fine-grained Visual Recognition CVPR 2015 本文提出了一种双线性模型( bilinear models),一种识 ...
    
			
    3. 
						
  3. debugging books
			
    https://blogs.msdn.microsoft.com/debuggingtoolbox/2007/06/08/recommended-books-how-to-acquire-or-imp ...
    
			
    4. 
						
  4. Linux-Nginx之sendfile与上下文切换
			
    今天在看nginx thread pool的时候,频繁的看到sendfile,其实以前也经常看到sendfile,只是我平时选择性的忽视而已... 先说下sendfile,明天在好好聊下nginx 线 ...
    
			
    5. 
						
  5. <button>会自动提交表单吗？
			
    点击button以后,表单先由ajax提交,然后无论后台返回什么结果,页面都会跳转到表单action属性指定的路劲,也就是login.html使用的是html.jquery.javascript,后台 ...
    
			
    6. 
						
  6. 经典ASP.NET MVC3.0入门详解
			
    http://blog.csdn.net/csh624366188/article/details/7064269 :由于本文原在word文档里编写,写本文章时运用了大量截图,直接复制到博客里,没有显 ...
    
			
    7. 
						
  7. sql compact 使用EF无法更新的问题？
			
    1.问题一是表中没有主键会报一些莫名其妙的错误. 2.数据库文件被默认复制到了Debug/Release目录,实际调试或运行时发现原有数据库没有被更新.
    
			
    8. 
						
  8. httplib
			
    可爆破目录 import httplib import urllib def sendhttp(): data = urllib.urlencode({'@number': 12524, '@type ...
    
			
    9. 
						
  9. PHP strrpos strpos strstr strrchr 区别
			
    1. strstr string strstr ( string $haystack , mixed $needle [, bool $before_needle = false ] ) $needl ...
    
			
    10. 
						
  10. js跳转到页面中指定的hash
			
    location.hash = "#filter_moreClue";
    
			
    11.