1、增加调试信息寻找问题

2、两种方式解决unable to load native-hadoop library for you platform

附:libc/glibc/glib简介

参考:

1、http://my.oschina.net/swuly302/blog/515853【66号公路: Hadoop Unable to load­ ­n­­ati­v­e­-­h­a­­d­o­o­­p library for your platform】

2、http://blog.sina.com.cn/s/blog_4eca88390102vn86.html

增加调试信息寻找问题

在执行hdfs命令时,会有一个警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我们增加调试信息看问题出在了哪里。

增加调试信息有两种方式,

1、在执行命令前加一条如下命令:

export HADOOP_ROOT_LOGGER=DEBUG,console

比如:

[wangqi@node001 ~]$ export HADOOP_ROOT_LOGGER=DEBUG,console

[wangqi@node001 ~]$ hdfs dfs -ls /

2、在$HADOOP_CONF_DIR/log4j.properties(hadoop2.6.0的路径是/home/wangqi/softwar­e­­/­hadoop-2.6.0/etc/hadoop/log4j.properties)文件中添加如下代码:

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG

我选择的是第二种(因为后面的一种解决方案也需要动这个文件)。

然后执行一条命令,查看调试信息,如下:

[wangqi@node001 ~]$ hdfs dfs -ls /

16/01/05 15:05:49 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...

16/01/05 15:05:49 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path

16/01/05 15:05:49 DEBUG util.NativeCodeLoader: java.library.path=/home/wangqi/softwar­e/hadoop-2.6.0/lib

16/01/05 15:05:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Found 1 items

drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:07 /user

问题出来了。对于这个问题,网上有的解决方案是加两个软链接,即:

ln -s libhadoop.so.1.0.0 libhadoop.so

ln -s libhdfs.so.0.0.0 libhdfs.so

但我加上了这两个软链接,问题依旧。

两种方式解决unable to load native-hadoop library for you platform

我们查看一下libhadoop.so.1.0.0的glibc版本,如下:

[wangqi@node001 native]$ ldd libhadoop.so

./libhadoop.so: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./libhadoop.so)

linux-vdso.so.1 => (0x00007fffb53ff000)

libdl.so.2 => /lib64/libdl.so.2 (0x00007fbb73129000)

libc.so.6 => /lib64/libc.so.6 (0x00007fbb72d94000)

/lib64/ld-linux-x86-64.so.2 (0x000000399b800000)

问题其实已经出现了,libhadoop.so需要的glibc版本是glibc_2.14,没有找到。

我们再看一下当前系统的glibc版本,如下:

[wangqi@node001 native]$ ldd --version

ldd (GNU libc) 2.12

Copyright (C) 2010 Free Software Foundation, Inc.

This is free software; see the source for copying conditions. There is NO

warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

Written by Roland McGrath and Ulrich Drepper.

可以看到,当前系统的glibc版本是2.12。

那么怎么解决这个警告呢?这里提供两种方式。

1、配置$HADOOP_CONF_DIR/log4j.properties/log4j.properties文件来忽略掉这个警告,即将前面配置的log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG该成:

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

2、升级系统的glib版本。

下载glibc-2.14.tar.bz2,地址为:http://ftp.ntu.edu.tw/gnu/glibc/

下载glibc-linuxthreads-2.5.tar.bz2,地址为:http://ftp.ntu.edu.tw/gnu/glibc/

安装步骤如下:

1) 把下载的bz2包放到一个文件夹下

[wangqi@node001 download]$ ls

glibc-2.14.tar.bz2 glibc-linuxthreads-2.5.tar.bz2

2) 解压glibc-2.14.tar.bz2到当前目录

[wangqi@node001 download]$ tar -xjvf glibc-2.14.tar.bz2

[wangqi@node001 download]$ ls

glibc-2.14.tar.bz2 glibc-2.14 glibc-linuxthreads-2.5.tar.bz2

3) 解压glibc-linuxthreads-2.5.tar.bz2到glibc-2.14

[wangqi@node001 download]$ cd glibc-2.14

[wangqi@node001 glibc-2.14]$ tar -xjvf ../glibc-linuxthreads-2.5.tar.bz2

此时,glibc-2.14目录下会多出两个文件夹,即linuxthreads和linuxthreads_db

4) 回到上一级目录,执行如下命令:

//回到上一级目录

[wangqi@node001 glibc-2.14]$ cd ..

//加上优化开关,否则会出现错误'#error "glibc cannot be compiled without optimization"'

[wangqi@node001 download]$ export CFLAGS="-g -O2"

5) 执行如下命令:

[wangqi@node001 download]$ glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin --disable-sanity-checks

6) 执行make

//编译,执行很久(5-10分钟),可能出错,出错再重新执行

[wangqi@node001 download]$ make

7) 执行make install

//安装,必须root用户执行,执行很久

[wangqi@node001 download]$ sudo make install

8) 使用命令ls -l /lib/libc.so.6查看是否升级成功

[wangqi@node001 download]$ ll /lib64/libc.so.6

lrwxrwxrwx 1 root root 11 Nov 12 09:24 /lib/libc.so.6 -> libc-2.14.so

9) 重启hadoop

[wangqi@node002 ~]$ stop-dfs.sh

[wangqi@node002 ~]$ stop-yarn.sh

10) 执行一条hdfs命令,发现本地库被成功加载

[wangqi@node001 ~]$ export HADOOP_ROOT_LOGGER=DEBUG,console

[wangqi@node001 ~]$ hdfs dfs -ls /

16/01/05 20:02:40 DEBUG util.Shell: setsid exited with exit code 0

16/01/05 20:02:41 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-h­a­doo­p library...

16/01/05 20:02:41 DEBUG util.NativeCodeLoader: Loaded the native-hadoop library

16/01/05 20:02:42 DEBUG ipc.ProtobufRpcEngine: Call: getListing took 2ms

Found 2 items

drwxrwx--- - wangqi supergroup 0 2016-01-05 19:40 /tmp

drwxr-xr-x - wangqi supergroup 0 2016-01-05 19:41 /user

附:libc/glibc/glib

glibc和libc都是Linux下的C函数库。

libc是Linux下的ANSIC函数库;glibc是Linux下的GUNC函数库。

glib是用C写的一些utilities,即C的工具库,和libc/glibc没有关系。

glibc是linux下面c标准库的实现,即GNU C Library。glibc本身是GNU旗下的C标准库,后来逐渐成为了Linux的标准c库,而Linux下原来的标准c库Linux libc逐渐不再被维护。

glibc在/lib目录下的.so文件为libc.so.6。

查看当前系统的glibc版本的两种方法:

[root@node001 ~]# ll /lib64/libc.so.6 

lrwxrwxrwx. 1 root root 12 Oct 11 00:27 /lib64/libc.so.6 -> libc-2.12.so
[root@node001 ~]# ldd --version

ldd (GNU libc) 2.12

Copyright (C) 2010 Free Software Foundation, Inc.

This is free software; see the source for copying conditions. There is NO

warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

Written by Roland McGrath and Ulrich Drepper.

这两种方法都可以看到当前系统的glibc的版本是2.12。

【转】Unable to load native-hadoop library for your platform(已解决)的更多相关文章

  1. Unable to load native-hadoop library for your platform(已解决)

    1.增加调试信息寻找问题 2.两种方式解决unable to load native-hadoop library for you platform 附:libc/glibc/glib简介 参考: 1 ...

  2. 关于cocos2dx 3.0升级崩溃报错(unable to load native library) 和(Fatal signal 11 (SIGSEGV) at 0x00000000)

    近期一直在Windows平台开发cocos-2dx游戏,期间做了一次引擎升级,升级到了3.0正式版本号.Windows平台上表现非常正常,没有出现什么问题. 上周五准备公布一个安卓包,编译非常轻松的就 ...

  3. error:informix Unable to load translation shared library 解决方案

    错误:设置informix ODBC时“error:informix Unable to load translation shared library ” 原因 INFORMIXDIR环境变量在操作 ...

  4. unable to boot the simulator,无法启动模拟器已解决

    突然模拟器报错:unable to boot the simulator(无法启动模拟器) 试了好几种解决办法,删除所有的模拟器重启以后再添加,删除钥匙串登陆中的证书,重新安装Xcode都不行 最后通 ...

  5. macos解决Hadoop之Unable to load native-hadoop library

    很显然,native-hadoop library不支持macos,如果是Linux就不会有这个问题.在百度上搜了,要下载在macos上编译的native hadoop library,我在网上下载了 ...

  6. YARN加载本地库抛出Unable to load native-hadoop library解决办法

    YARN加载本地库抛出Unable to load native-hadoop library解决办法 用官方的Hadoop 2.1.0-beta安装后,每次hadoop命令进去都会抛出这样一个War ...

  7. Genymotion 常见问题Unable to configure the network adapter for the virtual device解决

    Genymotion 常见问题Unable to configure the network adapter for the virtual device解决 参考:http://www.pczhis ...

  8. Hadoop - Unable to load native-hadoop library for your platform

    简介 运行hadoop或者spark(调用hdfs等)时,总出现这样的错误“Unable to load native-hadoop library for your platform”,其实是无法加 ...

  9. [hadoop] hadoop “util.NativeCodeLoader: Unable to load native-hadoop library for your platform”

    执行 bin/hdfs dfs -mkdir /user,创建目录时出现警告信息. WARN util.NativeCodeLoader: Unable to load native-hadoop l ...

随机推荐

  1. Luogu P2051[AHOI2009]中国象棋【dp】By cellur925

    题目传送门 题目大意:给定一个$n*m$的棋盘,求放三个“炮”使它们不共行也不共列的方案数.($n,m$$<=100$) 这题主要是转移比较困难,因为情况比较多,所以需要冷静大胆细心地进行分情况 ...

  2. Centos 搭建Mysql-Proxy 读写分离

    Mysql 读写分离 主:192.168.153.130 从:193.168.153.131 Mysql-Proxy:193.168.153.132 这里省略mysql主从同步,如果有需要,请查看:M ...

  3. 跟我一起玩Win32开发(9):绘图(B)

    我们今天继续涂鸦,实践证明,涂鸦是人生一大乐趣. 首先,我们写一个程序骨架子,以便做实验. #include <Windows.h> LRESULT CALLBACK MainWinPro ...

  4. Python: How to iterate list in reverse order

    #1 for index, val in enumerate(reversed(list)): print len(list) - index - 1, val #2 def reverse_enum ...

  5. 外文翻译 《How we decide》多巴胺的预言 第一节

    这是第二章的起始... 书的导言 1991年2月24日凌晨.第一与第二海军陆战队大批向北进入了沙特阿拉伯的沙漠地带,他们从这来进入科威特.这批军队是伊拉克入侵8个月以来,同盟国第一批进入科威特的部队. ...

  6. AJPFX关于StringBuffer,StringBuilder类总结(二)

    StringBuffer,StringBuilder类 总结2需要注意的知识点:1):// String -- >StringBuffer        String s = "hel ...

  7. PHP设计模式 原型模式(Prototype)

    定义 和工厂模式类似,用来创建对象.但实现机制不同,原型模式是先创建一个对象,采用clone的方式进行新对象的创建. 场景 大对象的创建. 优点 1.可以在运行时刻增加和删除产品 2.可以改变值或结构 ...

  8. re正则表达式公式讲解4

    1.re,split()  字符串分离 import re s = "abc20tyu9iou16hij25" m = re.split("\d",s) #以& ...

  9. synchronize早已经没那么笨重

    我发现一些同学在网络上有看不少synchronize的文章,可能有些同学没深入了解,只看了部分内容,就急急忙忙认为不能使用它,很笨重,因为是采用操作系统同步互斥信号量来实现的.关于这类的对于synch ...

  10. http与WebSocket

    利用websocket连接服务器的最大特点就是:持久链接的特点. 共同点是:都是基于TCP协议进行client-server的链接,websocket是HTML5提出的一套补缺HTTP链接中不能持久链 ...