关于Hadoop_env.sh中的HADOOP_CLASSPATH

之前博客里介绍了如何自定义DoubleArrayWritable,并将该类型的value写入SequenceFile文件中,为了能够使用命令查看这个文件中的内容(果然坑都是一步一步给自己挖的)参考了网友博客的内容,将DoubleArrayWritable类型打成Jar包,然后将这个Jar包的路径添加到Hadoop_env.sh配置文件中的HADOOP_CLASSPATH配置项中作为其配置值,添加完成之后再输入命令: hadoop fs -text /10Seq 太神奇了,不再提示"DoubleA…

build/envsetup.sh中hmm、get_abs_build_var、get_build_var解析

function hmm() { # 打印帮助信息 cat <<EOF Invoke ". build/envsetup.sh" from your shell to add the following functions to your environment: - lunch: lunch <product_name>-<build_variant> - tapas: tapas [<App1> <App2> ...] […

Dockfile中的命令如何在.sh中执行

有类似如下内容的Dokefile文件.1 RUN cd /tmp/patch \ && /lib/python3./site-packages/moduleA/a.* \ && /lib/python3./site-packages/moduleA 我想要用A.sh文件实现如上的功能,该怎么办呢? #! /bin/sh cd /tmp/patch \ && /lib/python3./site-packages/moduleA/a.* \ &&…

【Android】在build/envsetup.sh中添加自己的命令（函数）

由于测试的需要,经常需要手动刷入boot.img和system.img,把它写到envsetup.sh就可以每次使用一行命令来代替了: function flashtestimage(){ if [[ "$(fastboot devices | grep \"fastboot\")" == "" ]]; then adb -s 0123456789ABCDEF reboot bootloader fi fastboot flash boot $O…

tomcat bin 中startup.sh中的环境变量配置

JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64 JRE_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64/jre PATH=$JAVA_HOME/bin:$JRE_HOME:$PATH ClASSPATH=.:/usr/lib/jvm/java-1.7.0-openjdk-amd64/lib/dt.jar:/usr/lib/jvm/java-1.7.0-openjdk-amd64/lib/tools.jar TO…

hadoop长时间运行后，stop-all.sh报错

报错现象: hadoop在stop-all.sh的时候依据的是datanode上的mapred和dfs进程号. 而默认的进程号保存在/tmp下,linux默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件. 因此删掉hadoop-hadoop-jobtracker.pid和hadoop- hadoop-namenode.pid两个文件后,namenode自然就找不到datanode上的这两个进程了. 解决方法: 在配置文件hadoop_env.sh中配置export HADO…

自定义数据类型写入SequenceFile并读出

开头对这边博客的内容做个概述,首先是定义了一个DoubleArrayWritable的类,用于存放矩阵的列向量,然后将其作为value写入SequenceFile中,key就是对应的矩阵的列号,最后(key,value)从SequenceFile中读出,与另一矩阵做乘法.完全通过IDEA在本地调试程序,并未提交集群.一般来说是将hadoop-core-1.2.1.jar和lib目录下的commons-cli-1.2.jar两个包加入到工程的classpath中就可以了,不过仅仅添加这两个包,调试…

《OD大数据实战》HBase整合MapReduce和Hive

一.HBase整合MapReduce环境搭建 1. 搭建步骤1)在etc/hadoop目录中创建hbase-site.xml的软连接.在真正的集群环境中的时候,hadoop运行mapreduce会通过该文件查找具体的hbase环境信息. -cdh5.-cdh5.3.6/etc/hadoop/hbase-site.xml 2)将hbase需要的jar包添加到hadoop运行环境中,其中hbase需要的jar就是lib文件夹下面的所有*.jar文件. 在hadoop中添加其他第三方的jar有多种方式…

【甘道夫】怎样在cdh5.2上执行mahout的itemcf on hadoop

环境: hadoop-2.5.0-cdh5.2.0 mahout-0.9-cdh5.2.0 步骤: 基本思路是,将mahout下的全部jar包都引入hadoop的classpath就可以,所以改动了$HADOOP_HOME/etc/hadoop/hadoop-env.sh,加入例如以下代码将mahout的全部jar包引入hadoop的classpath: for b in $MAHOUT_HOME/lib/*.jar; do if [ "$HADOOP_CLASSPATH" ];…

flume学习笔记——安装和使用

Flume是一个分布式.可靠.和高可用的海量日志聚合的系统,支持在系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力. Flume是一个专门设计用来从大量的源,推送数据到Hadoop生态系统中各种各样存储系统中去的,例如HDFS和HBase. Guide: http://flume.apache.org/FlumeUserGuide.html 体系架构 Flume的数据流由事件(Event)贯穿始终.事件是Flume的基本数据单位…

hadoop deployment

本文主要是以安装和使用hadoop-0.12.0为例,指出在部署Hadoop的时候容易遇到的问题以及如何解决. 硬件环境共有3台机器,均使用的FC5系统,Java使用的是jdk1.6.0.IP配置如下:dbrg-1:202.197.18.72dbrg-2:202.197.18.73dbrg-3:202.197.18.74 这里有一点需要强调的就是,务必要确保每台机器的主机名和IP地址之间能正确解析. 一个很简单的测试办法就是ping一下主机名,比如在dbrg-1上ping dbrg-2,如果能p…

在搭建Hadoop集群环境时遇到的一些问题

最近在学习搭建hadoop集群环境,在搭建的过程中遇到很多问题,在这里做一些记录.1. SSH相关的问题问题一: ssh: connect to host localhost port 22: Connection refused 问题二: 远程连接需要输入密码. 参照以下博客即可解决: Linux开启SSH服务: https://www.cnblogs.com/fengbeihong/p/3307575.html ubuntu Docker开启ssh:https://blog.csdn.ne…

HDFS——完全分布式搭建

架构 NN--namenode SNN--secondnamenode DN--datanode hadoop_env.sh中修改JAVA_HOME core-site.xml <property><name>fs.defaultFS</name><value>hdfs://node1:9000</value></property><property><name>hadoop.tmp.dir</name&…

第四周之Hadoop学习（四）

上周已经成功完成了Hadoop的学习,这周则是搭建好Hadoop的安卓编程环境今天的学习根据这篇博客:https://blog.csdn.net/HcJsJqJSSM/article/details/83418976 首先,通过登录centos可以知道之前下载的版本是2.7.6的,但是windows主机上并没有2.7.6的hadoop zip包,因此通过百度搜索2.7.6的安装包并且下载下载地址为:http://archive.apache.org/dist/hadoop/core/hado…

（原）caffe中fine tuning及使用snapshot时的sh命令

转载请注明出处: http://www.cnblogs.com/darkknightzh/p/5946041.html 参考网址: http://caffe.berkeleyvision.org/tutorial/interfaces.html http://www.cnblogs.com/denny402/p/5076285.html 1. 如果直接训练时,test.sh中内容如下: ./build/tools/caffe train --solver=examples/XXX/lenet_s…

ubuntu中写sh脚本

批量执行命令 https://jingyan.baidu.com/article/3052f5a121c8ac97f21f8661.html 批量执行脚本也是可行的! 如,main.sh内写 sh findpcap.sh sh extractor.sh 再执行sh main.sh 就先执行了findpcap.sh再执行extractor.sh,且sh脚本中是顺序执行的,会等上一条执行完毕后再执行下一条. 脚本入门 https://www.cnblogs.com/tnxk/archive/20…

MapReduce将HDFS文本数据导入HBase中

HBase本身提供了很多种数据导入的方式,通常有两种常用方式: 使用HBase提供的TableOutputFormat,原理是通过一个Mapreduce作业将数据导入HBase 另一种方式就是使用HBase原生Client API 本文就是示范如何通过MapReduce作业从一个文件读取数据并写入到HBase中. 首先启动Hadoop与HBase,然后创建一个空表,用于后面导入数据: hbase(main):006:0> create 'mytable','cf' 0 row(s) in 10.…

Hadoop中的问题排查思路

一.概述: 在实际使用hadoop的过程中,由于涉及到多台服务器.每台机器上可能还有多个服务等.所以当集群环境出现问题时,快速定位到错误出现的地方尤为重要. 在排查错误的过程中,基本上就是通过既有的工具来检测集群的运行时环境.集群日志等来分析导致错误的原因. 二.Java heap: hadoop需要运行在Java运行时环境之上.因此jvm中的内存分配是否处于合理的状态,就是需要检测的一个因素.Java虚拟机中分为多个区域,最值得关注的区域是heap区.heap区的大体划分如下: 创建对象时,会…

如何查看MapReduce执行的程序中的输出日志

我们开发程序的时候,好多人都喜欢用sysout输出内容来查看运行情况.但是在MR程序里写了之后,却不知道去哪里查找,可以参考这篇文章. 第一种方法,我们可以在MapReduce任务查看页面找到这些日志 1.在MapReduce任务查看页面找到任务,点击进入 2.在任务详情页最下面由执行了该任务的节点 3.在节点的web地址后面加上logs/userlogs就能看到application列表,选择自己要找的 4.依次查看container 5.从container进去之后就是最终要找的日志了 st…

ssh项目部署到weblogic中问题总结

部署到weblogic还是比较费劲的 ,不过基本上问题全是由于classloader顺序的问题引起的. 首先在web-inf底下添加weblogic.xml文件如下 <?xml version="1.0" encoding="UTF-8"?> <weblogic-web-app xmlns="http://www.bea.com/ns/weblogic/weblogic-web-app" xmlns:xsi="http…

tomcat在linux中启动慢的解决方案

有两种解决办法: 1)在Tomcat环境中解决可以通过配置JRE使用非阻塞的Entropy Source. 在catalina.sh中加入这么一行:-Djava.security.egd=file:/dev/./urandom 即可. 加入后再启动Tomcat,整个启动耗时下降到Server startup in 2912 ms. 2)在JVM环境中解决打开$JAVA_PATH/jre/lib/security/java.security这个文件,找到下面的内容: securerandom.…

在虚拟机中配置FastDFS+Nginx模块

先上部署图提示一下, ip 192.168.72.138 上面部署了两个group, 分别为 group1和g2. 另外, 同组之内的 port 要保持一致. 一.安装准备 1. #每台机器都添加两个用户 fastdfs 和 nginx useradd fastdfs -M -s /sbin/nologin & useradd nginx -M -s /sbin/nologin 2. #为了方便测试请关闭防火墙 service iptables stop && chkconfi…

build/envsetup.sh 生成的命令详解表

参考: https://wiki.cyanogenmod.org/w/Envsetup_help 它是一个.sh文件,用source后就生成android编译相关函数,具体如下. 速查 Invoking $ source build/envsetup.sh from your shell adds several functions to the build environment. These are listed below with short descriptions. Referenc…

hadoop中遇到的一些问题

1.验证词统计程序.----无法加载本地库出现错误: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable16/10/22 17:31:38 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.…

深入探讨在集群环境中使用 EhCache 缓存系统

EhCache 缓存系统简介 EhCache 是一个纯 Java 的进程内缓存框架,具有快速.精干等特点,是 Hibernate 中默认的 CacheProvider. 下图是 EhCache 在应用程序中的位置: 图 1. EhCache 应用架构图 EhCache 的主要特性有: 快速: 简单: 多种缓存策略: 缓存数据有两级:内存和磁盘,因此无需担心容量问题: 缓存数据会在虚拟机重启的过程中写入磁盘: 可以通过 RMI.可插入 API 等方式进行分布式缓存: 具有缓存和缓存管理器的侦听接口…

ubuntu 14 中tomcat的开机启动设置

开机自启动,将要执行的语句写入/etc/rc.local. #!/bin/sh -e # # rc.local # # This script is executed at the end of each multiuser runlevel. # Make sure that the script will "exit 0" on success or any other # value on error. # # In order to enable or disable this…

从KRE到XRE：ASP.NET 5中正在消失的那些K

前几天写了篇博客ASP.NET 5中的那些K,刚把ASP.NET 5中的那些K搞明白了些,昨天发现微软正在让那些K消失. 首先是在 KRuntime 的git日志中发现的: * Runtime renaming (2015-1-17) - Rename klr to dotnet - Support both DOTNET_ and KRE_ prefixed env vars - Simplify dotnet usage in kpm - Change HelloWorld tests to…