一、概述

Alluxio, formerly Tachyon, enables any application to interact with any data from any storage system at memory speed.
From http://www.alluxio.org/

Alluxio,原名为 Tachyon,使任何应用以内存级速度进行文件系统上的数据交换。

二、安装与配置

2.1 解压

tar -xzf alluxio-1.4.0-bin.tar.gz
cd alluxio-1.4.0

2.2 配置

从模板文件中创建 conf/alluxio-env.sh ,也可通过命令配置:

./bin/alluxio bootstrapConf localhost

三、运行

3.1 单机启动 Alluxio

3.1.1 格式化

格式化 Alluxio 为启动 Alluxio 做准备。如下命令会格式化Alluxio的日志和worker存储目录,以便接下来启动master和worker。

./bin/alluxio format

3.1.2 本地启动

Alluxio 默认配置成在 localhost 启动 master 和 worker 。使用如下命令在 localhost 启动 Alluxio:

./bin/alluxio-start.sh local

3.1.3 验证启动

http://localhost:19999 --》 查看 Alluxio master 的运行状态
http://localhost:30000 --》 查看 Alluxio worker 的运行状态

或者,在运行命令 jps,查看当前 java 进程中 AlluxioMaster、AlluxioWorker 信息。

3.2 集群运行 Alluxio

3.2.1 集群内节点的配置

为使集群的 master 与 worker 方便沟通,需要对 ssh 进行配置。

首先,在将要运行 master 的节点上通过如下命令生成相应公私钥。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

其次,将此处生成的 authorized_keys 分发到集群的 workers 中,放在 worker的 ~/.ssh/authorized_keys

然后,修改好所有节点的 /etc/hosts 文件,为各个节点取别名,方便沟通。

再者,修改 master 的配置文件 ./conf/alluxio-env.sh ,有三个关键点:

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 # java 的安装目录
export ALLUXIO_HOME=/root/alluxio # alluxio 的安装目录
export ALLUXIO_MASTER_HOSTNAME=master # 我的 host 文件中有一条记录,“[master节点的ip] master”记录

随后,修改 master 的配置文件 ./conf/workers :(workers 的别名,需要在 host 文件上配置,才能被解析)

最后,将 master 节点上的配置分发到各个 worker 节点上。使用如下命令

./bin/alluxio copyDir

./bin/alluxio copyDir ./conf/workers 即可将该文件分发到各个节点的相同目录下。需要保持一致的文件有:./conf/workers全部配置,./conf/alluxio-env.sh中的部分配置

更一般的,你甚至可以无需在 worker 节点上安装 alluxio ,而是通过 ./bin/alluxio copyDir . ,将本节点上的 alluxio 目录分发到各个节点上。

3.2.2 在集群内运行

上述配置完成后,即可在 master 上通过命令 ./bin/alluxio format./bin/alluxio-start.sh all Mount 在集群内运行 Alluxio。

同样的,你可以通过 jps 去检查运行状态。

  • master 上:出现 proxy、master
  • worker 上:出现 proxy、worker

使用./bin/alluxio-start.sh all 停止运行 Alluxio。

3.2.3 错误

在集群内运行的时候,可能会出现 worker 启动不了的问题。表现为 master 上的 AlluxioMaster、AlluxioProxy 正在运行,且通过 stop 命令无法关闭。

解决:我是通过查找到这两个命令运行的父进程 id ,然后将父进程杀掉,再按 3.2.2 的命令。

3.3 文件系统操作

相关命令见:http://www.alluxio.org/docs/1.4/cn/Command-Line-Interface.html

Alluxio 安装与配置的更多相关文章

  1. JDK安装与配置

    JDK安装与配置 一.下载 JDK是ORACLE提供免费下载使用的,官网地址:https://www.oracle.com/index.html 一般选择Java SE版本即可,企业版的选择Java ...

  2. Node.js 教程 01 - 简介、安装及配置

    系列目录: Node.js 教程 01 - 简介.安装及配置 Node.js 教程 02 - 经典的Hello World Node.js 教程 03 - 创建HTTP服务器 Node.js 教程 0 ...

  3. 烂泥:redis3.2.3安装与配置

    本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 前一段时间写过一篇codis集群的文章,写那篇文章主要是因为当时的项目不支持redis自 ...

  4. mysql源码包手动安装、配置以及测试(亲测可行)

    笔记编者:小波/qq463431476博客首页:http://www.cnblogs.com/xiaobo-Linux/ 记下这篇mysql笔记,望日后有用! redhat6采用centos yum源 ...

  5. 环境搭建系列-系统安装之centos 6.5安装与配置

    按照国际惯例,系列目录先奉上: 系列一:系统安装之centos 6.5安装与配置 系列二:准备工作之Java环境安装 系列三:数据为先之MySQL读写集群搭建 系列四:谈分布式之RabbitMQ集群搭 ...

  6. ZooKeeper安装与配置

    一. 单机安装.配置: 1. 下载zookeeper二进制安装包下载地址:http://apache.dataguru.cn/zookeeper/zookeeper-3.4.3/zookeeper-3 ...

  7. mac 下JDK 与 tomcat 的安装与配置

    一.Mac下JDK的安装 1.先检测Mac是否已经安装过JDK,在终端中输入java 或者 javac 显示说明,表明已经安装过JDK,JDK版本查询终端键入java -version,终端会返回JD ...

  8. 烂泥:zabbix3.0安装与配置

    本文由ilanniweb提供友情赞助,首发于烂泥行天下 想要获得更多的文章,可以关注我的微信ilanniweb 这个月又快过完了,最近也比较忙,没时间写文章,今天挤点时间把zabbix3.0安装与配置 ...

  9. Jenkins入门系列之——02第二章 Jenkins安装与配置

    2014-12-08:已不再担任SCM和CI的职位,Jenkins的文章如无必要不会再维护. 写的我想吐血,累死了. 网页看着不爽的,自己去下载PDF.有问题请留言! Jenkins入门系列之——03 ...

随机推荐

  1. C++ 类的多态五(多态的语法本质分析)

    //多态的语法本质分析 #include<iostream> using namespace std; /* 三种易混淆的多态场景 */ class Point{ public: Poin ...

  2. JAVA源文件中是否可以包括多个类,有什么限制

    JAVA源文件中是否可以包括多个类,有什么限制 解答:一个java源文件中可以包含多个类,每个源文件中至多有一个public类,如果有的话,那么源文件的名字必须与之相同.如果源文件中没有public类 ...

  3. js用计时器加载大量dom

    改进前: <table><tbody></tbody></table> var tbody=document.getElementsByTagName( ...

  4. Img src用base64数据

    <img src='data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDAAMCAgICAgMCAgIDAwMDBAYEBAQEBAgG ...

  5. 努比亚Z18mini多点对焦

    25点对焦 分为了中心对焦.中间对焦.边缘对焦三个区域 [参考文献] 手机上感受单反的“多点对焦”努比亚Z18mini给你想象 https://baijiahao.baidu.com/s?id=160 ...

  6. poj 2987(最大权闭合图+割边最少)

    题目链接:http://poj.org/problem?id=2987 思路:标准的最大权闭合图,构图:从源点s向每个正收益点连边,容量为收益:从每个负收益点向汇点t连边,容量为收益的相反数:对于i是 ...

  7. 一个最简单的JStorm例子

    最简单的JStorm例子分为以下几个步骤: 1.生成Topology Map conf = new HashMp(); //topology所有自定义的配置均放入这个Map TopologyBuild ...

  8. iOS 7 计算字符串高度

    - (float)width:(NSString *)str font:(UIFont *)font { NSDictionary *attribute = @{NSFontAttributeName ...

  9. 巨蟒python全栈开发数据库攻略1:基础攻略

    1.什么是数据库? 2.数据库分类 3.数据库简单介绍 4.安装数据库 5.修改root密码 6.修改字符集 7.sql介绍 8.简单sql操作

  10. Powershell Get Domain Group的几种方法

    Group常见属性介绍: 一.Get-ADGroup获取群组(如下例循环获取群组的发送权限) #群组的发送权限info $groups=Get-ADGroup -filter * -SearchSco ...