Tachyon的配置详解
Tachyon的配置
Tachyon环境变量
Tachyon通用配置
TachyonMaster配置
TachyonWorker配置
用户配置
1 Tachyon的配置
这里以0.5.0版本为例,介绍Tachyon中可配置参数的具体含义。Tachyon中的可配置项分为两类,一种是系统环境变量,用于在不同脚本间共享配置信息;另一种是程序运行参数,通过-D选项传入运行Tachyon的JVM中。程序运行参数又分为:
- 通用配置(Common Configuration)
- TachyonMaster配置(Master Configuration)
- TachyonWorker配置(Worker Configuration)
- 用户配置(User Configuration)
要修改或添加这些可配置项,可修改conf/tachyon-env.sh文件。
1.1 Tachyon环境变量
配置项 |
配置项说明 |
JAVA_HOME |
系统中JDK的安装路径 |
TACHYON_RAM_FOLDER |
配置ramfs挂载的文件目录,默认为/mnt/ramdisk |
TACHYON_MASTER_ADDRESS |
启动TachyonMaster的地址,默认为localhost,所以在单机模式下不用更改 |
TACHYON_UNDERFS_ADDRESS |
Tachyon使用的底层文件系统的路径,本地文件系统(单机模式下),如"/tmp/tachyon",或HDFS,如"hdfs://ip:port" |
TACHYON_WORKER_MEMORY_SIZE |
每个TachyonWorker使用的RamFS大小,默认为1GB |
1.2 Tachyon通用配置
配置项 |
配置项说明 |
tachyon.underfs.address |
Tachyon在底层文件系统的的路径,默认为$TACHYON_UNDERFS_ADDRESS |
tachyon.home |
Tachyon的安装路径,启动Tachyon时为当前 tachyon 文件夹的路径 |
tachyon.data.folder |
Tachyon数据在底层文件系统的存放路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/data |
tachyon.workers.folder |
TachyonWorkers在底层文件系统的工作路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/workers |
tachyon.usezookeeper |
TachyonMaster是否使用ZooKeeper容错,默认为false |
tachyon.zookeeper.adress |
如果启用,ZooKeeper的地址 |
tachyon.zookeeper.election.path |
如果启用,Zookeeper的election文件夹路径,默认为/election |
tachyon.zookeeper.leader.path |
如果启用,Zookeeper的leader文件夹路径,默认为/leader |
tachyon.underfs.hdfs.impl |
实现HDFS的类,默认org.apache.hadoop.hdfs,DistributedFileSystem |
tachyon.max.columns |
Tachyon中RawTable允许的最大列数,默认为1000 |
tachyon.table.metadata.byte |
Tachyon中RawTable元数据允许存储的最大字节数,默认为5242880,即5MB |
tachyon.underfs.glusterfs.impl |
如果使用GlusterFS为底层文件系统,实现GlusterFS的类,默认为org.apache.hadoop.fs.glusterfs.GlusterFileSystem |
tachyon.underfs.glusterfs.mounts |
如果使用GlusterFS为底层文件系统,GlusterFS卷的挂载目录 |
tachyon.underfs.glusterfs.volumes |
如果使用GlusterFS为底层文件系统,GlusterFS的卷名 |
tachyon.underfs.glusterfs.mapred.system.dir |
如果使用GlusterFS为底层文件系统,GlusterFS用于存放MapReduce中间数据的可选子目录,默认为glusterfs:///mapred/system |
tachyon.web.resources |
Tachyon WebUI可用的资源,默认为$tachyon.home/core/src/main/webapp |
tachyon.async.enabled |
是否启用异步模式,默认为false |
tachyon.underfs.hadoop.prefixes |
底层使用hadoop文件系统的前缀列表,默认为"hdfs://","s3://","s3n://","glusterfs:///" |
tachyon.test.mode |
是否启用测试模式,默认为false |
tachyon.master.retry |
连接重试次数,默认为29 |
1.3 TachyonMaster配置
配置项 |
配置项说明 |
tachyon.master.worker.timeout.ms |
TachyonMaster和TachyonWorker心跳包失效时长,默认为60000ms |
tachyon.master.journal.folder |
TachyonMaster的journal日志存放路径,默认为$TACHYON_HOME/journal/ |
tachyon.master.hostname |
TachyonMaster的主机名 |
tachyon.master.port |
TachyonMaster的远程调用通讯端口,默认为19998 |
tachyon.master.web.port |
TachyonMaster的WebUI端口,默认为19999 |
tachyon.master.web.threads |
TachyonMaster的WebUI线程数,默认为9 |
tachyon.master.whitelist |
可缓存的路径前缀列表,列表以逗号隔开,表示该路径下的文件能够被缓存至内存,默认为/,即根目录 |
tachyon.master.temporary.folder |
TachyonMaster的临时文件夹,默认为/tmp |
tachyon.master.heartbeat.interval.ms |
TachyonMaster心跳包间隔时间,默认为1000ms |
tachyon.master.selector.threads |
TachyonMaster的thrift监听线程数,默认为3 |
tachyon.master.queue.size.per.selector |
TachyonMaster的thrift消息队列长度,默认为3000 |
tachyon.master.server.threads |
TachyonMaster节点的thrift服务线程数,默认为CPU核数的2倍 |
tachyon.master.pinlist |
常驻内存的文件列表,以逗号隔开,表示该路径下的文件不会从内存中剔除,默认为null |
1.4 TachyonWorker配置
配置项 |
配置项说明 |
tachyon.worker.data.folder |
TachyonWorker在RamFS中的工作路径,默认为$TACHYON_RAM_FOLDER/tachyonworker/ |
tachyon.work.port |
TachyonWorker的远程调用通讯端口,默认为29998 |
tachyon.worker.data.port |
TachyonWorker的数据传输服务的端口,默认为29999 |
tachyon.worker.memory.size |
TachyonWorker所使用的RamFS大小,默认为$TACHYON_WORKER_MEMORY_SIZE |
tachyon.worker.heartbeat.timeout.ms |
TachyonWorker心跳包失效的时长,默认为10000ms |
tachyon.worker.to.master.heartbeat.interval.ms |
TachyonWorker向TachyonMaster发送心跳包的时间间隔,默认为1000ms |
tachyon.worker.selector.threads |
TachyonWorker的thrift监听线程数,默认为3 |
tachyon.worker.queue.size.per.selector |
TachyonWorker的thrift消息队列长度,默认为3000 |
tachyon.worker.server.threads |
TachyonWorker的thrift服务线程数,默认为CPU核数 |
tachyon.worker.user.timeout.ms |
TachyonWorker和用户之间心跳包失效时长,默认为10000ms |
tachyon.worker.checkpoint.threads |
TachyonWorker的checkpoint线程数,默认为1 |
tachyon.worker.per.thread.checkpoint.cap.mb.sec |
TachyonWorker的checkpoint的速度,默认为1000MB/s |
tachyon.worker.network.type |
TachyonWorker在传输文件数据时使用的传输方式,默认为NETTY,可选为NIO或NETTY |
1.5 用户配置
配置项 |
配置项说明 |
tachyon.user.failed.space.request.limits |
用户向文件系统请求空间失败时的最大重试次数,默认为3 |
tachyon.user.quota.unit.bytes |
客用户一次向TachyonWorker请求的最少字节数,默认为8388608,即8MB |
tachyon.user.file.buffer.byte |
用户读写文件时的缓存区大小,默认为1048576,即1MB |
tachyon.user.default.block.size.byte |
用户创建文件时的默认块大小,默认为1073741824,即1GB |
tachyon.user.remote.read.buffer.size.byte |
用户读远程文件时的缓冲区大小,默认为1048576,即1MB |
tachyon.user.heartbeat.interval.ms |
用户心跳包时间间隔,默认为1000ms |
tachyon.user.file.writetype.default |
用户在使用tachyon.hadoop.TFS时的默认写类型,默认为CACHE_THROUGH |
Tachyon的配置详解的更多相关文章
- Log4j配置详解(转)
一.Log4j简介 Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局).这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出.综合使 ...
- logback 常用配置详解<appender>
logback 常用配置详解 <appender> <appender>: <appender>是<configuration>的子节点,是负责写日志的 ...
- [转]阿里巴巴数据库连接池 druid配置详解
一.背景 java程序很大一部分要操作数据库,为了提高性能操作数据库的时候,又不得不使用数据库连接池.数据库连接池有很多选择,c3p.dhcp.proxool等,druid作为一名后起之秀,凭借其出色 ...
- libCURL开源库在VS2010环境下编译安装,配置详解
libCURL开源库在VS2010环境下编译安装,配置详解 转自:http://my.oschina.net/u/1420791/blog/198247 http://blog.csdn.net/su ...
- logback配置详解3<filter>
logback 常用配置详解(三) <filter> <filter>: 过滤器,执行一个过滤器会有返回个枚举值,即DENY,NEUTRAL,ACCEPT其中之一.返回DENY ...
- logback配置详解2<appender>
logback 常用配置详解(二) <appender> <appender>: <appender>是<configuration>的子节点,是负责写 ...
- log4j.properties配置详解
1.Loggers Loggers组件在此系统中被分为五个级别:DEBUG.INFO.WARN.ERROR和FATAL.这五个级别是有顺序的,DEBUG < INFO < WARN < ...
- Log4J日志配置详解
一.Log4j简介 Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局).这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出.综合使 ...
- Windows下Nginx Virtual Host多站点配置详解
Windows下Nginx Virtual Host多站点配置详解 此教程适用于Windows系统已经配置好Nginx+Php+Mysql环境的同学. 如果您还未搭建WNMP环境,请查看 window ...
随机推荐
- AngularJs轻松入门源码托管至Github
Github是全球最大的代码托管平台,笔者玩Github有一段时间了,有很多开源项目的源码都托管在Github上,笔者在上面也发现了不少优秀的开源代码. 每次写完博文想在最后附上文章相关的代码,但是由 ...
- windows如何批量添加路由表
我大约有2000条路由,需要批量导入,如何才能快速导入,快速删除呢.如果直接用命令添加路由表的话感觉很慢. windows如何批量添加路由表 >> csharp这个答案描述的挺清楚的:ht ...
- MySQL5.6主从复制方案
MySQL5.6主从复制方案 1.主备服务器操作 环境:CentOS 6.3/6.4 最小化缺省安装,配置好网卡. 安装MySQL前,确认Internet连接正常,以便下载安装文件. # 新增用户组 ...
- 什么是Node.js?
Node.js是一个基于Chrome JavaScript运行时建立的平台, 用于方便地搭建响应速度快.易于扩展的网络应用.Node.js 使用事件驱动, 非阻塞I/O 模型而得以轻量和高效,非常适 ...
- session 存入 redis
<?php header('content-type:text/html;charset=utf-8'); /* * 更改 session 存储位置及存储方式. */ ini_set('sess ...
- 洛谷1073 NOIP2009 最优贸易
题目大意 C 国有 n 个大城市和 m 条道路,每条道路连接这 n 个城市中的某两个城市.任意两个城市之间最多只有一条道路直接相连.这 m 条道路中有一部分为单向通行的道路,一部分为双向通行的道路,双 ...
- HTML标签和文档结构
HTML标签与文档结构 HTML作为一门标记语言,是通过各种各样的标签来标记网页内容的.我们学习HTML主要就是学习的HTML标签. 那什么是标签呢? #1.在HTML中规定标签使用英文的的尖括号即` ...
- zabbix 使用自带模板监控mysql
1.这里可以采用zabbix自带的mysql模版,但是也需要在mysql服务器上准备获取mysql status的脚本chk_mysql.sh,zabbix通过调用这个脚本来获取mysql的运行信息. ...
- 【Codeforces Round #422 (Div. 2) D】My pretty girl Noora
[题目链接]:http://codeforces.com/contest/822/problem/D [题意] 有n个人参加选美比赛; 要求把这n个人分成若干个相同大小的组; 每个组内的人数是相同的; ...
- berkeley db储存URL队列的简单实现增、删、查
Berkeley DB(BDB)是一个高效的嵌入式数据库编程库,C语言.C++.Java.Perl.Python.Tcl以及其它非常多语言都有其相应的API. Berkeley DB能够保存随意 ...