Tachyon的配置

  • Tachyon环境变量

  • Tachyon通用配置

  • TachyonMaster配置

  • TachyonWorker配置

  • 用户配置

1 Tachyon的配置

  这里以0.5.0版本为例,介绍Tachyon中可配置参数的具体含义。Tachyon中的可配置项分为两类,一种是系统环境变量,用于在不同脚本间共享配置信息;另一种是程序运行参数,通过-D选项传入运行Tachyon的JVM中。程序运行参数又分为:

  • 通用配置(Common Configuration)
  • TachyonMaster配置(Master Configuration)
  • TachyonWorker配置(Worker Configuration)
  • 用户配置(User Configuration)

要修改或添加这些可配置项,可修改conf/tachyon-env.sh文件。

1.1 Tachyon环境变量

配置项

配置项说明

JAVA_HOME

系统中JDK的安装路径

TACHYON_RAM_FOLDER

配置ramfs挂载的文件目录,默认为/mnt/ramdisk

TACHYON_MASTER_ADDRESS

启动TachyonMaster的地址,默认为localhost,所以在单机模式下不用更改

TACHYON_UNDERFS_ADDRESS

Tachyon使用的底层文件系统的路径,本地文件系统(单机模式下),如"/tmp/tachyon",或HDFS,如"hdfs://ip:port"

TACHYON_WORKER_MEMORY_SIZE

每个TachyonWorker使用的RamFS大小,默认为1GB

1.2 Tachyon通用配置

配置项

配置项说明

tachyon.underfs.address

Tachyon在底层文件系统的的路径,默认为$TACHYON_UNDERFS_ADDRESS

tachyon.home

Tachyon的安装路径,启动Tachyon时为当前 tachyon 文件夹的路径

tachyon.data.folder

Tachyon数据在底层文件系统的存放路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/data

tachyon.workers.folder

TachyonWorkers在底层文件系统的工作路径,默认为$TACHYON_UNDERFS_ADDRESS/tmp/tachyon/workers

tachyon.usezookeeper

TachyonMaster是否使用ZooKeeper容错,默认为false

tachyon.zookeeper.adress

如果启用,ZooKeeper的地址

tachyon.zookeeper.election.path

如果启用,Zookeeper的election文件夹路径,默认为/election

tachyon.zookeeper.leader.path

如果启用,Zookeeper的leader文件夹路径,默认为/leader

tachyon.underfs.hdfs.impl

实现HDFS的类,默认org.apache.hadoop.hdfs,DistributedFileSystem

tachyon.max.columns

Tachyon中RawTable允许的最大列数,默认为1000

tachyon.table.metadata.byte

Tachyon中RawTable元数据允许存储的最大字节数,默认为5242880,即5MB

tachyon.underfs.glusterfs.impl

如果使用GlusterFS为底层文件系统,实现GlusterFS的类,默认为org.apache.hadoop.fs.glusterfs.GlusterFileSystem

tachyon.underfs.glusterfs.mounts

如果使用GlusterFS为底层文件系统,GlusterFS卷的挂载目录

tachyon.underfs.glusterfs.volumes

如果使用GlusterFS为底层文件系统,GlusterFS的卷名

tachyon.underfs.glusterfs.mapred.system.dir

如果使用GlusterFS为底层文件系统,GlusterFS用于存放MapReduce中间数据的可选子目录,默认为glusterfs:///mapred/system

tachyon.web.resources

Tachyon WebUI可用的资源,默认为$tachyon.home/core/src/main/webapp

tachyon.async.enabled

是否启用异步模式,默认为false

tachyon.underfs.hadoop.prefixes

底层使用hadoop文件系统的前缀列表,默认为"hdfs://","s3://","s3n://","glusterfs:///"

tachyon.test.mode

是否启用测试模式,默认为false

tachyon.master.retry

连接重试次数,默认为29

1.3 TachyonMaster配置

配置项

配置项说明

tachyon.master.worker.timeout.ms

TachyonMaster和TachyonWorker心跳包失效时长,默认为60000ms

tachyon.master.journal.folder

TachyonMaster的journal日志存放路径,默认为$TACHYON_HOME/journal/

tachyon.master.hostname

TachyonMaster的主机名

tachyon.master.port

TachyonMaster的远程调用通讯端口,默认为19998

tachyon.master.web.port

TachyonMaster的WebUI端口,默认为19999

tachyon.master.web.threads

TachyonMaster的WebUI线程数,默认为9

tachyon.master.whitelist

可缓存的路径前缀列表,列表以逗号隔开,表示该路径下的文件能够被缓存至内存,默认为/,即根目录

tachyon.master.temporary.folder

TachyonMaster的临时文件夹,默认为/tmp

tachyon.master.heartbeat.interval.ms

TachyonMaster心跳包间隔时间,默认为1000ms

tachyon.master.selector.threads

TachyonMaster的thrift监听线程数,默认为3

tachyon.master.queue.size.per.selector

TachyonMaster的thrift消息队列长度,默认为3000

tachyon.master.server.threads

TachyonMaster节点的thrift服务线程数,默认为CPU核数的2倍

tachyon.master.pinlist

常驻内存的文件列表,以逗号隔开,表示该路径下的文件不会从内存中剔除,默认为null

1.4 TachyonWorker配置

配置项

配置项说明

tachyon.worker.data.folder

TachyonWorker在RamFS中的工作路径,默认为$TACHYON_RAM_FOLDER/tachyonworker/

tachyon.work.port

TachyonWorker的远程调用通讯端口,默认为29998

tachyon.worker.data.port

TachyonWorker的数据传输服务的端口,默认为29999

tachyon.worker.memory.size

TachyonWorker所使用的RamFS大小,默认为$TACHYON_WORKER_MEMORY_SIZE

tachyon.worker.heartbeat.timeout.ms

TachyonWorker心跳包失效的时长,默认为10000ms

tachyon.worker.to.master.heartbeat.interval.ms

TachyonWorker向TachyonMaster发送心跳包的时间间隔,默认为1000ms

tachyon.worker.selector.threads

TachyonWorker的thrift监听线程数,默认为3

tachyon.worker.queue.size.per.selector

TachyonWorker的thrift消息队列长度,默认为3000

tachyon.worker.server.threads

TachyonWorker的thrift服务线程数,默认为CPU核数

tachyon.worker.user.timeout.ms

TachyonWorker和用户之间心跳包失效时长,默认为10000ms

tachyon.worker.checkpoint.threads

TachyonWorker的checkpoint线程数,默认为1

tachyon.worker.per.thread.checkpoint.cap.mb.sec

TachyonWorker的checkpoint的速度,默认为1000MB/s

tachyon.worker.network.type

TachyonWorker在传输文件数据时使用的传输方式,默认为NETTY,可选为NIO或NETTY

1.5 用户配置

配置项

配置项说明

tachyon.user.failed.space.request.limits

用户向文件系统请求空间失败时的最大重试次数,默认为3

tachyon.user.quota.unit.bytes

客用户一次向TachyonWorker请求的最少字节数,默认为8388608,即8MB

tachyon.user.file.buffer.byte

用户读写文件时的缓存区大小,默认为1048576,即1MB

tachyon.user.default.block.size.byte

用户创建文件时的默认块大小,默认为1073741824,即1GB

tachyon.user.remote.read.buffer.size.byte

用户读远程文件时的缓冲区大小,默认为1048576,即1MB

tachyon.user.heartbeat.interval.ms

用户心跳包时间间隔,默认为1000ms

tachyon.user.file.writetype.default

用户在使用tachyon.hadoop.TFS时的默认写类型,默认为CACHE_THROUGH

Tachyon的配置详解的更多相关文章

  1. Log4j配置详解(转)

    一.Log4j简介 Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局).这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出.综合使 ...

  2. logback 常用配置详解<appender>

    logback 常用配置详解 <appender> <appender>: <appender>是<configuration>的子节点,是负责写日志的 ...

  3. [转]阿里巴巴数据库连接池 druid配置详解

    一.背景 java程序很大一部分要操作数据库,为了提高性能操作数据库的时候,又不得不使用数据库连接池.数据库连接池有很多选择,c3p.dhcp.proxool等,druid作为一名后起之秀,凭借其出色 ...

  4. libCURL开源库在VS2010环境下编译安装,配置详解

    libCURL开源库在VS2010环境下编译安装,配置详解 转自:http://my.oschina.net/u/1420791/blog/198247 http://blog.csdn.net/su ...

  5. logback配置详解3<filter>

    logback 常用配置详解(三) <filter> <filter>: 过滤器,执行一个过滤器会有返回个枚举值,即DENY,NEUTRAL,ACCEPT其中之一.返回DENY ...

  6. logback配置详解2<appender>

    logback 常用配置详解(二) <appender> <appender>: <appender>是<configuration>的子节点,是负责写 ...

  7. log4j.properties配置详解

    1.Loggers Loggers组件在此系统中被分为五个级别:DEBUG.INFO.WARN.ERROR和FATAL.这五个级别是有顺序的,DEBUG < INFO < WARN < ...

  8. Log4J日志配置详解

    一.Log4j简介 Log4j有三个主要的组件:Loggers(记录器),Appenders (输出源)和Layouts(布局).这里可简单理解为日志类别,日志要输出的地方和日志以何种形式输出.综合使 ...

  9. Windows下Nginx Virtual Host多站点配置详解

    Windows下Nginx Virtual Host多站点配置详解 此教程适用于Windows系统已经配置好Nginx+Php+Mysql环境的同学. 如果您还未搭建WNMP环境,请查看 window ...

随机推荐

  1. js确认框confirm()用法实例详解

    先为大家介绍javascript确认框的三种使用方法,具体内容如下 第一种方法:挺好用的,确认以后才能打开下载地址页面.原理也比较清晰.主要用于删除单条信息确认. ? 1 2 3 4 5 6 7 8 ...

  2. Goldengate参数规范

    1.    文档综述 1.1.  文档说明 本文档规定了在实施Goldengate时,各个进程需要配置的参数. 该参数模板适合于Goldengate11.2.1.0版本: **注:本文档为Golden ...

  3. Vue总结(三)

    Vue 实例还暴露了一些有用的实例属性与方法.它们都有前缀 $,以便与用户定义的属性区分开来. var App = new Vue({ el: "#root", data: { m ...

  4. navigator.mediaDevices.getUserMedia

    navigator.mediaDevices.getUserMedia: 作用:为用户提供直接连接摄像头.麦克风的硬件设备的接口 语法: navigator.mediaDevices.getUserM ...

  5. hostid---打印当前主机的十六进制数字标识

    hostid命令用于打印当前主机的十六进制数字标识.是主机的唯一标识,是被用来限时软件的使用权限,不可改变. hostid命令查找到的值是取hostname对应的ip地址.然后把ip地址转换成hex, ...

  6. CMDB学习之六 --客户端请求测试,服务端api优化

    客户端使用agent 请求测试,agent使用的POST 请求,使用requests模块 本地采集,汇报服务端 #!/usr/bin/env python # -*- coding:utf-8 -*- ...

  7. 紫书 例题 10-25 UVa 1363(找规律)

    可以发现余数是成一段一段的等差数列的. 在商数同的时候,余数是成首项为第一个数的余数,公差 为商数的等差数列. 利用这个性质求解即可. #include<cstdio> #include& ...

  8. 紫书 例题 10-20 UVa 10900(连续概率)

    分两类,当前第i题答或不答 如果不回答的话最大期望奖金为2的i次方 如果回答的话等于p* 下一道题的最大期望奖金 那么显然我们要取最大值 所以就要分类讨论 我们设答对i题后的最大期望奖金为d[i] 显 ...

  9. .Net中字典的使用

    /// <summary> /// 获取用户市信息 /// </summary> /// <param name="CustomerId">&l ...

  10. Controller接口控制器

    1.Controller简介 Controller控制器,是MVC中的部分C,为什么是部分呢?因为此处的控制器主要负责功能处理部分: 1.收集.验证请求参数并绑定到命令对象: 2.将命令对象交给业务对 ...