[Unit] Description=Datanode After=syslog.target network.target auditd.service sshd.service datanode_precheck.service Requires=datanode_precheck.service [Service] User=hdfs Group=hdfs Type=forking Slice=hadoop.slice LimitNOFILE=524288 Environment=CLAS…

记录Linux下安装elasticSearch时遇到的一些错误 http://blog.sina.com.cn/s/blog_c90ce4e001032f7w.html (2016-11-02 22:03:11) 转载▼ 标签: elasticsearch 分类: 程序错误集锦   本人安装ElasticSearch的步骤完全参照官方文档来进行,在此仅记录下安装过程遇到的一些错误以及解决的办法. 错误一 cannot allocate memory 解决方案: 虚拟机内存不够,关掉centos,…

通过登入IP记录Linux所有用户登录所操作的日志 对于Linux用户操作记录一般通过命令history来查看历史记录,但是如果在由于误操作而删除了重要的数据的情况下,history命令就不会有什么作用了.那么依然要存有历史操作记录应该如何来实现呢?其实我们可以通过登陆IP地址来记录所有用户登录所操作的历史操作!具体操作就是在/etc/profile配置文件的末尾加入以下脚本代码来实现: # History USER=`whoami` USER_IP=`who -u am i >/dev/nul…

在复现tty的死锁问题的时候,文洋兄使用了如下的方式: #include <fcntl.h> #include <unistd.h> #include <stdio.h> #define TIOCVHANGUP 0x5437 int main(int argc,char* argv[]) { int fd; ) { printf("error,you should input tty as a parameter\r\n"); ; } fd = op…

初学hadoop之linux系统操作的hdfs的常用命令 Hadoop之HDFS文件操作 Hadoop fs命令详解 官网doc sudo su - hdfs:免密,以hdfs账户登陆.可操作hdfs文件 logout sudo su - root hadoop fs -ls / rm -rf  目录名 sh dvm_auto_hive_ci_test.sh 2017-11-22 2017-11-22 criteo hadoop fs -get  /report/dvm_test/script/…

如何记录linux终端下的操作日志 在linux终端下,为方便检查操作中可能出现的错误,以及避免屏幕滚屏的限制,我们可以把操作日志记录下来.常用的工具有 screen,script,以及tee等,通过yum install安装. . screen — screen manager with VT100/ANSI terminal emulatio > screen -L 这里是我们的操作 > exit 结束后会生成一个类似这样的文件名: screenlog. > more screenl…

Hadoop参数汇总 linux参数 以下参数最好优化一下: 文件描述符ulimit -n 用户最大进程 nproc (hbase需要 hbse book) 关闭swap分区 设置合理的预读取缓冲区 Linux的内核的IO调度器 JVM参数 Hadoop参数大全 要配置文件: core hdfs yarn mapred 重要性表示如下: 重要 一般 不重要 core-default.xml hadoop.common.configuration.version 配置文件的版本. hadoop.t…

Hadoop 存档 每个文件均按块存储,每个块的元数据存储在namenode的内存中,因此hadoop存储小文件会非常低效.因为大量的小文件会耗尽namenode中的大部分内存.但注意,存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多.例如,一个1MB的文件以大小为128MB的块存储,使用的是1MB的磁盘空间,而不是128MB. Hadoop存档文件或HAR文件,是一个更高效的文件存档工具,它将文件存入HDFS块,在减少namenode内存使用的同时,允许对文件进行…

1.Active NameNode hang死,未自动切换 #登录当前hang死 Active namenode主机,停止Namenode,触发自动切换.hadoop-daemon.sh stop namenode#如果自动切换未触发,转手动切换[可选]hdfs haadmin -ns bdpfinance - transitionToActive --forceactive nn2 --forcemanual*假设原active节点为nn1 2.误删 1)确认删表语句或命令拿到用户的删表语句如…

1.安装salt-minion sed -i 's/^#//g' /etc/yum.repos.d/centos7.4.repo sed -i 's/enabled=0/enabled=1/g' /etc/yum.repos.d/centos7.4.repo rm -rf /etc/salt/pki/minion/minion_master.pub systemctl stop firewalld.service systemctl disable firewalld mshn=cnsz17pl…