Hadoop- Hadoop运维小计】的更多相关文章

如果是新添加一个节点,需要执行以下步骤: 首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件. 然后登录新的从节点,执行以下命令: $ cd Hadoop_path $ bin/hadoop-daemon.sh start datanode $ bin/hadoop-daemon.sh start tasktracker 然后就可以在master机器上运行balancer,执行负载均衡 $bin/hadoop balancer 查看hadoop使用情况 b…
  codyl 2016-01-26 00:53:00 浏览385 评论0 负载均衡 转自 运维小知识之nginx---nginx配置Jboss集群负载均衡-博客-云栖社区-阿里云https://yq.aliyun.com/articles/17925 运维小知识之nginx---nginx配置Jboss集群负载均衡 背景 紧接着上一篇博客<运维小知识---CentOS6.5安装nginx配置nginx sticky>安装完成之后剩下的工作就是配置了,其实如果我们想要去做负载均衡session…
日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop-daemon.sh start|stop datanode/namenode/journalnode/zkfc yarn-daemon.sh start|stop nodemanager/resourcemanager 检查进程是否完成关闭:…
nn1 崩溃之后,nn2变为active,但是nn1日志中有异常,处于standby状态的,无法响应读的操作 最后查出原因是因为fensing的问题.…
转自:https://www.91ri.org/12470.html ss是Socket Statistics的缩写. 顾名思义,ss命令可以用来获取socket统计信息,它可以显示和netstat类似的内容.但ss的优势在于它能够显示更多更详细的有关TCP和连接状态的信息,而且比netstat更快速更高效. [和netstat说再见的原因] 当服务器的socket连接数量变得非常大时,无论是使用netstat命令还是直接cat /proc/net/tcp,执行速度都会很慢.可能你不会有切身的感…
首先两台服务器可以无密码登录(这个方式比较简单,当然安全系数会降低) #ssh-keygen -t rsa #生成密钥发送给远程服务器上 #ssh-copy-id ~/root/id_rsa.pub user@host 这样ssh的时候就不用输入密码了.对于crontab这种定时自动运行的任务来说还是比较方便的. 现在就是写shell备份sql到远程服务器的脚本: #!/bin/sh DB_NAME1="" DB_USER="" DB_PASS="&quo…
自己日常用到的命令稍微备份一下: 版本确认 CentOS / RedHat Enterprise cat /etc/redhat-release Ubuntu cat /etc/lsb-release Debian cat /etc/debian_version 进程查询 ps -ef 进程内存查询:可以检测出那些进程占用内存多且时间长 top -u 用户名 硬盘使用率查询: df -P 显示调整:df -P | grep -Ev 'Filesystem' | sed 's/  */,/g' |…
以下实验均在Linux上进行 1.一秒钟启动一个下载服务器 python版本 python2:  #python -m SimpleHTTPServer Serving HTTP on 0.0.0.0 port 8000 ... http://192.168.184.140:8000/    输入IP+端口即可 python3:    #python -m http.server 工作原理:启动了一个python内置的web服务器. 注意:在浏览器输入IP+端口前,系统当前路径应该是下载文件的路…
[From] https://blog.csdn.net/fenglailea/article/details/51810977 ss是Socket Statistics的缩写. 顾名思义,ss命令可以用来获取socket统计信息,它可以显示和netstat类似的内容.但ss的优势在于它能够显示更多更详细的有关TCP和连接状态的信息,而且比netstat更快速更高效. [和netstat说再见的原因] 当服务器的socket连接数量变得非常大时,无论是使用netstat命令还是直接cat /pr…
前言 上一篇简单介绍了Consul,并使用开发模式(dev)进行流程演示,但在实际开发中需要考虑Consul的高可用和操作安全性,所以接着来聊聊集群和ACL的相关配置,涉及到的命令会在环境搭建过程中详细介绍. 正文 关于集群,第一反应就是多搞几台机器(或者容器等),将其关联在一块,提供功能即可:在搭建集群环境之前,需要对几个角色进行熟悉,因为在Consul中,它们至关重要.见下图(以一个数据中心为例): 数据中心(DataCenter):Consul运行的节点集连接在一起称为数据中心:在数据中心…