1.      处理hadoop的namenode宕机 处理措施: 进入hadoop的bin目录,重启namenode服务 操作命令: cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode 2.      处理hadoop的jobtacker宕机 处理措施: 进入hadoop的bin目录,重启jobtacker服务 操作命令: cd path/to/hadoop/bin ./hadoop-daemon.sh start jobtracke…

http://slaytanic.blog.51cto.com/2057708/1038676 Hadoop运维记录系列(一) Hadoop运维记录系列(二) Hadoop运维记录系列(三) Hadoop运维记录系列(四) Hadoop运维记录系列(五) Hadoop运维记录系列(六) Hadoop运维记录系列(七) Hadoop运维记录系列(八) Hadoop运维记录系列(九) Hadoop运维记录系列(十) Hadoop运维记录系列(十一) Hadoop配置项整理(mapred-site.x…

Linux内存运维操作及常用命令 1.问题诊断 1.1 什么是 Linux 服务器 Load Average? 1.2如何查看 Linux 服务器负载? 1.3服务器负载高怎么办? 1.4如何查看服务器内存使用率? 1.5如何查看单个进程占用的内存大小? 1.6如何查看正在使用的服务和端口? 1.7如何查看服务器进程信息? 1.8如何停止进程? 1.9如何查找僵尸进程? 1.10为什么启动不了服务器端口? 2.Linux查看内存使用情况 2.1top 2.2ps命令 2.3pmap命令 2.4f…

简单记录几个hdfs的运维命令 //查看hdfs的状态,是否有missing block,corrupt block等,也可以看datanode的状态 hdfs dfsadmin -report //查看hdfs根目录下是否有文件处于missing,currupt状态,而且不是under replica的 hadoop fsck / | egrep -v '^\.+$' | grep -v eplica //查看某个文件中,包含的block hadoop fsck /path/to/corrup…

1.自动化运维--cloudera manager 2.手动运维 a.启动./start.all.sh,停止./stop-all.sh b.hdfs启动/停止:./start-dfs.sh   ./stop-dfs.sh c.启动单个:./hadoop-daemon.sh start/stop namenode ./hadoop-daemon.sh start/stop datanode/secondarynamenode/nodemanager d.增加DataNode 1)修改slaves文…

归档2015年在br做运维时常用的命令,主要梳理出log的过滤操作. 对于日志文本的处理,常见还是sed和awk,具体如下: 统计ip访问量: cat nginx.log |awk '{print $2,$11}' | awk ' {++S[$1]; V[$1]+=$2 } END {for(a in S) print a, S[a], V[a]}' |sort -nrk2 |head 222.93.28.28 132171 15367772663 115.168.84.186 130746 2…

背景 Redis作为目前全球最流行的KV存储,除了使用之外,还需要做好日常的运维工作.关于运维相关的工作,本文从以下方面进行介绍说明(Redis5.0以上): 内存方面 客户端连接方面 工具方面 说明 内存方面 说明:第一个值是memory stats提供,第二个值是info memory提供 服务内存相关(单位:字节) 消耗的最大峰值内存 peak.allocatedused_memory_peak 最大分配使用内存 total.allocated used_memory 启动时消耗的初始内存…

转:http://www.codeweblog.com/weblogic11g-%e5%b8%b8%e7%94%a8%e8%bf%90%e7%bb%b4%e6%93%8d%e4%bd%9c/ 希望这篇能把weblogic运维时经常遇到的问题.常用的配置汇总到一起. 1.配置jvm参数: 一般在domain启动过程中会看到以下启动的日志信息,如下图所示: 图中红色方框部分为启动weblogic domain的命令.其中包括了jvm参数以及classpath信息. [注意] java -client…

1.Active NameNode hang死,未自动切换 #登录当前hang死 Active namenode主机,停止Namenode,触发自动切换.hadoop-daemon.sh stop namenode#如果自动切换未触发,转手动切换[可选]hdfs haadmin -ns bdpfinance - transitionToActive --forceactive nn2 --forcemanual*假设原active节点为nn1 2.误删 1)确认删表语句或命令拿到用户的删表语句如…

Hadoop是一个能够对大量数据进行分布式处理的软件框架. Hadoop 以一种可靠.高效.可伸缩的方式进行数据处理适用人群有一定Java基础的学生或工作者课程简介 Hadoop是一个能够对大量数据进行分布式处理的软件框架. Hadoop 以一种可靠.高效.可伸缩的方式进行数据处理. Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理. Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度. Hadoop 还…

1.处理hadoop的namenode宕机 处理措施:进入hadoop的bin目录,重启namenode服务 操作命令:cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode2.处理hadoop的jobtacker宕机 处理措施:进入hadoop的bin目录,重启jobtacker服务 操作命令:cd path/to/hadoop/bin ./hadoop-daemon.sh start jobtracker3. 处理hadoop的data…

一. 故障处理部分 1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON   报错原因: 在运行环境没有找到fastjson的依赖库 解决方法: 在SPARK_HOME/jars/ 添加fastjson-VERSION.jar包. 例如我的环境下SPARK_HOME是/usr/local/service/spark/. [hadoop@10 ~]$ ls $SPARK_HOME/jars/fast* /…

作者:gnuhpc 出处:http://www.cnblogs.com/gnuhpc/ 1.1 启动 1.1.1 启动redis $ redis-server redis.conf 常见选项: ./redis-server (run the server with default conf) ./redis-server /etc/redis/6379.conf ./redis-server --port 7777 ./redis-server --port 7777 --slaveof 127…

0.优化:http://dongxicheng.org/mapreduce/hadoop-optimization-0/ http://dongxicheng.org/mapreduce/hadoop-optimization-1/ 1.各个节点的配置文件的内容要一致:core|hdfs|mapred|yarn-site.xml.修改一个的节点的配置文件内容后,集群中所有的节点要同步修改,报错的原因大部分是由于节点之间配置文件不一致导致! 2.修改完配置文件后要重启hdfs或yarn服务. 3.…

目前公司有几台机器比较重要,需要把所有用户的操作记录下来,于是就是参照资料来完成 1. vim /etc/profile.d/oplogrc.sh logdir=/opt/oplog userdir=$logdir/${LOGNAME} DT=`date +"%Y%m%d"` export HISTFILE="/$userdir/history.$DT" export HISTTIMEFORMAT="%F %T :" export HISTSIZ…

一.Ceph简单介绍1)OSDs: Ceph的OSD守护进程(OSD)存储数据,处理数据复制,恢复,回填,重新调整,并通过检查其它Ceph OSD守护程序作为一个心跳 向Ceph的监视器报告一些检测信息.Ceph的存储集群需要至少2个OSD守护进程来保持一个 active + clean状态.(Ceph默认制作2个备份,但可以调整它) 2)Monitors:Ceph的监控保持集群状态映射,包括OSD(守护进程)映射,分组(PG)映射,和CRUSH映射. Ceph 保持一个在Ceph监视器, Ce…

MongoDB复制集是一个带有故障转移的主从集群.是从现有的主从模式演变而来,增加了自动故障转移和节点成员自动恢复.MongoDB复制集模式中没有固定的主结点,在启动后,多个服务节点间将自动选举产生一个主结点.该主结点被称为primary,一个或多个从结点被称为secondaries.primary结点基本上就是master结点,不同之处在于primary结点在不同时间可能是不同的服务器.如果当前的主结点失效了,复制集中的其余结点将会试图选出一个新的主结点. MongoDB复制集模式的好处: 一…

下面是工作中对Oracle日常管理操作的一些总结,都是一些基本的oracle操作和SQL语句写法,在此梳理成手册,希望能帮助到初学者(如有梳理不准确之处,希望指出). 一.数据库的启动和关闭 1.1 数据库的正常启动步骤 要想启动或关闭ORACLE系统必须首先切换到ORACLE用户 [root@kevin ~]# su - oracle 以DBA的身份登录数据库(oracle用户下执行) [oracle@kevin ~]$ sqlplus "/as sysdba" 执行启动数据库命令…

hadoop综合问题记录 1.hdfs无法启动 错误: 2018-04-25 14:36:09,293 - Retrying after 10 seconds. Reason: Execution of '/usr/hdp/current/hadoop-hdfs-namenode/bin/hdfs dfsadmin -fs hdfs://master:8020 -safemode get | grep 'Safe mode is OFF'' returned 1. safemode: Call…

1 ~/.bashrc 这个可以认为是linux系统的启动项,每次启动的时候都会运行一些这里边的命令: 常见的有: alias rm='rm -i'//修改某些指令: export LD_LIBRARY_PATH=……//制定环境变量:LD_LIBRARY_PATH是linux系统的环境变量,直接去其目录下去找lib库等: 2 gcc gcc(gnu collect compiler)是一组编译工具的总称:它主要完成的工作任务是“预处理”和“编译”,以及提供了与编译器紧密相关的运行库的支持,如l…

1:hdfs dfsadmin -report //查看集群运行状态…

http://www.it165.net/os/html/201204/1909.html https://i.cnblogs.com/EditPosts.aspx?opt=1 http://www.it165.net/os/html/201204/1877.html http://blog.chinaunix.net/uid-28718792-id-3556036.html…

在分析服务器运行情况和业务数据时,nginx日志是非常可靠的数据来源,而掌握常用的nginx日志分析命令的应用技巧则有着事半功倍的作用,可以快速进行定位和统计. 1)Nginx日志的标准格式(可参考:http://www.cnblogs.com/kevingrace/p/5893499.html) 1 2 3 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '               '…

在分析服务器运行情况和业务数据时,nginx日志是非常可靠的数据来源,而掌握常用的nginx日志分析命令的应用技巧则有着事半功倍的作用,可以快速进行定位和统计. 1)Nginx日志的标准格式(可参考:http://www.cnblogs.com/kevingrace/p/5893499.html) log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_se…

1.查看当前连接数: 这些参数都是什么意思呢? Threads_cached ##mysql管理的线程池中还有多少可以被复用的资源 Threads_connected ##打开的连接数 Threads_created ##表示创建过的线程数,如果发现Threads_created值过大的话,表明MySQL服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值,查询服务器 Threads_running ##激活的连接数,这个数值一般远低于connect…

1.node的扩容 在k8s中,对一个新的node的加入非常简单,只需要在node节点上安装docker.kubelet和kube-proxy服务,然后将kubelet和kube-proxy的启动参数中的master url指定为当前kubernetes集群master的地址,然后启动服务即可. 2.删除node kubectl delete node k8s-node1 3.隔离恢复node a.通过配置文件隔离 apiVersion: v1kind: Nodemetadata:   name…

1.standby database 正常的打开与关闭 1.1 针对 physical standby打开:--打开数据库SQL>startup; -- 开启 mgr 进程 SQL>ALTER DATABASE RECOVER MANAGED STANDBY DATABASE USING CURRENT LOGFILE disconnect from session; ( physical standby ) 关闭:-- 关闭 mgr 进程SQL>ALTER DATABASE RECOV…

创建主题kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --replication-factor 3 --partitions 3查看主题列表kafka-topics.sh --zookeeper localhost:2181 --list查看主题状态kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic TestTopic修改主题分区ka…

1. 什么是linux服务器load average? Load是用来度量服务器工作量的大小,即计算机cpu任务执行队列的长度,值越大,表明包括正在运行和待运行的进程数越多. 2. 如何查看linux服务器负载? 可以通过w,top,uptime,procinfo命令,也可以通过/proc/loadavg文件查看.procinfo工具安装请参考Linux环境下安装软件. 4. 如何查看服务器内存使用率? 可以通过free,top(执行后可通过shitf+m对内存排序),vmstat,procin…

1.command 用于查看文件内容,查看磁盘,内存,启动命令等纯命令信息 ansible portal -m command -a "cat /test1/test"2.ping 检查应用是否开启 ansible portal -m ping3.copy 将本地文件批量发送到远程服务器上 ansible portal -m copy -a 'src=/test/l.txt dest=/tmp/'4.file 更改远程文件的权限及属主属组 ansible portal -m file…