参考: https://www.wangbokun.com/%E8%BF%90%E7%BB%B4/2019/09/02/%E6%8C%96%E7%9F%BF%E7%97%85%E6%AF%92.html  GG https://www.cnblogs.com/qcloud1001/p/9173253.html  GG 公司周末监控软件,监控到CDH集群两太节点的CPU使用率突然上升占满. 解决步骤: 1/ 查找CPU占有量最大的进程,发现是yarn用户起的.并伪装成sysupdate 2/ cr…

一.本文思路 [1].配置java环境–JDK12(Hadoop的底层实现语言是java,hadoop运行需要JDK环境) [2].安装Hadoop 1.解压hadop 2.配置hadoop环境变量 3.配置Hadoop文件 二.所需下载文件 [1]JDK下载地址 [2]Hadoop下载地址-推荐binary版本是提前编译好的 [3]hadoop在windows上运行需要winutils支持和hadoop.dll等文件 在github仓库中找到对应版本的二进制库hadoop.dll和winuti…

1.检查是否正确的启动了resourcemanager服务 若是没有启动,请检查yarn-site-xml配置 2.若是启动了 1.检查客户机和虚拟机之间是否能够相互ping通 2.检查虚拟机防火墙是否关闭 3.排查 1.首先,各个虚拟机和客户端之前都能ping通,虚拟机都能上外网,说明网络没有问题. 2.各个虚拟机自己的防火墙已经关闭. 3.在外网可以连接22端口和50070端口 4.解决 通过命令:netstat -tpnl | grep java  发现 那么通过在本机通过127.0.0.…

用户为dr.who,问下内部使用人员,都没有任务在跑: 结论: 恭喜你,你中毒了,攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击,攻击者可以在未授权的情况下远程执行代码的安全问题进行预警 用top命令发现cpu使用了360%多,系统会很卡. 解决办法: 1,通过查看占用cpu高得进程,kill掉此进程 2,检查/tmp和/var/tmp目录,删除java.ppc.w.conf等异常文件 3 ,通过crontab -l 查看有一个* * * * * wget…

yarn集群8088端口被攻击挖矿 https://www.jianshu.com/p/a2d6b0d827ab https://blog.csdn.net/lm709409753/article/details/80540715 https://labitacoranet.wordpress.com/2018/05/16/forensic-analysis-of-a-cryptocurrency-mining-attack-in-a-big-data-cluster/…

[故障背景] 8088网页打不开,因8088是yarn平台的端口,所以我从yarn开始排查,首先到各个机器上使用jps命令查看yarn的各个节点是否启动,发现虽然有nodemanager进程,但是主节点机器上的resourcemanager进程未启动, 使用yarn-daemon.sh start resourcemanager单独启动resourcemanager进程.遇到闪退,一开启进程,不一会就自动关闭 [解决步骤] 1. 根据集群规划,到每个zookeeper所在的机器启动zookeep…

核心概念 WAF Web应用防火墙(Web Application Firewall),简称WAF. Web攻击 针对Web应用发起的攻击,包括但不限于以下攻击类型:SQL注入.XSS跨站.Webshell上传.命令注入.非法HTTP协议请求.非授权文件访问等.…

测试环境在阿里云上暴露出了公网端口,前一段时间CDH集群原本是开启了Kerberos认证,但是因为大家反映使用麻烦,所以就又关闭了Kerberos. 最近几天大家普遍反映测试环境上hive和hdfs job执行很慢,yarn进程的cpu使用率持续在200%以上,经过排除CPU使用率已经连续两天100%且没有降下来,查看job如下 有39个job明细多余开发提交的任务数量,且User来自dr.who,这个之前没有见过,初步断定遭受了攻击, 切换到yarn用户下: sudo -u yarn cron…

今天早上,我们捕获到一个利用wps 2012/2013 0day针对中国政府部门的钓鱼邮件定向攻击事件. 邮件发件人以2014中国经济形势解析高层报告组委会 标题发出,附件为包含wps2012 0day的攻击文件,目前为止该攻击文件没有杀毒软件可以查杀. 一旦使用WPS 2012 打开文件攻击成功,会释放打开一个迷惑性的正常文件 2014中国经济形势解析高层报告会.doc,并且释放运行 win32_453B.dll_,IE7.EXE_,hostfix.bat_. 目前不确认该0day是否跟前端时…

许多Web应用程序提供的功能将数据从其他Web服务器,由于种种原因.下载XML提要,从远程服务器,Web应用程序可以使用用户指定的URL,获取图像,此功能可能会被滥用,使制作的查询使用易受攻击的Web应用程序作为代理运行在远程攻击其他服务的基于文本的文件等. /本地服务器.通过这种滥用而产生的功能被命名为攻击,跨站点端口的攻击(XSPA). XSPA(SSPA)是什么? 如果应用程序处理用户提供的URL和不验证/消毒后端从远程服务器接收到响应,然后将其发送回客户端应用程序是容易受到跨站点端口的攻…

512,513,514端口都是R服务: TCP端口512,513和514为著名的rlogin提供服务.在系统中被错误配置从而允许远程访问者从任何地方访问(标准的,rhosts + +). 默认端口:512(remote process execution):513(remote login a la telnet):514(cmd) 攻击方式: rlogin 受害者ip -l 受害者用户名 可用hydra进行破解密码和用户名 hydra -L 1.txt -P 1.txt 受害者ip rlogi…

攻击模式:主动攻击.被动攻击. 主动攻击是指攻击者通过直接访问Web应用,把攻击代码传入的攻击模式. 具有代表性的攻击:SQL注入攻击和OS命令注入攻击. 被动攻击是指利用圈套策略执行攻击代码的攻击模式. 具有代表性的攻击:跨站脚本攻击和跨站点请求伪造.…

一. thc-ssl-dos 1.简介 (1).SSL 协商加密对性能开销增加,大量握手请求会导致 DOS (2).利用 SSL secure Renegotiation 特性,在单一 TCP 连接中生成数千个 SSL 重连接请求,造成服务器资源过载 (3).与流量式拒绝访问攻击不同,thc-ssl-dos 可以利用 dsl 线路打垮 30G 带宽的服务器 (4).服务器平均可以处理 300 次/秒 SSL 握手请求 (5).对 SMTPS.POP3S 等服务同样有效 2.用法 root@kal…

打开Dos:windows->输入cmd(想必这个都会) 在黑窗口中输入指令:netstat -ano | findstr 8080       指令的意思是找出占用8080端口的进程pid 再次输入指令:taskkill -pid 进程pid -f…

引言       ROP(Return-oriented programming),即“返回导向编程技术”.其核心思想是在整个进程空间内现存的函数中寻找适合指令片断(gadget),并通过精心设计返回堆栈把各个gadget拼接起来,从而达到恶意攻击的目的.构造ROP攻击的难点在于,我们需要在整个进程空间中搜索我们需要的gadgets,这需要花费相当长的时间.但一旦完成了“搜索”和“拼接”,这样的攻击是无法抵挡的,因为它用到的都是内存中合法的的代码,普通的杀毒引擎对ROP攻击是无计可施的. 栈溢出…

编辑/etc/sysconfig/iptables,添加 -A INPUT -m state --state NEW -m tcp -p tcp -s 127.0.0.1 --dport 6379 -j ACCEPT -A INPUT -m state --state NEW -m tcp -p tcp -s 126.212.173.185 --dport 6379 -j ACCEPT 以上加红地方就是只对本机和126.212.173.185开放6379端口,其他ip用telnet是无法连接的,…

两天时间,知道现在才把这个东西解决  解决的灵感来源于百度知道一句话谢谢这个哥们 谢谢这个哥们! ​我的目录是在/home/hadoop/tmp  大家如果遇到这个问题,希望能按照我的办法去试一下 2016年1月18日04:00:49​…

一:目标 1.目标 在yarn的8080页面可以跳转到spark的日志18080页面. 因为在运行spark之后,看对应的job的日志,这样直接连接,更合理直接. 2.总结 在后面可以看到,其实不需要启动mr-history的. 因为这个是手机mapreduce的日志的,同时,只要8088的页面,在这个页面点history朝着18080跳转即可. 二:操作步骤 1.先开启服务 yarn,hdfs,spark 2.运行程序 3.在yarn上无法观察history 4.因为没有开启服务 1. MR的…

前言——作为装过几次集群的菜鸟,对于hadoop集群的安装还是比较有心得的:只要配置文件够好,集群配置就非常容易,否则也容易出现莫名其妙的问题!总结了一份3台机器搭建较完好的集群的一份配置文件. 在我将集群配置文件,防火墙(自以为).集群时间.Java环境变量等等都搞定的情况下,竟然还是出了问题. 现象是访问不了yarn的web端口. 因为我在机器上搭过好几次集群,可能存在版本不一样的情况,所以我先用bin/hadoop version查看了hadoop各个节点对应的hadoop版本,发现一样(…

组件 节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口 HD…

0x00 HID 攻击 HID是Human Interface Device的缩写,也就是人机交互设备,说通俗一点,HID设备一般指的是键盘.鼠标等等这一类用于为计算机提供数据输入的设备. DuckHunter Attack DuckHunter Attacks是从USB Rubber Ducky (USB橡皮鸭)发展过来的HID攻击方式.USB Rubber Ducky是从2010年就开始流行的Hack专用设备.该设备外观就是一个普通U盘大小的USB设备.渗透测试人员可以在其中编写自己的脚本.…

前段时间阿里云大量发送云服务器对外攻击的信息到邮箱中,邮件信息大概如下: 您的云服务器(XX.XX.XX.XX)由于被检测到对外攻击,已阻断该服务器对其它服务器端口(TCP:XX)的访问,阻断预计将在2019-01-12 18:57:08时间内结束,请及时进行安全自查.若有疑问,请工单或电话联系阿里云售后,感谢您对阿里云的支持. 您的云服务器(XX.XX.XX.XX)已解除端口:(TCP:XX)的访问相关拦截处罚.若有疑问,请工单或电话联系阿里云售后,感谢您对阿里云的支持. 以上信息描述的比较清…

现象: 访问yarn:8088页面发现一直有任务在跑如图: 用户为dr.who,问下内部使用人员,都没有任务在跑: 结论: 恭喜你,你中毒了,攻击者利用Hadoop Yarn资源管理系统REST API未授权漏洞对服务器进行攻击,攻击者可以在未授权的情况下远程执行代码的安全问题进行预警 用top命令发现cpu使用了360%多,系统会很卡. 解决办法: 1,通过查看占用cpu高得进程,kill掉此进程 2,检查/tmp和/var/tmp目录,删除java.ppc.w.conf等异常文件 3 ,通过…

组件   节点 默认端口 配置 用途说明 HDFS DataNode 50010 dfs.datanode.address datanode服务端口,用于数据传输 HDFS DataNode 50075 dfs.datanode.http.address http服务的端口 HDFS DataNode 50475 dfs.datanode.https.address https服务的端口 HDFS DataNode 50020 dfs.datanode.ipc.address ipc服务的端口…

<实战录>导语 云端卫士<实战录>栏目定期会向粉丝朋友们分享一些在开发运维中的经验和技巧,希望对于关注我们的朋友有所裨益.本期分享人为云端卫士系统架构师高鹏,将带来常见的DDoS的分享. DDoS(Distributed Denial of Service:分布式拒绝服务)攻击指借助于客户/服务器技术,将多个计算机联合起来作为攻击平台,对一个或多个目标发动DDoS攻击,从而成倍地提高拒绝服务攻击的威力. 请DDoS攻击的主要表现形式 一.流量型攻击 这种攻击消耗网络带宽或使用大量数…

SQL注入攻击的危害性很大.在讲解其防止办法之前,数据库管理员有必要先了解一下其攻击的原理.这有利于管理员采取有针对性的防治措施. 一. SQL注入攻击的简单示例. statement := "SELECT * FROM Users WHERE Value= " + a_variable + " 上面这条语句是很普通的一条SQL语句,他主要实现的功能就是让用户输入一个员工编号然后查询处这个员工的信息.但是若这条语句被不法攻击者改装过后,就可能成为破坏数据的黑手.如攻击者在输入…

EMail: jianxin#80sec.comSite: http://www.80sec.comDate: 2011-2-10From: http://www.80sec.com/ [ 目录 ]一 背景二 应急响应三 常见ddos攻击及防御四 根源及反击五 总结 一 背景 在前几天,我们运营的某网站遭受了一次ddos攻击,我们的网站是一个公益性质的网站,为各个厂商和白帽子之间搭建一个平台以传递安全问题等信息,我们并不清楚因为什么原因会遭遇这种无耻的攻击.因为我们本身并不从事这种类型的攻击,这…

  从 07年的爱沙尼亚DDOS信息战,到今年广西南宁30个网吧遭受到DDOS勒索,再到新浪网遭受DDOS攻击无法提供对外服务500多分钟. DDOS愈演愈烈,攻击事件明显增多,攻击流量也明显增大,形势十分严峻,超过1G的攻击流量频频出现,CNCERT/CC掌握的数据表明,最高时达到了 12G,这样流量,甚至连专业的机房都无法抵挡.更为严峻的是:利用DDOS攻击手段敲诈勒索已经形成了一条完整的产业链!并且,攻击者实施成本极低,在 网上可以随便搜索到一大堆攻击脚本.工具工具,对攻击者的技术要求也越…

DDOS攻击流程图 站长之家配图(来源:ppkj.net) 一 背景 在前几天,我们运营的某网站遭受了一次ddos攻击,我们的网站是一个公益性质的网站,为各个厂商和白帽子之间搭建一个平台以传递安全问题等信息, 我们并不清楚因为什么原因会遭遇这种无耻的攻击.因为我们本身并不从事这种类型的攻击,这种攻击技术一般也是比较粗糙的,所以讨论得比较少,但是既然发生 了这样的攻击我们觉得分享攻击发生后我们在这个过程中学到得东西,以及针对这种攻击我们的想法才能让这次攻击产生真正的价值,而并不是这样的攻击仅仅浪费…

resourcemanager启动报错,其中一个启动成功,另一个启动报8088端口被成功启动的rm占用 2016-11-18 17:08:49,478 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.library.path=/usr/lib/hadoop/lib/native 2016-11-18 17:08:49,478 INFO org.apache.zookeeper.ZooKeeper: Client envir…