首先打开charles,在Proxy中打开Windows Proxy,这样才能抓取本地请求 python代码中报错Caused by SSLError(SSLError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:645)') 原因是 Python requests 设置verify=False移除SSL认证 加上之后还需要 解决InsecureRequestWarning警告. urllib3.d…

在本地部署了几个应用,然后想用fiddler抓取一些请求看看调用了哪些接口,然鹅,一直抓不到... 比如访问地址是这样的: 在网上搜罗半天,找到一个解决方法 在localhost或127.0.0.1后增加一个点即可,如下 然后fiddler就抓到了本地发出的请求 还有一种方法: 在localhost后增加.fiddler比如请求http://localhost:8080改为http://localhost.fiddler:8080即可 原文链接:http://blog.csdn.net/cham…

我上篇随笔说到了内网中横向移动的几种姿势,横向移动的前提是获取了具有某些权限的用户的明文密码或hash,正愁不知道写点啥,那就来整理一下这个"前提"-----如何在windows系统中抓hash 0x01 前言 事先声明,本文还是暂时不考虑免杀的问题,有些杀软十分变态,针对lsass等关键部位的防护非常好,一有风吹草动立刻报警,绕过方法还有待测试......不过这并不耽误我整理一下小知识点(怒) 本文中提到的"杀软"只是特指  XX安全软件  这一款安全产品,仅反映…

## 摘要 由于windows系统没有提供本地回环网络的接口,用Wireshark监控网络的话看不到localhost的流量. 想要获取本地的网络数据包,可以通过一款小巧的开源软件RawCap来进行抓包,然后使用Wireshark进行分析. ## 需要 1. wireshark(下载地址:https://www.wireshark.org/download.html) 2. RawCap(下载地址:http://www.netresec.com/?page=RawCap) ## 步骤 1. 以管…

书接上回,windows中抓取hash小结(上) 指路链接 https://www.cnblogs.com/lcxblogs/p/13957899.html 继续 0x03 从ntds.dit中抓取 ntds.dit是域控中保存域用户的hash等信息的一个二进制数据文件,用system进行加密,可以算是AD域的心脏,路径见上篇前言 ntds.dit在系统使用的时候是锁定不能复制下载的,所以只能用某种方式进行"提取",比如Volume Shadow Copy(卷影拷贝\快照) 常规思路都…

一:The NPF driver isn't running 这个错误是因为没有开启NPF服务造成的. NPF即网络数据包过滤器(Netgroup Packet Filter,NPF)是Winpcap的核心部分,它是Winpcap完成困难工作的组件.它处理网络上传输的数据包,并且对用户级提供可捕获(capture).发送(injection)和分析性能(analysis capabilities). 它不仅提供了基本的特性(例如抓包),还有更高级的特性(例如可编程的过滤器系统).前者可以被用来约…

一:The NPF driver isn’t running 这个错误是因为没有开启NPF服务造成的. NPF即网络数据包过滤器(Netgroup Packet Filter,NPF)是Winpcap的核心部分,它是Winpcap完成困难工作的组件.它处理网络上传输的数据包,并且对用户级提供可捕获(capture).发送(injection)和分析性能(analysis capabilities). 它不仅提供了基本的特性(例如抓包),还有更高级的特性(例如可编程的过滤器系统).前者可以被用来约…

wineshark分析抓取本地回环包 摘要 由于windows系统没有提供本地回环网络的接口,用Wireshark监控网络的话看不到localhost的流量.想要获取本地的网络数据包,可以通过一款小巧的开源软件RawCap来进行抓包,然后使用Wireshark进行分析. 需要 wireshark(下载地址:https://www.wireshark.org/download.html) RawCap(下载地址:http://www.netresec.com/?page=RawCap) 步骤 以管…

windows系统中,本地向自身发送数据包没有经过真实的网络接口,而是通过环路(loopback interface)接口发送,所以使用基于只能从真实网络接口中抓数据的winpcap是无法抓取本地数据包,需要使用npcap,npcap是基于winpcap 4.1.3开发的,api兼容WinPcap,并且提供“npcap loopback adapter”用于抓取本地向自身发送的数据包. 使用方法: 1.下载安装WireShark,版本号必须是高于 1.12.8和 1.99.9,已安装就不用装了,…

前言 介绍一下windows的密码hash值的组成: Windows系统下的hash密码格式为:用户名称:RID:LM-HASH值:NT-HASH值,例如: Administrator::C8825DB10F2590EAAAD3B435B51404EE:683020925C5D8569C23AA724774CE6CC:::用户名称为:AdministratorRID为:500LM-HASH值为:C8825DB10F2590EAAAD3B435B51404EENTLM-HASH值为:6830209…

开源中国上抓取的content-type类型,来源:http://www.cnblogs.com/smallyard/p/5632608.html { ".*": "application/octet-stream", ".tif": "application/x-tif", ".001": "application/x-001", ".301": "app…

[转] C# 从需要登录的网站上抓取数据 背景:昨天一个学金融的同学让我帮她从一个网站上抓取数据,然后导出到excel,粗略看了下有1000+条记录,人工统计的话确实不可能.虽说不会,但作为一个学计算机的,我还是厚着脸皮答应了. . 刚开始想的是直接发送GET请求,然后再解析返回的html不就可以获取需要的信息吗?的确,如果是不需要登录的网站,这样可行,但对于这个网站就行不通.所以首先我们需要做的就是抓包,即分析用户登录时浏览器向服务器发送的POST请求.许多浏览器都自带抓包工具,但我还是更喜欢…

Wireshark提供了winpcap可以抓取远程网卡数据包...但我尝试了不成功.后来发现RawCap.exe不仅可以抓取回环接口数据包,远程跑了拿到pcap文件再打开用起来比winpcap更方便最重要的是RawCap.exe不用安装,一个exe就可以直接使用 RawCap抓取本地回环接口数据包http://www.cnblogs.com/milantgh/p/4284165.htmlD:\rawcap>RawCap.exe --helpD:\rawcap>RawCap.exe 3 test…

一提到数字图像处理编程,可能大多数人就会想到matlab,但matlab也有自身的缺点: 1.不开源,价格贵 2.软件容量大.一般3G以上,高版本甚至达5G以上. 3.只能做研究,不易转化成软件. 因此,我们这里使用Python这个脚本语言来进行数字图像处理. 要使用Python,必须先安装python,一般是2.7版本以上,不管是在windows系统,还是Linux系统,安装都是非常简单的. 要使用python进行各种开发和科学计算,还需要安装对应的包.这和matlab非常相似,只是matla…

现在基本大部分网站都使用了https,所以要想抓到https的请求,首要任务是先有工具:charles.fiddler,先介绍下charles针对https请求的抓取方法,此方法兼容windows和mac用户(mac用户方法类似). 1. windows下安装charles,看到此文章的用户相信都已经安装了charles,如果还真的没安装,麻烦就自行搜索,进行安装了,打开charles(我使用的charles版本是3.11.4),再继续浏览. 注:Charles破解:https://www.zz…

没有任何一个程序员在做项目的时候不会遇到网络编程的问题,要解决这些问题除了对各种网络协议深入了解之外,还需要掌握各种网络分析工具的用法,不用多说wireshark绝对是这方面的翘楚,可惜的是,wireshark不能对本地接口(loopback,或者127.0.0.1)进行直接抓包. wireshark的工作原理 这里面的原理其实很简单,wireshark可以通过操作系统来访问所有的网络adapter,通俗点,就是网卡,并把网卡上的traffic截获,拷贝,用于数据包的分析.所以wireshark…

一:HTTP和HTTPS的区别 HTTP是超文本传输协议,被用在Web浏览器和网站服务器之间传递信息,HTTP协议以明文方式发送内容,不提供任何方式的数据加密,因此HTTP协议不适合传输一些敏感信息,如:信用卡号,密码等支付信息.为了保证这些隐私数据能加密传输,于是网景公司设计了SSL用于对HTTP协议传输的数据进行加密,从而诞生了HTTPS. 两者主要区别: 1.https协议需要到CA申请证书,一般免费证书较少,因而需要一定费用.个人网站.小网站没有必要用. 2.http是超文本传输协议,信…

准备工作 本次测试的Charles版本为3.9.1 · 首先在Charles中开启HTTP请求的远程监听. · 然后分别在手机和Mac上安装Charles的证书. 注意:证书一定要一致,否则抓取不到. 安装证书 Mac上安装证书 直接在Charles软件的Help菜单中选择Install Charles CA SSL ...项目 在Mac的钥匙串中,找到该证书,并修改为全部信任,然后导出该证书. 通过AirDrop将该证书发送到iPhone上,并进行安装. 结束 好了,可以愉快的抓取HTTPS的…

最近用到文本相关性计算,要在开放域语料上操作,找了好久没找到好的方法,后来看到了清华的梁斌老师建的cikuapi,上面能查询一些相关词,自己写代码爬的时候出现中文解码问题,遂到Github上找了下相关代码,最终找到crawl_cikuapi, 抓取相关词,cikuapi提供一个引擎能查询给定关键词的相关词, crawl_cikuapi中有两个函数: 1.get_degrees:这个好像是获取相关级别的,但是我这边还没调通, 2:.get_related_words:是获取相关词并追加在本地文件中…

Window下通过charles代理抓取iphone手机Https请求乱码问题 如果保持默认设置,https的reqeust和response都是乱码,设置完之后https就可以抓包了 手机端操作: 1.连接上charles的代理 查看电脑IP地址,在手机无线里设置代理即可(手机wifi网络需要和charles软件的电脑在一个网段) 手机配置代理 2.下载Charles证书https://www.charlesproxy.com/assets/legacy-ssl/ssl.zip 解压后导入到i…

背景 本节的知识实际上是属于Beautiful Soup的内容. robobrowser支持Beautiful Soup,一般来说通过下面3个方法获取页面上感兴趣的内容 find find_all select 这一节主要通过一些例子来讲解这几个方法 预备知识 一般来说学习Beautiful Soup是需要了解过滤器这个概念的.不过为了让大家能够容易理解,这里暂时屏蔽过滤器的知识,感兴趣的同学可以去官网学习一下. 通过例子学习 这一节里我们的例子还是http://itest.info/cours…

1. 在 windows10 上安装python开发环境 Linux和Mac OS都自带python环境,但是Windows没有,所以需要自行安装. 第1步:访问 python官网,下载Windows平台下的安装包 地址:https://www.python.org/downloads/ 选择下载3.X的版本,我选择的是3.6.6的版本 双击下载完的文件python-3.6.6-amd64.exe,进入安装环节,按步骤完成安装.(我选的第一个Install Now默认安装.) 第2步:设置环境变…

之前开发的Android APP使用的都是http请求,之后改成了https,就出现了以下情况,无法正常读取抓取的内容 找了好多资料说法大概差不多,照着弄,结果出现如下情况,后来发现这种情况其实是手机上面的证书没有安装正确. 下面阐述一下,正确的安装步骤,为出现类似情况的朋友提供一个参考: 1.第一步: 为电脑安装证书: 最后点击确定即可.电脑上面证书安装成功. 第二步:为手机安装证书. 手机连接电脑发射的WiFi,如下添加代理,代理的服务器主机名为172.24.240.1,如上图提示,代理的服…

  linux环境下,用tcpdump,可以用-i lo参数抓取环回接口的包.如果服务端和客户端安装在同一台机器上,调试时是很方便的.linux版的wireshark,选取网卡的菜单里也有lo选项,也很方便.在windows环境下,似乎找不到这个选项.其实可以通过路由配置解决这个问题.打开命令行终端,执行下面命令:         route add 192.168.122.29 mask 255.255.255.255 192.168.122 .1 metric 1 其中192.168.122…

我希望能够从网页上, 比如气象局数据, 财经数据等等, 我看到官方提供的数据都比较混乱, 有的是一个php文件, 有的是一个文本, 有的干脆不提供数据, 我想问, Mac上, 用什么工具去抓数据, 以及处理这些数据大神们一般用很么方法? 链接:https://www.zhihu.com/question/27736988/answer/174849599 https://www.zhihu.com/question/27736988 1.http://Import.io import.io 用法…

Fiddler是一个免费的Web调试代理,支持任何浏览器.系统以及平台.这个工具是进行Web和App网络开发的必备工具,戳此处下载. 根据Fiddler官网的描述,具有以下六大特点: Web调试 性能测试 HTTP/HTTPS流量记录 Web会话处理 安全测试 自定义扩展性 本文讨论的主要内容是如何设置Fiddler,使PC和移动设备上可以抓取HTTPS数据包. 首先,在菜单栏选择Tools->FiddlerOptions,切换到Connections选项卡 第二步,勾选允许远程连接,并设置一个…

一.说明: 1.整个抓包操作的过程中,手机必须一直通过USB链接MAC电脑 2.手机系统要求在IOS5以上,因为使用的RVI技术在IOS5以后的系统中才有 3.抓包过程中,手机可以使用任何网络2G.3G.WIFI(我测试了2G和WIFI) 二.操作流程 1.手机通过USB链接MAC电脑,打开iTunes,从里面找到下图所示的每个手机的唯一UDID编号,拷贝下来. 2.建立RVI接口 运行 rvictl -s <UDID> 即可建立一个RVI链接 在本步操作中,如果失败报的是bootstrap_…

今天将自己的电脑既作为客户端又作为服务端进行一个程序的测试,想着用WireShark来抓包分析一下问题,但由于WireShark只能抓取经过电脑网卡的包,由于我是使用localhost或者127.0.0.1进行测试的,流量是不经过电脑网卡的,所以WireShark无法抓包,一番查找之下找到了解决方法. 1 . 以管理员身份打开命令提示符 2 . 输入 route add 本机ip mask 255.255.255.255 网关ip 如果不知道本机ip和网关ip,可以在命令行输入ipconfig查…

今天闲着没吊事,来写一篇关于怎么抓取Android中的app数据包?工欲行其事,必先利其器,上网google了一下,发现了一款神器:Fiddler,这个貌似是所有软件开发者必备神器呀!这款工具不仅可以抓取PC上开发web时候的数据包,而且可以抓取移动端(Android,Iphone,WindowPhone等都可以),太强大了,以前搞web的时候,知道有一款叫做HttpWatch工具,可以抓取web的请求数据包的,但是和这款神器来比较,那都弱爆了!吹到现在都是无用的,下面就来看看实例吧(只演示An…

遇到有些APP的HTTPS请求无法抓取!错误提示: !SecureClientPipeDirect failed: System.Security.Authentication.AuthenticationException A call to SSPI failed, see inner exception. < An unknown error occurred while processing the certificate for pipe (CN=*.umeng.com, O=DO_N…