不多介绍了,千篇一律的正则匹配..... import requests import re head = {'User-Agent': \ 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36'} key = 'jcrcw.com' # 这里填主域名 lst = [] match = 'style="text-decoratio

今天心血来潮做了一个子域名收集器.过程是蛋疼啊!这里先感谢一下qpython群的咸鱼大佬,在换页的时候出了点毛病,讲到后面我们就知道了. 思路: 代码开始: 我们要用到的模块是 Requests Bs4模块里的BeautifulSoup Time模块 如果BeautifulSoup没有 安装方法: LINUX:sudo pip install bs4 WINDOWS:pip install bs4 Import requests From bs4 import BeautifulSoup Imp

近期学习了一段时间python,结合自己的安全从业经验,越来越感觉到安全测试是一个体力活.如果没有良好的coding能力去自动化的话,无疑会把安全测试效率变得很低. 作为安全测试而言,第一步往往要通过爆破目标站的一级域名开始.作为安全而言,最薄弱的地方往往不是主站,而是二级和三级域名.通过大牛lijiejie的工具subdomainsbrute我们可以轻松的获得一个子域名列表和IP的txt文件: www..edu.cn .x.x.x cs..edu.cn .x.x.x my..edu.cn .x

利用bing搜索引擎进行子域名收集,编写了一个简单的Python脚本,分享一下. #! /usr/bin/env python # _*_ coding:utf-8 _*_ import requests import urlparse from bs4 import BeautifulSoup import sys def bing_search(url,page): Subdomain=[] headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.

脚本学习,多写写就会啦,来一发个人编写的超级无敌low的子域名查询脚本 #coding:utf-8 import re import requests import urllib import urllib2 import bs4 from bs4 import BeautifulSoup key=raw_input("please input top domain: ") print "查询马上开始..." title=[] domainlist=[] for n

使用C#winform编写渗透测试工具--子域名挖掘 这篇文章主要介绍使用C#winform编写渗透测试工具--子域名挖掘.在渗透测试中,子域名的收集十分重要,通常一个网站的主站的防御能力特别强,而他们的非主站相对较弱,我们便可以通过收集子站信息从而扩大攻击范围,增大渗透的可能. 下面是使用C#winform编写的渗透测试工具,前面我们已经完成了端口扫描.敏感目录扫描和暴力破解的工作,这一部分将介绍如何实现子域名挖掘. 目录 各种子域名挖掘技术 代码实现 使用步骤 一.各种子域名挖掘技术 字典爆

好记性不如烂笔头,此处记录一下,ubuntu进行子域名的爆破. 先记录一个在线的子域名爆破网址,无意中发现,很不错的网址,界面很干净,作者也很用心,很感谢. https://phpinfo.me/domain/ 介绍一下,我在ubuntu上面安装的Sublist3r. 先放GitHub地址,感谢作者. https://github.com/aboul3la/Sublist3r 安装过程,首先git下来. git clone https://github.com/aboul3la/Sublist3

API说明——下载gsExtractor内容提取器 1,接口名称 下载内容提取器 2,接口说明 如果您想编写一个网络爬虫程序,您会发现大部分时间耗费在调测网页内容提取规则上,不讲正则表达式的语法如何怪异,即便使用XPath,您也得逐个编写和调试. 如果要从一个网页上提取很多字段,逐个调试XPath将是十分耗时的.通过这个接口,你可以直接获得一个调测好的提取器脚本程序,是标准的XSLT程序,您只需针对目标网页的DOM运行它,就能获得XML格式的结果,所有字段一次性获得. 这个XSLT提取器可以是您

天气预报的程序.程序并不难. 看到这个需求第一个想法就是只要找到合适天气预报接口一切都是小意思,说干就干,立马跟学生沟通价格. ​ ​不过谈报价的过程中,差点没让我一口老血喷键盘上,话说我们程序猿的人工什么时候这么低廉了...oh my god ​ ​50十块,你跟我开什么国际玩笑!!不够意外惊喜还是有的,居然是个妹子嘿嘿,哎呀什么钱不钱的多伤感情. 老哥送你一套代码,小妹妹以后你好好学习,不懂得问老哥,然后顺利的家了微信(妹子很漂亮). ​ 废话不多说开干,这个程序最大的难点就是找一个合适的天

在线子域名爆破 <?php function domainfuzz($domain) { $ip = gethostbyname($domain); preg_match("/\d+\.\d+\.\d+\.\d+/",$ip,$arr); return $arr; } function main() { if(isset($_GET['q'])) { $return = array(); $domain = trim($_GET["domain"]); //前

python 3.x 爬虫基础 python 3.x 爬虫基础---http headers详解 python 3.x 爬虫基础---Urllib详解 python 3.x 爬虫基础---Requersts,BeautifulSoup4(bs4) python 3.x 爬虫基础---正则表达式 前言 正则表达式是对字符串的一种逻辑公式,用事先定义好的一些特定字符.及这些特定字符的组合,组成一个“规则的字符串”,此字符串用来表示对字符串的一种“过滤”逻辑.正在在很多开发语言中都存在,而非pytho

猫宁!!! 参考链接: https://www.waitalone.cn/subdomainsbrute.html https://www.secpulse.com/archives/5900.html 很多人知道子域名挖掘机,不过我最早使用的子域名爆破工具是lijiejie的subdomainsbrute,简单容易上手,而且字典符合中国人习惯. 上一次更新已经是2018.02.06的事情了. github地址:https://github.com/lijiejie/subDomainsBrut

猫宁!!! 参考链接:https://www.freebuf.com/sectool/90584.html 作者上一次更新是2018年10月16日了,sublist3r中融合有另外一个子域名爆破工具SubBrute. sublist3r github地址 https://github.com/aboul3la/Sublist3r subbrute github地址 https://github.com/TheRook/subbrute 操作在kali linux上进行 下载到本地,需要pip3

猫宁!!! 参考链接:https://www.secpulse.com/archives/53182.html https://www.jianshu.com/p/65c85f4b7698 http://www.sec-redclub.com/archives/894/ 猪猪侠,逛乌云的人一定是知道的. wydomain子域名爆破工具是他的作品,言简意赅,上次更新已经是2017年6月的事儿了. github地址:https://github.com/ring04h/wydomain 下载到本地,

scrapy框架的学习,目前个人觉得比较详尽的资料主要有两个: 1.官方教程文档.scrapy的github wiki: 2.一个很好的scrapy中文文档:http://scrapy-chs.readthedocs.org/zh_CN/0.24/index.html: 剩下的就是网上其他的一些demo. 一.scrapy框架结构 还是先上个图吧,这个图几乎在网上一搜scrapy随处可见,其实它很好地反应了这个框架的运作流程及各个组件之间交互的过程. scrapy之所以能作为框架,是因为其抽取了

#今日目标 **拉勾网python开发要求爬虫** 今天要爬取的是北京python开发的薪资水平,招聘要求,福利待遇以及公司的地理位置. 通过实践发现除了必须携带headers之外,拉勾网对ip访问频率也是有限制的.一开始会提示 '访问过于频繁',继续访问则会将ip拉入黑名单.不过一段时间之后会自动从黑名单中移除. 针对这个策略,我们可以对请求频率进行限制,这个弊端就是影响爬虫效率.其次我们还可以通过代理ip来进行爬虫.网上可以找到免费的代理ip,但大都不太稳定.付费的价格又不太实惠. 具体就看

目录 子域名信息查询 Layer子域名爆破机 subDomainBrute 利用google查询 HTTP证书查询 DNS记录查询脚本 IP转换为经纬度 利用网页获取对方经纬度信息 首先关于DNS域名解析的一些知识,传送门--> DNS域名解析基础 了解了DNS解析的一些知识后,我们就可以开始我们的DNS探测了! 一些和域名查询相关的网站: DNS查询:https://dnsdb.io/ 微步在线:https://x.threatbook.cn/ 在线域名信息查询:http://toolbar.

基于python的pixiv爬虫 1.目标 在和朋友吹逼过程中,聊到qq群机器人,突发奇想动手做一个p站每日推荐色图的色图机,遂学习爬虫. 目标: 批量下载首页推荐色图. 由于对qq机器人不熟,先利用flask搭键一个网页色图机. 2.流程 3.批量下载 1.分析网页 虽然直接进入pixiv的主页是需要登录的,但是进入排行榜却不需要这个过程. 通过网页源代码定位到图片id <section id="1" class="ranking-item" data-ra

★3.1Netcraft :子域名查询  官网:http://searchdns.netcraft.com/ 输入要查询的域名,即可得知子域名 3.2Fierce :子域名查询 概述: fierce 是使用多种技术来扫描目标主机IP地址和主机名的一个DNS服务器枚举工具.运用递归的方式来工作.它的工作原理是先通过查询本地DNS服务器来查找目标DNS服务器,然后使用目标DNS服务器来查找子域名.fierce的主要特点就是可以用来定位独立IP空间对应域名和主机名. 参数: root@Kali:/ho

前言:建立一个网站系统,往往包含多个子网站,例如PC官网,移动端官网,后台管理,数据源自一个相同的数据库,整个架构上,从ThinkPHP来看,可以大体理解为Model(M)是一样的,Controller(C)包含共用API部分和不共用部分,View则是完全不共用的,这里在整个初始架构的时候,我们可以主要从以下几个方面去考虑: 配置共用的数据库.扩展Application里面的模块.自定义视图文件夹.子域名部署.路由简化.... 具体操作如下: 1.准备ThinkPHP环境.数据库 a.下载官网T

Python 开发轻量级爬虫 (imooc总结08--爬虫实例--分析目标) 怎么开发一个爬虫?开发一个爬虫包含哪些步骤呢? 1.确定要抓取得目标,即抓取哪些网站的哪些网页的哪部分数据. 本实例确定抓取Python百度百科词条页面以及相关词条页面的标题和简介. 2.分析这个目标,即需要确定抓取这些网站数据的策略. 有三部分需要分析. 1)需要分析这些目标页面的url格式,用来限定我们要抓取页面的范围. 如果这个范围不进行限定的话,我们的爬虫就会抓取互联网上很多不相关的网页,造成资源的浪费. 2)