1.原理非常简单,域名的查询主要是基于RFC 954提供的WHOIS协议.在上述过程中,我们实际上是访问了InterNIC站点的WHOIS服务器,该服务器从WHOIS数据库中查询我们所需要的内容.WHOIS服务器是一个基于"查询/响应"的TCP事务服务器,它运行在SRI-NIC机器上(26.0.0.73或10.0.0.51),向用户提供internet范围内的目录服务.本地主机上的用户程序可以通过Internet访问该服务器,其过程主要有下面三步:(1)在TCP服务端口43(十进制)连…

http://zh.wikipedia.org/wiki/TCP/UDP%E7%AB%AF%E5%8F%A3%E5%88%97%E8%A1%A8 TCP/UDP端口列表     本条目可通过翻译外语维基百科相应条目来扩充. 请在翻译前点击右边的“显示▼”了解重要说明. 不要翻译不可靠及低质量的内容.若可能,请查证外语条目中的参考来源. 基于版权协议,提交翻译时请在编辑摘要注明翻译来源,也可以将{{Translated page}}加入讨论页. 可从维基百科:翻译请求和维基百科:翻译守则获取更多指…

众所周知NMAP是经常用来进行端口发现.端口识别.除此之外我们还可以通过NMAP的NSE脚本做很多事情,比如邮件指纹识别,检索WHOIS记录,使用UDP服务等. 发现地理位置 Gorjan Petrovski提交了个NMAP的NSE脚本,帮助我们定位远程IP的地理位置:ip-geolocation-maxmind,ip-geolocation-ipinfodb,和ipgeolocation-geobytes. 这将告诉我们如何设置并使用附带的NMAP NSE的地理位置脚本.  ip-geoloc…

1 .3 背景调研 robots. txt Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取. WHOIS whois是用来查询域名的IP以及所有者等信息的传输协议.简单说,whois就是一个用来查询域名是否已经被注册,以及注册域名的详细信息的数据库(如域名所有人.域名注册商). 1.3.1 检查robots.txt crawler英…

注:纯文本内容,代码独立另写,属于本人学习总结,无任何商业用途,在此分享,如有错误,还望指教. 1.为什么需要爬虫? 答:目前网络API未完全放开,所以需要网络爬虫知识. 2.爬虫的合法性? 答:爬虫目前处于早期阶段,可爬取一些真实数据,关于私人数据需要获取版权才不至于被人控告. 3.爬虫之前有哪些需要的操作? 1>检查robots.txt       (查看有无限制) 查看robots.txt: #section 1                    #禁止用户代理为BadCrawler的…

计算机之间依照互联网传输层TCP/IP协议不同的协议通信,都有不同的对应端口.所以,利用短信(datagram)的UDP,所采用的端口号码不一定和采用TCP的端口号码一样.以下为两种通信协议的端口列表链接: 目录 [隐藏]  1端口状态颜色图例 20到1023号端口 31024到49151号端口 449152到65535号端口 5参考文献 6相关 7外部链接 端口状态颜色图例 以下方块,以如下颜色和标签,标明了端口的状态: 使用状态 叙述 颜色 官方 应用与端口组合记录在IANA的端口分配列表中…

计算机之间依照互联网传输层TCP/IP协议不同的协议通信,都有不同的对应端口.所以,利用短信(datagram)的UDP,所采用的端口号码不一定和采用TCP的端口号码一样.以下为两种通信协议的端口列表链接: 目录 1 端口状态颜色图例 2 0到1023号端口 3 1024到49151号端口 4 49152到65535号端口 5 参考文献 6 相关 7 外部链接 端口状态颜色图例 以下方块,以如下颜色和标签,标明了端口的状态: 使用状态 叙述 颜色 官方 应用与端口组合记录在IANA的端口分配列表…

1.检查robots.txt 让爬虫了解爬取该网站时存在哪些限制. 最小化爬虫被封禁的可能,而且还能发现和网站结构相关的线索. 2.检查网站地图(robots.txt文件中发现的Sitemap文件) 帮助爬虫定位网站最新的内容,而无须爬取每一个网页. 网站地图提供了所有网页的链接,我们仍需对其谨慎处理,因为该文件经常存在缺失.过期或者不完整的问题. 3.估算网站大小 爬取效率(使用分布式) 方法:检查Google爬虫的结果(Google中搜索site:www.xxxxx.com/xxxxxx)…

扫描左上角二维码,关注公众账号 数字货币量化投资,回复“1279”,获取以下600个Python经典例子源码 ├─algorithm│       Python用户推荐系统曼哈顿算法实现.py│      NFA引擎,Python正则测试工具应用示例.py│      Python datetime计时程序的实现方法.py│      python du熊学斐波那契实现.py│      python lambda实现求素数的简短代码.py│      Python localtime()方法计…

被动信息收集 特点: 基于公开渠道 与目标不直接接触 避免留下一切痕迹 标准參考--OSINT: 美国军方 北大西洋公约组织 名词解释 DNS--Domain Name System 域名系统 因特网上作为域名和IP地址相互映射的一个分布式数据库,可以使用户更方便的訪问互联网,而不用去记住可以被机器直接读取的IP数串. 通过主机名.终于得到该主机名相应的IP地址的过程叫做域名解析(或主机名解析).DNS协议执行在UDP协议之上,使用port号53. 在RFC文档中RFC 2181对DNS有规范说…