爬虫,是大家获取互联网公开数据的有效手段.爬虫.反爬虫技术.反-反爬虫技术随着互联网的不断发展,也在不断发展更新, 本文简要介绍现代的爬虫/BOT对抗技术,如有疏漏,多谢指正! 一.反爬虫/BOT技术 1.1 Robots.txt Robots.txt是一个古老的爬虫协议文件,他的位置位于域名根目录下.譬如http://example.com/robots.txt . 严格来讲Robots.txt并不算一个反爬虫技术,而是一个由爬虫遵守的协议.它通过几个简单的命令告知遵守Robots.txt的爬…

上一篇文章分别从网络协议,Robots文件,JS渲染,行为分析等多方面讲了些“反爬虫”,“反-反爬虫”技术. 点击查看:<常见爬虫/BOT 对抗技术简介(一)> 本文将主要介绍各种IP地址的获取及接入方式 2.2 VPN VPN是一个大家耳熟能详的技术.VPN最常用于连接办公网,以及规避流量审计.在WIKI中, VPN的定义如下: 虚拟私人网络(英语:Virtual Private Network,缩写为VPN)是一种常用于连接中.大型企业或团体与团体间的私人网络的通讯方法.它利用隧道协议(T…

2018-2019-2 网络对抗技术 20165318 Exp2 后门原理与实践 后门的基本概念及基础问题回答 常用后门工具 netcat Win获得Linux Shell Linux获得Win Shell Meterpreter 实验内容 任务一:使用netcat获取主机操作Shell,cron启动 任务二:使用socat获取主机操作Shell, 任务计划启动 任务三:使用MSF meterpreter(或其他软件)生成可执行文件,利用ncat或socat传送到主机并运行获取主机Shell 任…

2017-2018-2 20155314<网络对抗技术>Exp2 后门原理与实践 目录 实验要求 实验内容 实验环境 预备知识 1.后门概念 2.常用后门工具 实验步骤 1 用nc或netcat获取远程主机的Shell 1.1 Windows获得Linux Shell 1.2 Linux获得Win Shell 1.3 Mac获取Win shell 1.4 Win获取Mac Shell 1.5 Mac获取Linux Shell 1.6 Linux获取Mac Shell 1.7 Netcat扩展知…

2017-2018-2 『网络对抗技术』Final:Web渗透获取WebShell权限 --------CONTENTS-------- 一.Webshell原理 1.什么是WebShell 2.WebShell的特点 二.渗透工具简介 1.中国菜刀 2.御剑后台扫描工具 三.web应用程序配置 四.练习:利用DVWA文件上传漏洞获取WebShell权限 五.中国菜刀原理剖析 1.目录显示 2.文件上传 3.虚拟终端 六.浅析如何绕过WAF 写在最后:WebShell实践总结及本学期学习感想 附…

2017-2018-2 20155303 『网络对抗技术』Exp3:免杀原理与实践 --------CONTENTS-------- 1. 免杀原理与实践说明 实验说明 基础问题回答 2. 使用msf编码器生成后门程序及检测 3. 使用veil-evasion生成后门程序及检测 4. 使用shellcode生成后门程序并检测 5. 实验中遇到的问题及思考 尝试点其他有趣的?--自解压捆绑木马 同样的病毒,不同的杀软杀出来不一样的结果? 6. 实验总结及体会 附:参考资料 1. 免杀原理与实践说明…

.Net环境下的缓存技术介绍 (转) 摘要:介绍缓存的基本概念和常用的缓存技术,给出了各种技术的实现机制的简单介绍和适用范围说明,以及设计缓存方案应该考虑的问题(共17页) 1         概念 1.1   缓存能解决的问题 · 性能——将相应数据存储起来以避免数据的重复创建.处理和传输,可有效提高性能.比如将不改变的数据缓存起来,例如国家列表等,这样能明显提高web程序的反应速度: · 稳定性——同一个应用中,对同一数据.逻辑功能和用户界面的多次请求时经常发生的.当用户基数很大时,如果每次…

RAID技术介绍 简介 RAID是一个我们经常能见到的名词.但却因为很少能在实际环境中体验,所以很难对其原理 能有很清楚的认识和掌握.本文将对RAID技术进行介绍和总结,以期能尽量阐明其概念. RAID全称为独立磁盘冗余阵列(Redundant Array of Independent Disks),基本思想就是把多个相对便宜的硬盘组合起来,成为一个硬盘阵列组,使性能达到甚至超过一个价格昂贵. 容量巨大的硬盘.RAID通常被用在服务器电脑上,使用完全相同的硬盘组成一个逻辑扇区,因此操作系统只会把…

.Net环境下的缓存技术介绍 摘要: 介绍缓存的基本概念和常用的缓存技术,给出了各种技术的实现机制的简单介绍和适用范围说明,以及设计缓存方案应该考虑的问题(共17页) 1         概念 1.1   缓存能解决的问题 · 性能——将相应数据存储起来以避免数据的重复创建.处理和传输,可有效提高性能.比如将不改变的数据缓存起来,例如国家列表等,这样能明显提高web程序的反应速度: · 稳定性——同一个应用中,对同一数据.逻辑功能和用户界面的多次请求时经常发生的.当用户基数很大时,如果每次请求都…

最近由于某同学微信发了一些网络存储的文章,开始感兴趣,稍微收集了一些 一.  网络存储技术 http://ask.zol.com.cn/q/187044.html  (yxr:很老的技术介绍吧) 网络存储技术(Network Storage Technologies)是基于数据存储的一种通用网络术语. 网络存储结构大致分为三种:直连式存储(DAS:Direct Attached Storage).网络存储设备(NAS:Network Attached Storage)和存储网络(SAN:Stor…