Python开发【笔记】：抓包（实时分隔）

python编写网络抓包分析脚本

python编写网络抓包分析脚本写网络抓包分析脚本,一个称手的sniffer工具是必不可少的,我习惯用Ethereal,简单,易用,基于winpcap的一个开源的软件 Ethereal自带许多协议的 decoder,但是它的架构并不灵活,如果你要加入一个自己定义的的解码器,得去修改Ethereal的代码,再重新编译,相当的烦琐对于一般的明文协议,没有什么问题,但是对于加密协议,比如网络游戏,客户端程序一般会在刚连接上的时候,发送一个随机密钥,而后的报文都会用这个密钥进行加密,诸如此类.要想…

python+pcap+dpkt 抓包小实例

#!/usr/bin/env python # -*- coding: utf-8 -*- """ 网络数据包捕获与分析程序 """ import pcap import dpkt import json import re import time from urllib import unquote # 过滤输出目标ip dst_lists = [ '203.66.1.212', # nslookup dpdcs.4399sy.com.hk '…

python开发笔记-通过xml快捷获取数据

今天在做下python开发笔记之如何通过xml快捷获取数据,下面以调取nltk语料库为例: import nltk nltk.download() showing info https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml Out[2]: True…

python爬虫——论抓包的正确姿势和学好Javascript的重要性（1）

没事想爬下数据,就入了scrapy坑,跟着https://zhuanlan.zhihu.com/data-factory这篇教程走,中间被小数量的网站坑过,不过还是写出了爬虫~~ 切糕王子:毫无防御,直接scan就可以了: 尚妆网:进这个网站时才发现,这和说好的不一样!!!这个网站也是采用了拖动到底才加载,不过貌似不能拖到底,要移到稍微上面才能加载?不过那个教程说的根据探查到的url找出规律,再伪装参数这点还是有用的批量爬取商品url代码(只有ShowjoySpider): # -*- cod…

python+pcap+dpkt抓包小实例

通过pcap与dpkt抓包解包示例: #!/usr/bin/env python # -*- coding: utf-8 -*- """ 网络数据包捕获与分析程序 """ import pcap import dpkt import json import re import time from urllib import unquote # 过滤输出目标ip dst_lists = [ '203.66.1.212', # nslookup dp…

python开发笔记-python调用webservice接口

环境描述: 操作系统版本: root@9deba54adab7:/# uname -a Linux 9deba54adab7 --generic #-Ubuntu SMP Thu Dec :: UTC x86_64 GNU/Linux root@9deba54adab7:/# root@9deba54adab7:/# more /etc/issue Debian GNU/Linux \n \l python环境: root@9deba54adab7:/# pip pip pip2 root@9d…

微信开发-charles抓包

在微信开发过程中有一块不能使用开发者工具进行调试,需要查看请求的返回,故使用了charles抓包工具. 环境配置 1.http://www.charlesproxy.com/getssl/ 下载charles,安装到电脑 2.选择菜单中的 “Proxy” –> “window Proxy” 将 Charles 设置成系统代理 ,就可以抓到电脑上发出的请求. 需要注意的是,Chrome 和 Firefox 浏览器默认并不使用系统的代理服务器设置,而 Charles 是通过将自己设置成代理服务器来完…

Java高效开发-fiddler抓包工具

1.简介 Fiddler是最常用的抓包工具之一,只要打开之后就能够实现数据包抓取,关闭之后会自动取消代理,非常方便本地调试 2.下载阿里云盘地址:https://www.aliyundrive.com/s/9bBZXqavfft 3.使用 1.http请求抓取 fiddler打开之后就能自动抓取http请求,在那可以看到请求头和响应头的信息右边 --------------------------------------------------- Result 状态码 Protocol 协议…

Python开发笔记：网络数据抓取

网络数据获取(爬取)分为两部分: 1.抓取(抓取网页) · urlib内建模块,特别是urlib.request · Requests第三方库(中小型网络爬虫的开发) · Scrapy框架(大型网络爬虫的开发) 2.解析(解析网页内容) · BeautifulSoup库 · re模块(正则表达式) 或者第三方API抓取和解析. Requests库(http://www.python-requests.org/en/master/) 基本方法: requests.get():请求获取指定URL位置…

python开发笔记-Python3.7+Django2.2 Docker镜像搭建

目标镜像环境介绍: 操作系统:ubuntu16.04 python版本:python 3.7.4 django版本:2.2 操作步骤: 1. 本地安装docker环境(略)2. 拉取ubunut指定版本镜像文件 docker pull ubuntu:16.04 3. 指定映射端口,启动容器补充启动容器注意点:启动的时候,加参数-t -it有区别, https://www.cnblogs.com/miracle-luna/p/11111852.html -i: 以交互模式运行容器,通常与 -t…

python开发笔记之zip()函数用法详解

今天分享一篇关于python下的zip()函数用法. zip()是Python的一个内建函数,它接受一系列可迭代的对象作为参数,将对象中对应的元素按顺序组合成一个tuple,每个tuple中包含的是原有序列中对应序号位置的元素,然后返回由这些tuples组成的list.若传入参数的长度不等,则返回list的长度和参数中长度最短的对象相同.在所有参数长度相同的情况下,zip()与map()类似,没有参数的情况下zip()返回一个空list. 使用zip反转字典 <span style=…

python开发笔记-python-numpy

一.Numpy概念 Numpy(Numerical Python的简称)是Python科学计算的基础包.它提供了以下功能: 除了为Python提供快速的数组处理能力,Numpy在数据分析方面还有另外一个主要作用,即作为在算法之间传递数据的容器.对于数值型数据,Numpy数组在存储和处理数据时要比内置的Python数据结构高效的多.此外,由低级语言(比如C和Fortran)编写的库可以直接操作Numpy数组中的数据,无需进行任何数据复制工作.圆柱模板二.Numpy的突出优势与Python的基…

Python开发笔记之正则表达式的使用

查找正则表达式 import re re_txt = re.compile(r'(\d)*.txt') m = re_txt.search(src) if not m == None: m.group(0) #complete str m.group(1) # first group string 匹配正则表达式 if re.match(r'(\d)*.txt',path): print("match") else: print("not match") 分割正则表…

python scapy 网卡抓包

首先需要安装scapy包,点击下载 from scapy.all import * def pack_callback(packet): print packet.show() if packet['Ether'].payload: print packet['Ether'].src print packet['Ether'].dst print packet['Ether'].type if packet['ARP'].payload: print packet['ARP'].psrc pri…

python学习笔记013——包package

1 包(模块包)package 1.1 包的定义包是将模块以文件夹的组织形式进行分组管理的方法 1.2 作用分类管理,有利于防止命名冲突可以在需要时加载一个或部分模块,而不是全部模块 mypack/├── games│ ├── contra.py│ ├── __init__.py│ └── tanks.py├── __init__.py├── menu.py└── office └── __init__.py 1.3 包的导入同模块的导入语句 import 语句 from i…

Python开发基础-Day7-闭包函数和装饰器基础

补充:全局变量声明及局部变量引用 python引用变量的顺序: 当前作用域局部变量->外层作用域变量->当前模块中的全局变量->python内置变量 global关键字用来在函数或其他局部作用域中使用全局变量,声明后可以在其他作用于中修改和使用 x=1 #全局赋值变量 def foo(): global x #函数内部全局声明变量x x=1111111 #函数内部修改全局变量x print(x) foo() print(x) global声明的变量在任何作用域都能够修改,所以一般非必要情…

python开发笔记-类

类的基本概念: 问题空间:问题空间是问题解决者对一个问题所达到的全部认识状态,它是由问题解决者利用问题所包含的信息和已贮存的信息主动的地构成的. 初始状态:一开始时的不完全的信息或令人不满意的状况: 目标状态:你希望获得的信息或状态: 操作:为了从初始状态迈向目标状态,你可能采取的步骤. 对象:对象(object),是面向对象(Object Oriented)中的术语,既表示客观世界问题空间(Namespace)中的某个具体的事物,又表示软件系统解空间中的基本元素. 对象:一个对象具有自…

Python开发笔记之-浮点数传输

操作系统 : CentOS7.3.1611_x64 gcc版本 :4.8.5 Python 版本 : 2.7.5 思路如下 : 1.将浮点数a通过内存拷贝,赋值给相同字节的整型数据b: 2.将b转换为网络字节序变量c并发送到服务端: 3.服务端接收c并将c转换为主机字节序变量d: 4.将整型数据d通过内存拷贝,赋值给相同字节的浮点数据e: 至此,浮点数网络传输完成. C示例代码: #define htonl64 htobe64 #define ntohl64 be64toh uint64_t h…

python开发笔记-ndarray方法属性详解

Python中的数组ndarray是什么? 1.NumPy中基本的数据结构 2.所有元素是同一种类型 3.别名是array 4.利于节省内存和提高CPU计算时间 5.有丰富的函数 ndarray的创建: import numpy as np >>> aArray=np.array([1,2,3]) >>> aArray array([1, 2, 3]) >>> bArray=np.array([(1,2,3),(4,5,6)]) >>>…

python开发笔记-连接rabbitmq异常问题unacked处理

待补充思路:捕获程序处理异常,异常情况下,也给队列生产者返回“确认”消息…

python开发笔记-pymsslq连接操作SqlServer数据库

1. 普通连接测试官方文档样例:http://pymssql.org/en/latest/pymssql_examples.html pymssql模块使用指南:https://blog.csdn.net/lin_strong/article/details/82868160 2. 执行查询语句 3. 执行带参数的语句 4. 执行存储过程…

python开发笔记-str转字典

后台接收到post请求数据格式为json格式的字符串,不能直接用字典的get方法 909090909090909090909090909090909 Internal Server Error: /get_data/sql_server/ Traceback (most recent call last): File "/usr/local/lib/python3.6/dist-packages/django/core/handlers/exception.py", line 41,…

python开发笔记-变长字典Series的使用

Series的基本特征: 1.类似一维数组的对象 2.由数据和索引组成 import pandas as pd >>> aSer=pd.Series([1,2.0,'a']) >>> aSer 0 1 1 2 2 a dtype: object bSer=pd.Series(['apple','peach','lemon'],index=[1,2,3]) >>> bSer 1 apple 2 peach 3 lemon dtype: object &g…

python开发笔记-DataFrame的使用

今天详细做下关于DataFrame的使用,以便以后自己可以翻阅查看 DataFrame的基本特征: 1.是一个表格型数据结构 2.含有一组有序的列 3.大致可看成共享同一个index的Series集合 import pandas as pd >>> data={'name':['Wangdachui','Linling','Niuyun'],'pay':[4000,5000,6000]} >>> frame=pd.DataFrame(data) >>>…

python开发笔记-如何做数据准备

时间格式: >>> from datetime import date >>> firstday = date.fromtimestamp(1464010200) >>> lastday = date.fromtimestamp(1495200600) >>> firstday datetime.date(2018, 2, 23) >>> lastday datetime.date(2018, 2, 19) 创建时间…

python开发笔记-字典按值排序取前n个key值

场景举例: 假如我们有某个班级的语文成绩数据,格式为字典,其中字典key为学生姓名,value为学生成绩: 那么,如何获得单科成绩排名前3的学生姓名? 代码如下:--数据样例,方便测试 def dic_order_value_and_get_key(dicts, count): # by hellojesson # 字典根据value排序,并且获取value排名前几的key # 样例: dicts = {'王二狗':66,'李大东':55,'刘小明':99, '胡八一':88} final_re…