def remove_js_css (content): """ remove the the javascript and the stylesheet and the comment content (<script>....</script> and <style>....</style> <!-- xxx -->) """ r = re.compile(r'''<scrip…

pyQuery pyQuery 是 jQuery 在 python 中的实现,能够以 jQuery 的语法来操作解析 HTML 文档,十分方便.使用前需要安装,easy_install pyquery 即可,或者 Ubuntu 下 sudo apt-get install python-pyquery 以下例子: from pyquery import PyQuery as pyq doc=pyq(url=r'http://list.taobao.com/browse/cat-0.htm') c…

SGMLParser Python 默认自带 HTMLParser 以及 SGMLParser 等等解析器,前者实在是太难用了,我就用 SGMLParser 写了一个示例程序: import urllib2 from sgmllib import SGMLParser   class ListName(SGMLParser): def __init__(self): SGMLParser.__init__(self) self.is_h4 = "" self.name = [] def…

#每个connector都有一个 Connection对象@implementer(interfaces.ITCPTransport, interfaces.ISystemHandle) class Connection(_TLSConnectionMixin, abstract.FileDescriptor, _SocketCloser, _AbortingMixin): """ Superclass of all socket-based FileDescriptors.…

一 . 前言 Django 提供了admin 组件 为项目提供基本的管理后台功能(对数据表的增删改查). 本篇文章通过 admin源码 简单分析admin 内部原理 ,扩展使用方式,为以后进行定制和自己开发组件做铺垫. 二. 简单使用 1.在app 目录下的admin.py 中通过注册表 from django.contrib import admin from blog01.models import * admin.site.register([UserInfo,User,Blog]) #…

最近公司需要我写一个高性能RESTful服务组件.我之前很少涉及这种高性能服务器架构,帮公司和平时没事玩都是写脚本级别的东西.虽然好多基础组件(sphinx.logging.configparse等)都知道一点,但是就是不知道怎么能写一个完备的服务器.看到网友们都说分析现成的python项目代码非常涨经验.我决定分析一下tornado看看,在这里把分析的体悟写在这里. 软件版本:tornado 4.5.2 stable 分析原点:官方包自带helloworld.py,位于/demos/hello…

如果需要优化boot time,就需要一个量化的工具来分析每个阶段的时间消耗.这种类型的优化特别适合使用基于timeline的图表,有着明显的时间顺序.要求不但能给出整个流程消耗的时间,还要能对流程进行细化,获得每个阶段的时间.先从总体上查看优化程度,然后逐个查看异常的阶段. 分析工具化之后,可以快速的迭代,获得测试结果的平均值和均方差,已验证修改的有效性和稳定性. 基于analyze_boot.py分析Android/Linux的kernel boot时间 1.修改HiKey的BoardCon…

Python应用程序内存泄漏的调试 Quake Lee quakelee@geekcn.org 新浪网技术(中国)有限公司 Sina Research & Development Python-LDAP是什么? Python-LDAP是一个第三方的开源项目,主要目标是实现python的LDAP接口, 这是一个由C语言编写的Python扩展模块. 该模块的主要功能是把通过C接口调用libldap从中取出的数据,转换成为Python的对象, 除此之外还有逆向转换 Python-LDAP存在的问题 C…

最近因为考试各种复习顺便刷电视剧,感觉跟小伙伴玩的越来越不开心了,一定是最近太闲了,恩.于是想研究一下代理服务器,下载了一份代码,发现竟然还涉及到socket编程,所以把之前网络课的socket聊天室小课设拿出来整理一下思路. 代码参考资料:http://www.oschina.net/code/snippet_1387924_25928 先贴代码: #coding:utf-8 import socket import sys import threading class server(obje…

基于analyze_boot.py分析Android/Linux的kernel boot时间 1.修改HiKey的BoardConfig.mk文件,使能initcall_debug,增加dmesg buffer大小. diff --git a/hikey/BoardConfig.mk b/hikey/BoardConfig.mkindex 6d17130..64e8789 100644--- a/hikey/BoardConfig.mk+++ b/hikey/BoardConfig.mk@@ -…

妹子图网站爬取---前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写爬图片这一件事情.希望可以做好. 为了写好爬虫,我们需要准备一个火狐浏览器,还需要准备抓包工具,抓包工具,我使用的是CentOS自带的tcpdump,加上wireshark ,这两款软件的安装和使用,建议你还是学习一下,后面我们应该会用到. 妹子图网站爬取---网络请求模块requests Python中的大量开源的模块使得编码变的特别简单,我们写爬…

作用:memory_profiler是用来分析每行代码的内存使用情况 使用方法一: 1.在函数前添加 @profile 2.运行方式: python -m memory_profiler memory_profiler_test.py 此方法缺点:在调试 和 实际项目运行时 要 增删 @profile 此装饰器 代码如下: #coding:utf8 @profile def test1(): c=0 for item in xrange(100000): c+=1 print c if __na…

RobotFramework官方demo Quick Start Guide浅析   by:授客 QQ:1033553122     博客:http://blog.sina.com.cn/ishouke    欢迎加入软件性能测试交流QQ群:7156436       目录 1. 开发环境 1 2. 安装robotframework 1 3. 脚本分析 2 sut/login.py 2 Lib/LoginLibrary.py 6 运行rst配置文件 9   1. 开发环境 win7 x64 Py…

先给出的代码和目录结构 获取CPU代码如下: # -*- coding:utf-8 -*- ''' Created on Sep 10, 2018 @author: ''' import sys import time import subprocess from config.getConfig import GetConfigs conf = GetConfigs("config") count = conf.getValue("cpu_times", &quo…

虚拟环境 什么是虚拟环境 对真实的python解释器的一个拷贝版本 是事实有效的,可以独立存在运行解释python代码 可以在计算机上拷贝多个虚拟环境 为什么要使用虚拟环境 保证真实环境的纯净性 框架的多版本共存 方便做框架的版本迭代 降低多框架共存的维护成本 安装虚拟环境 1.通过pip3安装虚拟环境: -- pip3 install virtualenv 2.前往目标文件夹: -- cd 目标文件夹 (D:\Virtualenv) 3.创建纯净虚拟环境: -- virtualenv 虚拟环境…

目录: 1.timeit 1.1 在命令后调用timeit 1.2 在代码中使用 1.3 创建计时器实例,通过autorange获得循环次数 1.4 Wall时间和CPU时间 2.profile和cProfile 2.1 使用cProfile 2.2 将cProfile封装成装饰器 或 上下文 2.3 line_profiler 逐行分析代码耗时 2.4 memory profiler 逐行分析代码占用内存 1.timeit  python标准库自带 其算法如下: 将代码循环之行多次(参数名nu…

一.概述 Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本.这个 Web 框架看起来有些像是一个py文件,不过为了能有效利用非阻塞式服务器环境,这个 Web 框架还包含了一些相关的有用工具和优化.       Tornado 和现在的主流 Web 服务器框架(包括大多数 Python 的框架)有着明显的区别:它是非阻塞式服务器,而且速度相当快.得利于其 非阻塞的方式和对 epoll 的运用,Tornado 每秒可以处理数以千计的连接,这意味着…

为了弥补pcap文件的缺陷,让抓包文件可以容纳更多的信息,pcapng格式应运而生.关于它的介绍详见<PCAP Next Generation Dump File Format> 当前的wireshark/tshark抓取的包默认都被保存为pcapng格式. 形而上的论述就不多谈了,直接给出一个pcapng数据包文件的例子: 然后我强烈建议,对着<PCAP Next Generation Dump File Format>来把一个实际抓取的pcapng文件里面的每一个字节都对应清除…

这是个github上开源前十的项目之一,笔者只完成学习了部分功能,前来分享点经验 整个工程 连接地址 :https://github.com/cuckoosandbox/cuckoo 0x01调试运行 学习代码很关键的就是调试了 所以首先奉上点调试小技巧 一个编译器最基本的就是调试了,所以先介绍下基本的调试啊 F9:调试运行,调试运行的过程中按F9,会直接走到下一个断点. F8:单步运行,相当于VS的F10 F7:也是单步运行,不过近函数,相当于VS的F11 Ctrl+Alt+B:进函数 查看函…

因为工作的原因,近期笔者开始持续关注一些安全咨询网站,一来是多了解业界安全咨询提升自身安全知识,二来也是需要从各类安全网站上收集漏洞情报. 作为安全情报领域的新手,面对大量的安全咨询,多少还是会感觉无从下手力不从心.周末闲来无事,突发奇想,如果搞个爬虫,先把网络安全类文章爬下来,然后用机器学习先对文章进行分析,自动提取文章主成分关键词,然后再根据实际需求有选择的阅读相关文章,岂不是可以节省很多时间. 如果能提取文章的关键词,还可以根据近期文章的关键词汇总了解总体的安全态势和舆情,感觉挺靠谱. 整…

目录 渲染模块 渲染模块的效果 源码分析 如何自定义配置使用渲染类 自定义渲染模块 渲染模块 可以根据用户请求 URL 或 用户可接受的类型,筛选出合适的 渲染组件. reponse 数据 json 与 browser 两种渲染方式 浏览器 和 Postman 请求结果渲染数据的方式不一样 # 内置渲染器 # 可以根据用户请求 URL 或 用户可接受的类型,筛选出合适的 渲染组件. # 显示json格式:JSONRenderer http://127.0.0.1:8000/test/?forma…

[原文] 需求:打印一颗 ”*” 休息1s 代码如下: #!/usr/bin/python #coding=utf-8 ''' 暂停1s输出 ''' import time def printStar(n): for i in range(n): print " * ", time.sleep(1) if __name__ == '__main__': printStar(10) 输出结果(等待10s后一次性输出): [root@miner_k test]# python sleep.…

三大认证工作原理简介 认证.权限.频率 源码分析: from rest_framework.views import APIView 源码分析入口: 内部的三大认证方法封装: 三大组件的原理分析: 权限六表分析 基于用户权限访问控制的认证(RBAC):Role-Based-Access-Control;基于auth的认证规则(了解). Django框架采用的是RBAC认证规则:通常分为:三表规则.五表规则.Django采用的是六表规则. 三表:用户表.角色表.权限表 五表:用户表.角色表.权限表…

FBV与CBV 视图函数并不只是指函数,也可以是类 FBV:基于函数的视图,类似面向函数式编程 CBV:基于类的视图,类似面向对象编程 研究解析render源码: render:返回html页面:并且能够给该页面传值 分析:FBV视图原理 from django.shortcuts import render,HttpResponse # Create your views here. from django.template import Template,Context # FBV解析 de…

最近做性能测试时,发现连接第三方系统时会有约1%的交易提示如下错误 nested exception is org.apache.commons.httpclient.ConnectTimeoutException: The host did not accept the connection within timeout of 10000 ms 起先抱着能google就google的思路去找,结果没找到相应的解决方案,只能自己一步一步去排查了,下面记录下排查过程. 抓拍问题现场 涉及到网络的问…

知识点: assert 测试函数标记 跳过测试 标记预期失败的测试用例 1. asseet 返回的都是布尔值,等于False(F) 就是失败, assert 有很多 assert something assert a == b assert a <=b 2. 测试函数标记 pytest中提供了标记机制,使用marker做标记,一个测试函数可以有多个标记,当然一个marker可以标记多个测试函数,实战中,例如我们想对某些测试模块中的测试函数需要进行冒烟测试,某些测试函数不需要进行冒烟测试,,我们可…

安装了Python2.X和Python3.X后Python2.X IDLE打不开,两个版本都卸载后重装仍然打不开,在网上找了几种办法,希望对大家能有所帮助 1.首先查看环境变量是否配置正确 配置方法网上有很多例子,这里就不细说了 Path=C:\Python31 PYTHONPATH= C:\Python31\Lib;C:\Python31\Lib\tkinter TCL_LIBRARY=C:\Python31\tcl\tcl8.5 TK_LIBRARY=C:\Python31\tcl\tk8.…

之前写过一遍Aider.py,但只是跟着代码一顿阅读没有灵魂,所以重新对它阅读并重新写一遍. 描述 文件位置:aider/aider.py 是用来辅助验证的脚本 官方描述就一句话 代码阅读分析 这个脚本会监听8088端口.以及DNS监听53端口.可以将所有请求的dns请求记录下来辅助验证某处是否存在漏洞. 源代码: import socket,thread,datetime,time query_history = [] url_history = [] def web_server(): we…

#Py:数据挖掘之对微信朋友圈好友的性别.区域.昵称.签名信息进行情感分析——Jason niu import os import re import csv import time import json import jieba from jieba import analyse import itchat import base64 from snownlp import SnowNLP import requests import sys from collections import…

巡风xunfeng----巡风源码阅读与分析 巡风是一款适用于企业内网的漏洞快速应急.巡航扫描系统,通过搜索功能可清晰的了解内部网络资产分布情况,并且可指定漏洞插件对搜索结果进行快速漏洞检测并输出结果报表. 环境: 巡风是基于python的flask框架写的,数据库为mongodb. 可安装在Windows  OSX  Linux  Docker Python2.7  pip  mongodb 安装: 我安装在window,用于简单阅读代码和调试. https://github.com/ysrc…