1.apt-get install python-bs4 bs4只有py2的代码,安装在py3下会很麻烦 bs4支持HTML parser,也可以支持第三方的分析器 2.apt-get install python-lxml 3. apt-get install python-html5lib ------------------------------- 4.抓取程序 https://github.com/yfjelley/checkproxy…

 数据抓取的艺术(一):Selenium+Phantomjs数据抓取环境配置 2013-05-15 15:08:14 分类: Python/Ruby     数据抓取是一门艺术,和其他软件不同,世界上不存在完美的.一致的.通用的抓取工具.为了不同的目的,需要定制不同的代码.不过,我们不必Start from Scratch,已经有许多的基本工具.基本方法和基础框架可供使用.不同的工具.不同的方法.不同的框架的特点也不同.了解这些工具.方法和框架是首要任务,接下来就需要明白它们的差异都在哪里.什么…

利用python2.7抓取豆瓣电影top250 1.任务说明 抓取top100电影名称 依次打印输出 2.网页解析 要进行网络爬虫,利用工具(如浏览器)查看网页HTML文件的相关内容是很有必要,我使用的是Firefox浏览器,并安装了Firebug插件, 这个插件可以方便查看包括HTML在内许多内容 打开豆瓣电影排行榜top250网页,发现每页有25部电影,一共10页,其每一页url具有如下特征: http://movie.douban.com/top250?start=0 http://mov…

要用wireshark抓802.11的包 需要在linux下进行. 要在linux下抓802.11的包 需要在linux下安装无线网卡驱动. 所以 在正式抓取之前先把这两样东西搞起来. *没有特殊说明,均使用root权限 sudo su* 一 安装无线网卡驱动 无线网卡:DWA-160 USB无线网卡 网卡驱动:http://alris1.dlinkddns.com/download/dlink/DWA-160/DWA-160_B2_DPO_RT5572_LinuxSTA_2.6.1.3_201…

#coding=utf-8 __author__ = "carry" import sys reload(sys) sys.setdefaultencoding('utf-8') import urllib import urllib2 import re #获取源码 def get_content(page): headers = {#'Host':'search.51job.com', 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16…

Windbg抓取程序崩溃的dmp文件的方法 一.        简介 windbg是在windows平台下,强大的用户态和内核态调试工具.相比较于Visual Studio,它是一个轻量级的调试工具,所谓轻量级指的是它的安装文件大小较小,但是其调试功能,却比VS更为强大.它的另外一个用途是可以用来分析dump数据. 我们使用windbg的主要用途是来抓取IE崩溃产生的dmp文件,然后可以查看是哪个模块导致崩溃,从而协助开发判断分析问题所在. 二.        使用方法 设置WinDbg抓取环境…

程序崩溃的两种主要现象: a. 程序在运行中的时候,突然弹出错误窗口,然后点错误窗口的确定时,程序直接关闭 例如: “应用程序错误” “C++错误之类的窗口” “程序无响应” “假死”等 此种崩溃特点:程序已异常,在你未点出错窗口的确定或其他按,所有错误信息都还保留在PC的内存中,可以直接抓取Dump文件.当然,如果你知道 怎么样操作可以让程序崩溃,也可以用守株待兔的抓取方法抓Dump文件. b.程序在运行中的时候,窗口和进程突然消失,没有任何错误窗体 典型的现象:程序自动关闭 或者玩游戏时,游…

ubuntu 搭建简易的https网站 环境:ubuntu 12.04.5 openssl (1)创建一个ssl的保存路径 sudo mkdir /opt/nginx/ssl (2)生存密钥sudo openssl genrsa -out key.pem 2048 (3)sudo openssl req -new -x509 -nodes -out server.crt -keyout server.key (4)配置nginx server { listen 443; index index.…

前言 需求是来自于我在为我司的一个线上RPG游戏做特效的性能优化的过程中,需要验证对特效的一个改动是否能够提高性能,当然这个改动是在不影响美术效果的前提. 特效性能问题 技能特效 主角的一个大招(技能)会有10个特效,其中6个是相同的特效,也就是同一时间会存在6份相同的特效,但是从profiler来看这6份相同的特效的set passcall 和dc数量是随着特效数量而递增的(setpasscall=单个 x 数量),根据我的知识储备我判断这肯定有问题,最合理的情况是:多个特效的setpass…

最新想用爬虫实现抓取五大门户网站(搜狐.新浪.网易.腾讯.凤凰网)和电商数据(天猫,京东,聚美等), 今天第一天先搭建下环境和测试. 采用maven+xpath+ HttpClient+正则表达式. maven pom.xml配置文件信息 <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version>…