Python in the process of accessing the web page,encounter with cookie,so we need to get it. cookie in Python is form of a dictionary exists ,so cookie is {'cookie':'cookies'} get cookie need webdriver(),Several browsers/drivers are supported (Firefox…

crawl blog website: www.apress.com # -*- coding: utf-8 -*- """ Created on Wed May 10 18:01:41 2017 @author: Raghav Bali """ """ This script crawls apress.com's blog page to: + extract list of recent blog post t…

最近在做语义方面的问题,需要反义词.就在网上找反义词大全之类的,但是大多不全,没有我想要的.然后就找相关的网站,发现了http://fanyici.xpcha.com/5f7x868lizu.html,还行能把“老师”-“学生”,“医生”-“病人”这样对立关系的反义词查出来. 一开始我想把网站中数据库中存在的所有的词语都爬出来(暗网爬虫),但是分析了url的特点: http://fanyici.xpcha.com/5f7x868lizu.html 查询词和非阴影部分的剩余的7个位置有关,如果暴力…

遍历系统中某一目录下的所有文件名 #! /usr/bin/python # coding:utf-8 import os def dirList(path): filelist = os.listdir(path) print filelist dirList('/Users/spdbma/python') 结果: spdbmadeMacBook-Pro:python spdbma$ python dirlist.py ['.DS_Store', 'CharPainting', 'crawler…

pyrailgun 0.24 : Python Package Index pyrailgun 0.24 Download pyrailgun-0.24.zip Fast Crawler For Python This is a simple python crawler framework for human you can crawler website more easily only need a json file to descrip your crawler optional mo…

今天早上起来,第一件事情就是理一理今天该做的事情,瞬间get到任务,写一个只用python字符串内建函数的爬虫,定义为v1.0,开发中的版本号定义为v0.x.数据存放?这个是一个练手的玩具,就写在txt文本里吧.其实主要的不是学习爬虫,而是依照这个需求锻炼下自己的编程能力,最重要的是要有一个清晰的思路(我在以这个目标努力着).ok,主旨已经订好了,开始‘撸串’了. 目标网站:http://bohaishibei.com/post/category/main/(一个很有趣的网站,一段话配一个图,老…

爬虫的基本流程 网络爬虫的基本工作流程如下: 首先选取一部分精心挑选的种子URL 将种子URL加入任务队列 从待抓取URL队列中取出待抓取的URL,解析DNS,并且得到主机的ip,并将URL对应的网页下载下来,存储进已下载网页库中.此外,将这些URL放进已抓取URL队列. 分析已抓取URL队列中的URL,分析其中的其他URL,并且将URL放入待抓取URL队列,从而进入下一个循环. 解析下载下来的网页,将需要的数据解析出来. 数据持久话,保存至数据库中. 爬虫的抓取策略 在爬虫系统中,待抓取URL…

#coding=utf-8 #urllib操作类 import time import urllib.request import urllib.parse from urllib.error import HTTPError, URLError import sys class myUrllib: @staticmethod def get_headers(headers): default_headers = { 'User-Agent': r'Mozilla/5.0 (Windows NT…

学校校园网的网络连接有免费连接和收费连接两种类型,可想而知收费连接浏览体验更佳,比如可以访问更多的网站.之前收费地址只能开通包月服务才可使用,后来居然有了每个月60小时的免费使用收费地址的优惠.但是,一旦连接了收费地址而忘记及时断开,60小时会很快用完.     为了节约收费地址的使用时间,采用如下方案:每隔1个小时,都在本机上断开校园网的收费连接,同时连接免费连接,这样,每次手动连接收费连接之后,最多使用1个小时,就会被自动断开. 1. python实现连接/断开网络连接      通过执行p…

模拟登陆与文件下载 爬取http://moodle.tipdm.com上面的视频并下载 模拟登陆 由于泰迪杯网站问题,测试之后发现无法用正常的账号密码登陆,这里会使用访客账号登陆. 我们先打开泰迪杯的登陆界面,打开开发者工具,选择Network选单,点击访客登陆. 注意到index.php的资源请求是一个POST请求,我们把视窗拉倒最下面,看到表单数据(Form data),浏览器在表单数据中发送了两个变量,分别是username和password,两个变量的值都是guest.这就是我们需要告诉…