import re import urllib def getHtml(url): page=urllib.urlopen(url) html=page.read() return html def getpic(html): s=r'src="(.*?\.jpg)" pic_ext' reg=re.compile(s) #这句可有可无 piclist=re.findall(reg,html) x=0 for imgurl in piclist: urllib.urlretrieve(…

前言 前些天无意间在百度搜索了一下以前写过的博客 我啥时候在这么多不知名的网站上发表博客了???点进去一看, 内容一模一样,作者却不是我... 然后又去搜了其他篇博客,果然,基本上每篇都在别的网站上有,细想,可能是通过网络爬虫爬取博客园首页博客,然后copy至自己网站中,于是乎,博主也来实现一遍爬取流程... 实现思路 先访问博客园首页,F12查看源代码,可以看到博客的链接和标题都是放在一个a标签里, 点击一下上一下.下一页,再看一下请求参数,嗯...这个应该是页码参数 通过以上这些信息,我们就…

服务端: import socket sock = socket.socket() sock.bind(("127.0.0.1",8899)) sock.listen(5) while True: print("server is waiting...") client_sock, client_addr = sock.accept() print(client_addr, client_sock) while True: data = client_sock.re…

起因 深夜忽然想下载一点电子书来扩充一下kindle,就想起来python学得太浅,什么“装饰器”啊.“多线程”啊都没有学到. 想到廖雪峰大神的python教程很经典.很著名.就想找找有木有pdf版的下载,结果居然没找到!!CSDN有个不完整的还骗走了我一个积分!!尼玛!! 怒了,准备写个程序直接去爬廖雪峰的教程,然后再html转成电子书. 过程 过程很有趣呢,用浅薄的python知识,写python程序,去爬python教程,来学习python.想想有点小激动…… 果然python很是方便,5…

介绍:此程序是使用python做的一个爬虫小程序  爬取了python百度百科中的部分内容,因为这个demo是根据网站中的静态结构爬取的,所以如果百度百科词条的html结构发生变化 需要修改部分内容.词条链接 http://baike.baidu.com/item/Python 逻辑步骤:1.主程序部分,主要初始化程序中需要用到的各个模块分为(1)链接管理模块.  (2)链接下载保存模块   (3)解析网页模块   (4)输出解析内容模块,然后就是写抓取网页内容的方法. 下边为爬取方法代码: d…

//爬虫小程序 var express = require('express'); //superagent是一个http的库,可以发起get和post请求 var superagent = require('superagent'); //cheerio是一个类似于jquery的库,用来从网页中以css 选择器取数据, //使用方式和jquery相同 var cheerio = require('cheerio'); var app = express(); app.get('/', func…

我自己在学习python时自己动手做了几个简单实用的小程序,对大家做图像的增强很有效果,我包括我的同学目前都在用我的小程序来做图像增强,非常的实用.话不多说上代码: import globimport os from skimage import io,exposure os.chdir(r"H:\beixin")a="H:\\beixin\\"i=0;for file_name in glob.glob("*.jpg"): img=io.imr…

自己做的一个Java爬虫小程序 废话不多说.先上图. 目录命名是用标签缩写,假设大家看得不顺眼能够等完成下载后手动改一下,比方像有强迫症的我一样... 这是挂了一个晚上下载的总大小,只是还有非常多由于一些问题没有遍历下载到,并且会产生非常多空文件,最以下我附带了一个递归删除空目录的小程序代码. 接下来是目录内部~ 图片存放位置默觉得d:\picture.可在程序中更改,main函数的开头就是,有凝视.爬取的站点为http://www.mmonly.cc/.大家有更好的资源站点能够私我. 拿了资源…

今天尝试使用python写一个网络爬虫代码,主要是想訪问某个站点,从中选取感兴趣的信息,并将信息依照一定的格式保存早Excel中. 此代码中主要使用到了python的以下几个功能,因为对python不熟悉,把代码也粘贴在以下. 1, 使用url打开站点网页 import urllib2 data = urllib2.urlopen(string_full_link).read().decode('utf8') print data 2,使用正則表達式匹配 import re #一般的英文匹配 r…

前言 大家还记得教会父母玩微信是什么时候吗?父母学会后,我们的生活就发生了「质」的变化,父母也许会吐槽你的微信头像不好,要你换一个头像. 最近 pk哥 又被母后大人吐槽了,原因是亲戚微信群里某个亲戚生日,在群里没说生日快乐,吐槽我没礼貌.这种群常年发小程序,所以自然是设置为免打扰状态了,谁还天天盯着这个群看啊,长辈聊的话题我们又插不上话的.又要逼我开发小工具了,说干就干,10 行代码制作一款关键词自动回复或者提醒小助手. 前提 这个小工具能使用的前提是你的微信能够登录网页版微信,因为本次用到的…