#python.py from bs4 import BeautifulSoup import urllib.request from MySqlite import MySqlite global g_intid g_intid=0 def GetBlogTileAndName(url): res = urllib.request.urlopen(url) html = res.read() res.close() str(html, 'utf-8') soup=BeautifulSoup(h…

引子 最近折腾node,最开始像无头苍蝇一样到处找资料,然而多数没什么卵用,都在瞎比比.在一阵瞎搞后,我来分享一下初步学习node的三个过程: 1 撸一遍NODE入门,对其有个基本的了解: 2 撸一遍cnode.js社区管理员写的包教不包会node课程,内容量相对于 NODE入门多了很多,特别是这个可能更注重实际项目的构建方式. 3 通读一遍朴灵的<node.js深入浅出>,配合着api一起看(还在继续..药不能停). 尽看书总是有一种茫然不知所措的感觉,就像手中有一把锋利的钢刀,却不知该如何…

转载请标明出处: http://blog.csdn.net/forezp/article/details/70198541 本文出自方志朋的博客 今天一时兴起,想用python爬爬自己的博客,通过数据聚合,制作高逼格的云图(对词汇出现频率视觉上的展示),看看最近我到底写了啥文章. 一.直接上几张我的博客数据的云图 1.1 爬取文章的标题的聚合 1.2 爬取文章的摘要的聚合 1.3 爬取文章的标题+摘要的聚合 我最近写了SpringCloud系列教程,还有一些微服务架构方面,从云图上看,基本吻合.…

一.概述 二.从demo_app开始 三.WSGI中的application 四.区分URL 五.重构 1.正则匹配URL 2.DRY 3.抽象出框架 六.参考 一.概述 在Python中,WSGI(Web Server Gateway Interface)定义了Web服务器与Web应用(或Web框架)之间的标准接口.在WSGI的规范下,各种各样的Web服务器和Web框架都可以很好的交互. 由于WSGI的存在,用Python写一个简单的Web框架也变得非常容易.然而,同很多其他的强大软件一样,要…

[Python爬虫笔记][随意找个博客入门(一)] 标签(空格分隔): Python 爬虫 2016年暑假 来源博客:挣脱不足与蒙昧 1.简单的爬取特定url的html代码 import urllib.request url = "http://120.27.101.158/" response = urllib.request.urlopen(url) html = response.read() html = html.decode('utf-8'); print (html) u…

由于一次巧遇,我阅读了Yuan先生的一篇博客文章,感觉从Yuan先生得博客学到很多东西,很喜欢他得文章.于是我就关注了他,并且想阅读更多出自他手笔得博客文章,无奈,可能Yuan先生不想公开自己得博客吧,在他的博客主页找不到他的文章.于是我就想利用爬虫技术来爬取他的文章,研究了一下,找到了入口点,最后爬到了112篇出自他手笔的文章. Yuan先生的博客文章链接: web框架 - Yuan先生 - 博客园https://www.cnblogs.com/yuanchenqi/articles/7690…

为了避免自己忘了Python的爬虫相关知识和流程,下面简单的记录一下爬虫的基本要求和编程问题!! 简单了解了一下,爬虫的方法很多,我简单的使用了已经做好的库requests来获取网页信息和BeautifulSoup来进行正则判定文本.这样也算是简单的入门了爬虫的基本实验,也能够从网页上爬取自己想要的信息! link = 'http://news.sina.com.cn/' res = requests.get(link) res.encoding = 'utf-8' #设置文本的编码格式是utf…

每天的工作其实很无聊,早知道应该去IT公司闯荡的.最近的工作内容是每逢一个整点,从早7点到晚11点,去查一次客流数据,整理到表格中,上交给素未蒙面的上线,由他呈交领导查阅. 人的精力毕竟是有限的,所以不一定在每个整点都可以及时去做这项工作.灵机一动,这种一丝不苟的活儿应该让计算器来做,由它来在每个整点来告诉我该去工作了. 说干就干,平时只用c#写过小程序,由于办公电脑上是公用的,所以没有想自己电脑一样装有visual studio,索性心一横,用python试试吧.总是听说那句大名鼎鼎的“人生苦…

简单爬虫批量获取资源网站的下载链接 项目链接:https://github.com/RealIvyWong/GotDownloadURL 1 由来 自己在收集剧集资源的时候,这些网站的下载链接还要手动一个一个复制到百度云离线下载里,稍微懂了一点编程就不想做这种无意义的劳动了.于是就写了一个这样的一个小项目. 目前支持的网站有美剧天堂,追新番.(其他网站要不就是我还不知道,要不就是资源并不好--) 2 环境依赖 使用的Python 3.7. 需要额外安装的应该就只有bs4. 直接使用pip就能安装…

这两天Google墙得严重,于是就产生了做个一键更新hosts的脚本的想法. 由于正在学习Python,理所当然用Python来写这个脚本了. 接触比较多的就是urllib2这个库,习惯性的import进去了.还要import一个re的库,让Python支持正则表达式.关于正则表达式我研究不多,只会点简单的,如果想了解下正则表达式可以上这个网站http://deerchao.net/tutorials/regex/regex.htm. Python比较简洁,这里就用到了个写入文件的语法.下面贴上…