并发爬虫小练习. 直接粘贴到本地,命名为.py文件即可运行,运行时的参数为你想要爬取的用户.默认是本博客. 输出是以用户名命名的目录,目录内便是博客内容. 仅供学习python的多线程编程方法,后续会重写成并行爬虫. 爬虫代码如下: # -*- coding:utf-8 -*- from multiprocessing.managers import BaseManager from pyquery import PyQuery import os, sys, urllib import re,…

推荐一款自己的软件作品[豆约翰博客备份专 豆约翰博客备份专家是完全免费,功能强大的博客备份工具,博客电子书(PDF,CHM和TXT)生成工具,博文离线浏览工具,软件界面美观大方,支持多个主流博客网站(QQ空间,百度空间,新浪博客,网易博客,豆瓣日记,天涯博客,19楼,博客园,和讯博客,CSDN博客,搜狐博客). 功能概述: 博客备份 可以解析备份博客的文章标题,文章类别,发表时间,文章正文,原文地址共五项内容.支持图片备份,支持断点续传备份,支持增量备份,只备份最新博文. 独立站点备份 备份一些…

cnblogs博客备份 备份地址:https://i.cnblogs.com/BlogBackup.aspx?type=1 备份文件为xml格式,打开备份文件,如下所示: <?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1…

用Python编写博客导出工具 罗朝辉 (http://kesalin.github.io/) CC 许可,转载请注明出处   写在前面的话 我在 github 上用 octopress 搭建了个人博客,octopress 使用Markdown语法编写博文.之前我在CSDN博客上也写过不少的技术博文,都说自己的孩子再丑也是个宝,所以就起了把CSDN博客里面的文章导出到个人博客上的念头.刚开始想找个工具把CSDN博客导出为xml或文本,然后再把xml或文本转换为Markdown博文.可惜搜了一下现…

python编写的自动获取代理IP列表的爬虫-chinaboywg-ChinaUnix博客 undefined Python多线程抓取代理服务器 | Linux运维笔记 undefined java如果模拟请求重启路由器(网络爬虫常用),还有java如何下载图片 - baidu_nod的专栏 - 博客频道 - CSDN.NET undefined [多线程数据采集]使用Jsoup抓取数据+破解屏蔽ip访问. - MiniBu - 开源中国社区 undefined 单linux服务器同时拨多条AD…

新人一枚,初来乍到,请多关照 来到博客园,不知道写点啥,那就去瞄一瞄大家都在干什么好了. 使用python 爬取博客园首页文章链接和标题. 首先当然是环境了,爬虫在window10系统下,python3.6.5环境中运行.使用python中的requests模块和BeautifulSoup模块. 通过包管理工具pip3安装requests和BeautifulSoup: pip3 install requests pip3 install bs4 贴代码: import requests from…

BlogPublishTool - 博客发布工具 这是一个发布博客的工具.本博客使用本工具发布. 本工具源码已上传至github:https://github.com/ChildishChange/BlogPublishTool 本工具主要参考了:如何高效的编写与同步博客(二)- 快速发布到多个渠道 一.痛点 最近实习,在给一个产品写教程博客,教程一共计划十篇博客. 平均每篇博客需要插入20+张图片, 同时博客之间有许多同一系列之间的链接, 并且我们需要在多个博客平台下发布博客(目前仅在cnbl…

1. 为什么用org-mode写博客 我最开始用Emacs, 是因为org-mode.这是一个专注于写,而让我忽略展示结果的一种写作方式.为 什么这么说?因为所有内容的格式都是可定制的.按照自己喜欢的格式编写一些格式化配置, 就可以 把org-mode写的内容输出到拥有特定格式的文件,比如html.pdf,这两种常用的文件类型. 除此外,org-mode还可以做计划(TODO list) 等等.这些对于日常的工作都是非常有帮助的. 我喜欢上了org-mode. 与此同时,我又写技术类博客,把自己…

Python是一种动态解释型的编程语言,它可以在Windows.UNIX.MAC等多种操作系统以及Java..NET开发平台上使用.不过包含的内容很多,加上各种标准库.拓展库,乱花渐欲迷人眼.因此如何进阶Python显得非常重要. 接下来看看比较好的讲Python进阶的博客,我这有十个,希望对你有帮助. 第一个是Planet Python,这是最出名的python博客其中之一: 第二个博客是Eli Bendersky 的博客:Eli Bendersky's website: 第三个博客是Code…

吐槽 博客园cnblogs作为老牌的IT技术博客类网站,为广大的开发者提供了非常不错的学习交流平台. 虽然博客内容才是重点,但是如果有赏心悦目的页面不更好吗! cnblogs可以更换博客模板,并且提供了custom模板供开发者自行定制. 但是看看模板库里的模板,截止目前118套模板中,98套是2010年以前的(/手动笑哭),全都是小学时网站的风格,无一不透露着程序员就是钢铁直男的强烈暗示.然后10年有4款,12年有7款,13年4款,15年4款,风格都并没有好转. 每次在cnblogs看博客查资料…