使用python对csdn的博主文章进行爬取，期间又遇到了新的问题和旧的已经遇到过的问题。首先做一个笔记，免得以后遇到同样的问题时还得浪费时间和经历。

刚开始目的没那么明确，主要在于熟悉相关的规则及流程。采用的方式时正则表达式 + BeautifulSoup, 个人感觉正则表达时的好处时方便对数据进行过滤和筛选；BeautifulSoup则时专门用来处理xml文件的，它可以很方便的提取xml文件不同节点信息(包括节点的属性信息和参数值)。


  2. # author   : sunzd
  3. # date     : 2019/9/01
  4. # position : beijing
  6. from fake_useragent import UserAgent
  7. from bs4 import BeautifulSoup
  8. from urllib import request
  9. from urllib import error
  10. import re
  11. import time
  13. def html_request(url):
  14.     if url is None:
  15.         return
  16.     print("download html is :{0}".format(url))
  17.     #如果url包含中文，则需要进行编码
  19.     #模拟浏览器行为
  20.     headers = {'UserAgent': str(UserAgent().random)}
  21.     req = request.Request(url, headers=headers)
  23.     try:
  24.         html = request.urlopen(req).read().decode('utf-8')
  25.     except error.URLError as e:
  26.         if hasattr(e, "code"):
  27.             print(e.code)
  28.         if hasattr(e, "reason"):
  29.             print(e.reason)
  30.         return None
  31.     #print(html)
  32.     return html
  34. def html_parser(url, html):
  35.     if url is None or html is None:
  36.         return
  37.     # pattern = '<main>(.+?)</main>'   #因为<main>后紧跟的时‘\n’因此需要忽略掉使用模式修正符re.S使'.'可以匹配任意字符
  38.     # articles = re.compile(pattern, re.S).findall(html)
  39.     # articles = articles[0]
  41.     pattern_art = '<div class="article-item-box csdn-tracking-statistics" data(.+?)</div>'
  42.     # print(articles)
  43.     articles = re.compile(pattern_art, re.S).findall(html.replace('\n', ''))
  44.     print(articles.__len__())
  45.     for article in articles:
  46.         soup = BeautifulSoup(article, 'html.parser')
  47.         title = soup.find('a', attrs={'target': '_blank'})
  48.         # print(title)
  49.         print("文章题目:{0}\n文章类型:{1}".format(title.text.replace(' ', '').replace("原", "").replace("转", ""), title.span.text))
  50.         print("文章链接:{0}".format(title.attrs['href']))
  51.         infors = soup.find('div', attrs={'class': 'info-box d-flex align-content-center'})
  52.         # for infor in infors.p.next_siblings:   next_siblings : 因为不包括自己，因此会把第一个p节点信息去掉。
  53.         for infor in infors.children:
  54.             if infor == ' ':               # ‘ ’空格也会识别为他的孩子，因此需要过滤掉
  55.                 continue
  56.             # print("======{0}".format(infor))
  57.             if infor.span:                # 只需要<span >节点的信息
  58.                 print("{0}".format(infor.span.text))
  60.     pattern_next = '<li class="js-page-next js-page-action ui-pager ui-pager-disabled">'
  61.     next = re.compile(pattern_next).findall(html)
  62.     # print(html)
  63.     # print("是否为最后一页:{0}----{1}".format(len(next), next))
  64.     if len(next) == 0:
  65.         return 0
  66.     else:
  67.         return 0
  69. if __name__ == '__main__':
  70.     name = 's2603898260'
  71.     page = 1
  72.     url = "https://blog.csdn.net/" + name + "/article/list/" + str(page) + '?'
  74.     while page < 4:
  75.         html = html_request(url)
  76.         # print(html)
  77.         next = html_parser(url, html)
  78.         page += 1
  79.         url = "https://blog.csdn.net/" + name + "/article/list/" + str(page) + '?'
  80.         # if next != 0:
  81.         #    page += 1
  82.         #    url = "https://blog.csdn.net/" + name + "/article/list/" + str(page) + '?'
  83.         #else:
  84.         #    print("finished")
  85.         #    url = None
  87. '''
  88. https://blog.csdn.net/s2603898260/article/details/100067370
  89. '''

爬去的结果信息仅仅做了打印处理。后续添加存储到文件的处理。

爬去的结果如下：

  1. C:\ProgramData\Anaconda3\python.exe D:/pycharm/workspace/spiderAnalysis/AI_pie/sunzd_csdn.py
  2. download html is :https://blog.csdn.net/s2603898260/article/list/1?
  3. 20
  5. 文章题目:Python中正则表达式简介
  6. 文章类型:原
  7. 文章链接:https://blog.csdn.net/s2603898260/article/details/100067370
  8. 2019-08-25 21:48:03
  9. 阅读数 19
  10. 评论数 0 
  12. 文章题目:select、poll、epoll之间的区别
  13. 文章类型:转
  14. 文章链接:https://blog.csdn.net/s2603898260/article/details/97536708
  15. 2019-07-27 18:13:12
  16. 阅读数 22
  17. 评论数 0 
  19. 文章题目:如何实现自定义sk_buff数据包并提交协议栈
  20. 文章类型:原
  21. 文章链接:https://blog.csdn.net/s2603898260/article/details/92019175
  22. 2019-06-15 00:00:20
  23. 阅读数 54
  24. 评论数 0 
  26. 文章题目:DHCP协议及其交互过程
  27. 文章类型:原
  28. 文章链接:https://blog.csdn.net/s2603898260/article/details/90547537
  29. 2019-05-25 15:52:23
  30. 阅读数 31
  31. 评论数 0 
  33. 文章题目:交换机之三层交换理
  34. 文章类型:转
  35. 文章链接:https://blog.csdn.net/s2603898260/article/details/90489608
  36. 2019-05-23 22:44:45
  37. 阅读数 53
  38. 评论数 0 
  40. 文章题目:交换机之vlan详解
  41. 文章类型:转
  42. 文章链接:https://blog.csdn.net/s2603898260/article/details/90489469
  43. 2019-05-23 22:34:32
  44. 阅读数 178
  45. 评论数 0 
  47. 文章题目:指针与引用，值传递与地址传递的关系
  48. 文章类型:原
  49. 文章链接:https://blog.csdn.net/s2603898260/article/details/90417121
  50. 2019-05-21 22:43:20
  51. 阅读数 30
  52. 评论数 0 
  54. 文章题目:数据结构（三）：双向循环链表的函数实现
  55. 文章类型:原
  56. 文章链接:https://blog.csdn.net/s2603898260/article/details/90315926
  57. 2019-05-18 15:49:57
  58. 阅读数 13
  59. 评论数 0 
  61. 文章题目:数据结构（二）：线性表之链式存储函数实现
  62. 文章类型:原
  63. 文章链接:https://blog.csdn.net/s2603898260/article/details/90314798
  64. 2019-05-18 14:52:34
  65. 阅读数 10
  66. 评论数 0 
  68. 文章题目:数据结构（一）：线性表的顺序存储和链式存储
  69. 文章类型:原
  70. 文章链接:https://blog.csdn.net/s2603898260/article/details/90312257
  71. 2019-05-18 13:20:02
  72. 阅读数 18
  73. 评论数 0 
  75. 文章题目:Linuxproc文件系统小记
  76. 文章类型:原
  77. 文章链接:https://blog.csdn.net/s2603898260/article/details/89681905
  78. 2019-04-29 20:24:09
  79. 阅读数 15
  80. 评论数 0 
  82. 文章题目:第09课：GDB实用调试技巧（下）
  83. 文章类型:转
  84. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683723
  85. 2019-03-23 14:39:03
  86. 阅读数 7
  87. 评论数 0 
  89. 文章题目:第08课：GDB实用调试技巧（上）
  90. 文章类型:转
  91. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683713
  92. 2019-03-23 14:38:58
  93. 阅读数 7
  94. 评论数 0 
  96. 文章题目:第07课：GDB常用命令详解（下）
  97. 文章类型:转
  98. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683699
  99. 2019-03-23 14:38:53
  100. 阅读数 13
  101. 评论数 0 
  103. 文章题目:第06课：GDB常用命令详解（中）
  104. 文章类型:转
  105. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683582
  106. 2019-03-23 14:38:47
  107. 阅读数 44
  108. 评论数 0 
  110. 文章题目:第05课：GDB常用命令详解（上）
  111. 文章类型:转
  112. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683576
  113. 2019-03-23 14:38:19
  114. 阅读数 15
  115. 评论数 0 
  117. 文章题目:第04课：使用VS管理开源项目
  118. 文章类型:转
  119. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683568
  120. 2019-03-23 14:38:12
  121. 阅读数 20
  122. 评论数 0 
  124. 文章题目:第三课：GDB常用的调试命令概览
  125. 文章类型:转
  126. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683558
  127. 2019-03-23 14:38:02
  128. 阅读数 15
  129. 评论数 0 
  131. 文章题目:第二课：启动GDB调试
  132. 文章类型:转
  133. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683543
  134. 2019-03-23 14:37:46
  135. 阅读数 23
  136. 评论数 0 
  138. 文章题目:第一课：调试信息和调试理
  139. 文章类型:转
  140. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683528
  141. 2019-03-23 14:37:38
  142. 阅读数 25
  143. 评论数 0
  144. download html is :https://blog.csdn.net/s2603898260/article/list/2?
  145. 20
  147. 文章题目:GDB调试：Linux开发人员必备技能
  148. 文章类型:转
  149. 文章链接:https://blog.csdn.net/s2603898260/article/details/86683504
  150. 2019-03-23 14:37:24
  151. 阅读数 14
  152. 评论数 0 
  154. 文章题目:python3爬虫五大模块之五：信息采集器
  155. 文章类型:原
  156. 文章链接:https://blog.csdn.net/s2603898260/article/details/88760206
  157. 2019-03-23 14:34:48
  158. 阅读数 101
  159. 评论数 0 
  161. 文章题目:python3爬虫五大模块之四：网页解析器
  162. 文章类型:原
  163. 文章链接:https://blog.csdn.net/s2603898260/article/details/88759540
  164. 2019-03-23 14:00:55
  165. 阅读数 291
  166. 评论数 0 
  168. 文章题目:python3爬虫五大模块之三：网页下载器
  169. 文章类型:原
  170. 文章链接:https://blog.csdn.net/s2603898260/article/details/88758555
  171. 2019-03-23 12:17:19
  172. 阅读数 100
  173. 评论数 0 
  175. 文章题目:python3爬虫五大模块之二：URL管理器
  176. 文章类型:原
  177. 文章链接:https://blog.csdn.net/s2603898260/article/details/88758180
  178. 2019-03-23 11:59:04
  179. 阅读数 140
  180. 评论数 0 
  182. 文章题目:python3爬虫五大模块之一：爬虫调度器
  183. 文章类型:原
  184. 文章链接:https://blog.csdn.net/s2603898260/article/details/88757023
  185. 2019-03-23 11:36:28
  186. 阅读数 310
  187. 评论数 0 
  189. 文章题目:Windos下通过Wpcap抓包实现两个网卡桥接
  190. 文章类型:原
  191. 文章链接:https://blog.csdn.net/s2603898260/article/details/85067018
  192. 2018-12-18 16:43:02
  193. 阅读数 259
  194. 评论数 0 
  196. 文章题目:Linux始套接字抓取底层报文
  197. 文章类型:原
  198. 文章链接:https://blog.csdn.net/s2603898260/article/details/85020006
  199. 2018-12-16 00:08:09
  200. 阅读数 865
  201. 评论数 0 
  203. 文章题目:Linux网络编程：始套接字简介
  204. 文章类型:转
  205. 文章链接:https://blog.csdn.net/s2603898260/article/details/85019718
  206. 2018-12-15 23:18:45
  207. 阅读数 46
  208. 评论数 0 
  210. 文章题目:mac、ip、udp头解析
  211. 文章类型:转
  212. 文章链接:https://blog.csdn.net/s2603898260/article/details/85019482
  213. 2018-12-15 22:48:53
  214. 阅读数 46
  215. 评论数 0 
  217. 文章题目:IP头详解
  218. 文章类型:原
  219. 文章链接:https://blog.csdn.net/s2603898260/article/details/85019438
  220. 2018-12-15 22:43:39
  221. 阅读数 44
  222. 评论数 0 
  224. 文章题目:Linux网卡驱动sk_buff内核源码随笔
  225. 文章类型:原
  226. 文章链接:https://blog.csdn.net/s2603898260/article/details/83448735
  227. 2018-10-27 19:33:41
  228. 阅读数 238
  229. 评论数 1 
  231. 文章题目:图像处理之Canny边缘检测（一）
  232. 文章类型:转
  233. 文章链接:https://blog.csdn.net/s2603898260/article/details/80724816
  234. 2018-08-27 23:01:11
  235. 阅读数 86
  236. 评论数 0 
  238. 文章题目:针对Autocad2014第二次安装不上的问题
  239. 文章类型:原
  240. 文章链接:https://blog.csdn.net/s2603898260/article/details/81463225
  241. 2018-08-06 23:21:40
  242. 阅读数 5699
  243. 评论数 0 
  245. 文章题目:matlab纹理映射之地球
  246. 文章类型:原
  247. 文章链接:https://blog.csdn.net/s2603898260/article/details/81463073
  248. 2018-08-06 23:07:03
  249. 阅读数 365
  250. 评论数 0 
  252. 文章题目:SNMP协议之序言
  253. 文章类型:原
  254. 文章链接:https://blog.csdn.net/s2603898260/article/details/81041731
  255. 2018-07-14 11:40:17
  256. 阅读数 111
  257. 评论数 1 
  259. 文章题目:uboot命令简介
  260. 文章类型:原
  261. 文章链接:https://blog.csdn.net/s2603898260/article/details/80747431
  262. 2018-06-20 16:04:05
  263. 阅读数 100
  264. 评论数 0 
  266. 文章题目:tornado2.2安装教程
  267. 文章类型:原
  268. 文章链接:https://blog.csdn.net/s2603898260/article/details/79519506
  269. 2018-03-11 20:30:30
  270. 阅读数 1349
  271. 评论数 2 
  273. 文章题目:tar命令简介
  274. 文章类型:原
  275. 文章链接:https://blog.csdn.net/s2603898260/article/details/79435842
  276. 2018-03-04 12:37:54
  277. 阅读数 52
  278. 评论数 0 
  280. 文章题目:find命令简介
  281. 文章类型:原
  282. 文章链接:https://blog.csdn.net/s2603898260/article/details/79435828
  283. 2018-03-04 12:35:15
  284. 阅读数 71
  285. 评论数 0
  286. download html is :https://blog.csdn.net/s2603898260/article/list/3?
  287. 7
  289. 文章题目:文件的描述符和重定向
  290. 文章类型:原
  291. 文章链接:https://blog.csdn.net/s2603898260/article/details/79435815
  292. 2018-03-04 12:31:58
  293. 阅读数 72
  294. 评论数 0 
  296. 文章题目:containerof()函数简介
  297. 文章类型:原
  298. 文章链接:https://blog.csdn.net/s2603898260/article/details/79371024
  299. 2018-02-25 21:15:45
  300. 阅读数 15950
  301. 评论数 12 
  303. 文章题目:vim编辑器设置
  304. 文章类型:原
  305. 文章链接:https://blog.csdn.net/s2603898260/article/details/79354248
  306. 2018-02-25 19:20:50
  307. 阅读数 193
  308. 评论数 0 
  310. 文章题目:ubantu下载源详细目录
  311. 文章类型:原
  312. 文章链接:https://blog.csdn.net/s2603898260/article/details/79354253
  313. 2018-02-25 12:57:29
  314. 阅读数 285
  315. 评论数 0 
  317. 文章题目:sqlite数据库的基本用法及C语言的API接口简介
  318. 文章类型:原
  319. 文章链接:https://blog.csdn.net/s2603898260/article/details/78480137
  320. 2017-11-08 16:20:27
  321. 阅读数 185
  322. 评论数 0 
  324. 文章题目:C语言中volatile、register、const、static、extern、auto关键字的作用
  325. 文章类型:转
  326. 文章链接:https://blog.csdn.net/s2603898260/article/details/78476555
  327. 2017-11-08 11:16:20
  328. 阅读数 284
  329. 评论数 0 
  331. 文章题目:linux网络编程（一）
  332. 文章类型:原
  333. 文章链接:https://blog.csdn.net/s2603898260/article/details/78475106
  334. 2017-11-08 09:42:21
  335. 阅读数 155
  336. 评论数 0 
  338. Process finished with exit code 0

python爬区csdn文章信息(原始稿)的更多相关文章

  1. [Python学习] 简单爬取CSDN下载资源信息

    这是一篇Python爬取CSDN下载资源信息的样例,主要是通过urllib2获取CSDN某个人全部资源的资源URL.资源名称.下载次数.分数等信息.写这篇文章的原因是我想获取自己的资源全部的评论信息. ...

  2. Python 爬取美团酒店信息

    事由:近期和朋友聊天,聊到黄山酒店事情,需要了解一下黄山的酒店情况,然后就想着用python 爬一些数据出来,做个参考 主要思路:通过查找,基本思路清晰,目标明确,仅仅爬取美团莫一地区的酒店信息,不过 ...

  3. Python爬取拉勾网招聘信息并写入Excel

    这个是我想爬取的链接:http://www.lagou.com/zhaopin/Python/?labelWords=label 页面显示如下: 在Chrome浏览器中审查元素,找到对应的链接: 然后 ...

  4. python爬取豆瓣视频信息代码

    目录 一:代码 二:结果如下(部分例子)   这里是爬取豆瓣视频信息,用pyquery库(jquery的python库). 一:代码 from urllib.request import quote ...

  5. Python爬取CSDN博客文章

    0 url :http://blog.csdn.net/youyou1543724847/article/details/52818339Redis一点基础的东西目录 1.基础底层数据结构 2.win ...

  6. python 爬取豆瓣书籍信息

    继爬取 猫眼电影TOP100榜单 之后,再来爬一下豆瓣的书籍信息(主要是书的信息,评分及占比,评论并未爬取).原创,转载请联系我. 需求:爬取豆瓣某类型标签下的所有书籍的详细信息及评分 语言:pyth ...

  7. python爬取豆瓣电影信息数据

    题外话+ 大家好啊,最近自己在做一个属于自己的博客网站(准备辞职回家养老了,明年再战)在家里 琐事也很多, 加上自己 一回到家就懒了(主要是家里冷啊! 广东十几度,老家几度,躲在被窝瑟瑟发抖,) 由于 ...

  8. python爬取梦幻西游召唤兽资质信息（不包含变异）

    一.分析 1.爬取网站:https://xyq.163.com/chongwu/ 2.获取网页源码: request.get("https://xyq.163.com/chongwu/&qu ...

  9. python爬乌云dorps文章

    有时候翻看drops 无赖drops没有一个全部文章列表,所以就有了这个想法把所有文件标题链接都爬出来这样又直观又好找感兴趣的文章 #coding=utf-8 import re import url ...

随机推荐

  1. firewalld防火墙基础

    目录 一.firewalld 概述 二.firewalld与iptables 的区别 三.firewalld 区域概念 四.Firewalld数据处理流程 五.Firewalld检查数据包的源地址的规 ...

  2. 阿里面试Redis常考问题

    一提到Redis缓存,我们不得不了解的三个问题就是:缓存雪崩.缓存击穿和缓存穿透.这三个问题一旦发生,会导致大量的请求直接请求到数据库层.如果并发压力大,就会导致数据库崩溃.那p0级的故障是没跑了. ...

  3. MVVM窗体show的弹窗事件

    RestMatCutWin restMatCutWindow;//定义一个窗体的全局变量 private void RestMatCutWinExecute() { if (restMatCutWin ...

  4. Goland 这些技巧，学会开发效率翻倍！

    hi, 大家好,我是 hhf. <Goland 这些实操技巧,你可能还不会!>介绍了日常开发中一些比较好用的技巧.本篇文章继续介绍一些其他比较好用的技巧. 自定义结构 tag Goland ...

  5. MySQL学习07（规范化数据库设计）

    规范化数据库设计 当数据库比较复杂时我们需要设计数据库 糟糕的数据库设计 : 数据冗余,存储空间浪费 数据更新和插入的异常 程序性能差 良好的数据库设计 : 节省数据的存储空间 能够保证数据的完整性 ...

  6. pikachu PHP反序列化 XXE SSRF

    PHP反序列化在理解这个漏洞前,你需要先搞清楚php中serialize(),unserialize()这两个函数. 另外这个漏洞一般是在代码审计的时候发现的,在扫描或者黑盒测试的时候很难发现.1.序 ...

  7. xml的约束

    一.DTD约束xml 1.约束介绍 由于xml的标签由用户自己定义,因此在开发的时候,每个人都可以根据自己的需求来定义xml标签,这样导致项目中的xml难以维护,因此需要使用一定的规范机制来约束xml ...

  8. 题解 d

    传送门 写出来\(n^2\)就有81pts-- \(n^2\)的话枚举最后成为限制的是哪两个矩形,利用前缀和和二分\(n^3\)化\(n^2\)就行了 这题最无脑直接贪心的方法会有后效性 但实际上正解 ...

  9. Semaphore 的使用

    var workerSemphore = new Semaphore(0, 800000); var IsWorkThreadCreated = true; var workThread = new ...

  10. 如何选择Spring cloud和 Spring Boot对应的版本

    如何选择Spring cloud和 Spring Boot对应的版本 首先,我们进入Spring Cloud官网,查询Spring cloud的版本和对应的Spring Boot版本 打开Spring ...