孤荷凌寒自学python第七十三天开始写Python的第一个爬虫3

(完整学习过程屏幕记录视频地址在文末)

今天在上一天的基础上继续完成对我的第一个代码程序的书写。

直接上代码。详细过程见文末屏幕录像。

```

import requests

from bs4 import BeautifulSoup

import re

import datetime

import _mty

import _mf

import _mbs4

def msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):

return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

def myfirst(s,h):

r=requests.get(s,headers=h)

#print(r.text) #r.text得到的是页面源html代码

_mf.writeAllTextToTxtFileGhlh('1.txt',r.text)

bs=BeautifulSoup(r.text,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象

s=bs.prettify()

_mf.writeAllTextToTxtFileGhlh('2.txt',str(s))

rs=bs.select('.bigsize') #选择指定style样式表的html标签元素

for i in rs:

ele=i.find_all('a') #每个h5标签下只有一个a标签

strls=ele[0].get('href')

msgbox(strls) #取出地址

getcontentpage(strls,h)

break

def getcontentpage(strurl,h):

r=requests.get(strurl,headers=h)

_mf.writeAllTextToTxtFileGhlh('3.txt',r.text)

bs=BeautifulSoup(r.text,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象

s=bs.prettify()

_mf.writeAllTextToTxtFileGhlh('4.txt',str(s))

#---------------------------

#eletemp=bs.find_all("#epContentLeft") #现在eletemp是一个rs集合对象

#上一句是错误的,通过html标签对象的id值来查找应当使用的方法是:select方法

eletemp=bs.select('#epContentLeft') #list

msgbox(str(type(eletemp)))

eletitleparent=eletemp[0] #bs.element.Tag

msgbox(str(type(eletitleparent)))

eletitle=eletitleparent.h1

elesource=eletitleparent.div #elesource这种对象现在被称为:bs.element.Tag对象,可以被转换为列表,但不是列表

#msgbox(str(elesource))

strtitle=_mbs4.getAllTextGhlh(eletitle)

strdate=list(elesource)[0]

strdate=strdate.replace('来源:','')

strdate.strip()

strsource=_mbs4.getAllTextGhlh(elesource.a)

#msgbox(strtitle)

#msgbox(strsource)

msgbox(strdate)

#取正文

elecontent=bs.select('#endText') #所有的正文内容都这个div中,elecotent是一个List?

strcontent=_mbs4.getAllTextGhlh(elecontent)

data={

u'标题':strtitle,

u'日期':strdate,

u'来源':strsource,

u'内容':strcontent,

u'添加日期':datetime.datetime.now().__format__('%Y-%m-%d %H:%M:%S')

}

print(data)

strurl='http://tech.163.com/special/techscience/'

header={

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',

'Accept-Encoding':'gzip,
deflate',

'Accept-Language':'zh-CN,zh;q=0.9',

'Cache-Control':'max-age=0',

'Connection':'keep-alive',

'Cookie':'_ntes_nuid=4c64ad6c80e3504f05302ac133efb277;
_ntes_nnid=eb7c24e0daf48e922e31dc81e431fde2,1536978956105; Province=023;
City=023; NNSSPID=acab5be191004a2b81a3a6ee60f516dc; NTES_hp_textlink1=old; UM_distinctid=1683adcaeaf2f8-0e31bcdad8532c-3c604504-144000-1683adcaeb094d;
vjuids=-7a5afdb26.1683adccded.0.d9d34439a4e48; vjlast=1547175776.1547175776.30;
ne_analysis_trace_id=1547175775731; s_n_f_l_n3=7476c45eb02177f91547175775852;
vinfo_n_f_l_n3=7476c45eb02177f9.1.0.1547175775852.0.1547176062972',

'Host':'tech.163.com',

'If-Modified-Since':'Fri, 11
Jan 2019 03:01:05 GMT',

'Referer':'http://tech.163.com/',

'Upgrade-Insecure-Requests':'1',

'User-Agent':'Mozilla/5.0
(Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/63.0.3239.132 Safari/537.36'

}

header2={

'Host':'tech.163.com',

'User-Agent':'Mozilla/5.0
(Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/63.0.3239.132 Safari/537.36'

}

myfirst(strurl,header2)

```

二、为了取出指定html相关对象中内含的innerText文本方便,专门写了一函数并放在一个自定义模块中:

【_mbs4.py】

```

#!/usr/bin/env
python3

# -*-
coding: utf-8 -*-

import string

import _mty

import _cl #常用常量模块

import _mre

mbsErrString=''

def msgbox(info,titletext='孤荷凌寒的bs4模块对话框QQ578652607',style=0,isShowErrMsg=False):

return
_mty.msgboxGhlh(info,titletext,style,isShowErrMsg)

#取出一个html相关对象中的全部内含文本内容

def getAllTextGhlh(obj,isShowMsg=False):

try:

#判断 obj 的类型

t=type(obj)

st=str(t)

st=st.lower()

#----------------

print(st)

msgbox(st)

#----------------

strr=''

#---------------------

if st=="<class
'bs4.element.tag'>":

strr=obj.get_text() #这种对象,直接使用get_text()方法即可。

#--------------------------

if st=="<class
'list'>":

for i in obj:

strr=strr + '\n' + str(i.get_text())

#--------------

return strr

except Exception as e:

mbsErrString='尝试取出一个html页面元素相关对象的内含文本时出错:' + str(e) + '\n此函数由【孤荷凌寒】创建,QQ578652607'

if
isShowMsg==True:

msgbox(mbsErrString)

return ''

else:

pass

finally:

pass

```

三、其它收获

前一天,我的笔记中提到:

在beautifulsoup模块中,html源代码组织的文档,任何一个部分都被看作是对象,被完全对象化了!

1.如下Html源代码片断:

 

     <div
class="post_time_source">

      2019-01-11 11:44:49 来源:

      <a href="#"
id="ne_article_source" rel="nofollow"
target="_blank">

       知识分子

      </a>

     </div>

 

当我取得html标签对象div的时候(准确的说得到了一个指向div标签的bs.element.Tag对象。

这个时候,我尝试使用

html标签对象.string

属性取出这个div标签内含的文本内容(即【2019-01-11
11:44:49 来源:
】)

时是取不出来的,因为这个时候:

2019-01-11 11:44:49 来源:

<a href="#"
id="ne_article_source" rel="nofollow"
target="_blank">知识分子</a>

这两个内容都被看作了这个div对象的两个子对象,在这个html标签对象中没有任何内含文本。

 

2.什么时候才算作一个标签的内含文本呢?

如下面的标签内容:

<a
href="#" id="ne_article_source" rel="nofollow"
target="_blank">

       知识分子

</a>

这个a标签对象是有内含文本的,因为它的内含内容只有文本,没有其它任何别的对象,只有这种情况下,才算作html标签对象的内含文本。

今天发现了想要取出一个bs.element.Tag对象中的innerText文本,包括其子对象中的innerText文本,其实有一个更好的方法:

get_text()

此方法与

string

属性不同。

——————————

今天整理的学习笔记完成,最后例行说明下我的自学思路:

根据过去多年我自学各种编程语言的经历,认为只有真正体验式,解决实际问题式的学习才会有真正的效果,即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言,没有学习同伴,也没有高师在上,甚至电脑都是孤岛(乡村那时还没有网络),有的只是一本旧书,在痛苦的自学摸索中,我找到适应自己零基础的学习方法:首先是每读书的一小节就作相应的手写笔记,第二步就是上机测试每一个笔记内容是否实现,其中会发现书中讲的其实有出入或错误,第三步就是在上机测试之后,将笔记改为电子版,形成最终的修订好的正确无误的学习笔记

通过反复尝试错误,在那个没有分享与交流的黑暗时期我摸黑学会了VB6,尔后接触了其它语言,也曾听过付费视频课程,结果发现也许自己学历果然太低,就算是零基础的入门课程,其实也难以跟上进度,讲师的教学多数出现对初学者的实际情况并不了解的情况,况且学习者的个体也存在差异呢?当然更可怕的是收费课程的价格往往是自己难以承受的。

于是我的所有编程学习都改为了自学,继续自己的三步学习笔记法的学习之路。

当然自学的最大问题是会走那么多的弯路,没有导师直接输入式的教学来得直接,好在网络给我们带来无限搜索的机会,大家在网络上的学习日志带给我们共享交流的机会,而QQ群等交流平台、网络社区的成立,我们可以一起自学,互相批评交流,也可以获得更有效,更自主的自学成果。

于是我以人生已过半的年龄,决定继续我的编程自学之路,开始学习python,只希望与大家共同交流,一个人的独行是可怕的,只有一群人的共同前进才是有希望的。

诚挚期待您的交流分享批评指点!欢迎联系我加入从零开始的自学联盟。

这个时代互联网成为了一种基础设施的存在,于是本来在孤独学习之路上的我们变得不再孤独,因为网络就是一个新的客厅,我们时刻都可以进行沙龙活动。

非常乐意能与大家一起交流自己自学心得和发现,更希望大家能够对我学习过程中的错误给予指点——是的,这样我就能有许多免费的高师了——这也是分享时代,社区时代带来的好福利,我相信大家会的,是吧!

根据完全共享的精神,开源互助的理念,我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制,但因为4K高清文件太大均超过5G以上,所以无法上传至网络,如有需要可联系我QQ578652607对传,乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

我的学习过程录像百度盘地址分享如下:(清晰度:1280x720)

链接:https://pan.baidu.com/s/1nAy8R09jK9wnFlQWMlwr6A

提取码:x6ti

Bilibili:

https://www.bilibili.com/video/av40813188/

喜马拉雅语音笔记:

https://www.ximalaya.com/keji/19103006/153771532

孤荷凌寒自学python第七十三天开始写Python的第一个爬虫3的更多相关文章

  1. 孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9并使用pydocx模块将结果写入word文档

    孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天终于完成了对docx模块针对 ...

  2. 孤荷凌寒自学python第七十八天开始写Python的第一个爬虫8

    孤荷凌寒自学python第七十八天开始写Python的第一个爬虫8 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天止基本完成了对docx模块针 ...

  3. 孤荷凌寒自学python第七十七天开始写Python的第一个爬虫7

    孤荷凌寒自学python第七十七天开始写Python的第一个爬虫7 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 今天的学习仍然是在纯粹对docx模 ...

  4. 孤荷凌寒自学python第七十六天开始写Python的第一个爬虫6

    孤荷凌寒自学python第七十六天开始写Python的第一个爬虫6 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 不过由于对python-docx模 ...

  5. 孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5

    孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像 ...

  6. 孤荷凌寒自学python第七十四天开始写Python的第一个爬虫4

    孤荷凌寒自学python第七十四天开始写Python的第一个爬虫4 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像 ...

  7. 孤荷凌寒自学python第七十二天开始写Python的第一个爬虫2

    孤荷凌寒自学python第七十二天开始写Python的第一个爬虫2 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像 ...

  8. 孤荷凌寒自学python第七十一天开始写Python的第一个爬虫

    孤荷凌寒自学python第七十一天开始写Python的第一个爬虫 (完整学习过程屏幕记录视频地址在文末) 在了解了requests模块和BeautifulSoup模块后,今天开始真正写一个自己的爬虫代 ...

  9. 孤荷凌寒自学python第七十天学习并实践beautifulsoup对象用法3

    孤荷凌寒自学python第七十天学习并实践beautifulsoup对象用法3 (完整学习过程屏幕记录视频地址在文末) 今天继续学习beautifulsoup对象的属性与方法等内容. 一.今天进一步了 ...

随机推荐

  1. mybatis学习记录六——一对一、一对多和多对多查询

    9       订单商品数据模型 9.1     数据模型分析思路 1.每张表记录的数据内容 分模块对每张表记录的内容进行熟悉,相当 于你学习系统 需求(功能)的过程. 2.每张表重要的字段设置 非空 ...

  2. 【luogu P4231 三步必杀】 题解

    题目链接:https://www.luogu.org/problemnew/show/P4231 诶 我很迷啊..这跟树状数组有什么关系啊...拿二阶差分数组过了..? #include <cs ...

  3. Android学习笔记_26_多媒体之拍照

    一.配置文件: 需要引入摄像头权限,sdcard读写权限. <?xml version="1.0" encoding="utf-8"?> <m ...

  4. javascript操作Date对象

    Date 对象用于处理日期和时间. 创建 Date 对象的语法: var myDate=new Date() Date 对象会自动把当前日期和时间保存为其初始值. 参数形式有以下5种: new Dat ...

  5. LeetCode16.最接近的三数之和 JavaScript

    给定一个包括 n 个整数的数组 nums 和 一个目标值 target.找出 nums 中的三个整数,使得它们的和与 target 最接近.返回这三个数的和.假定每组输入只存在唯一答案. 例如,给定数 ...

  6. 菜鸟笔记 -- Chapter 4.7 代码注释与编码规范

    4.7 代码注释与编码规范 在程序代码中适当的添加注释可以提高程序的可读性和可维护性.好的编码规范可以使程序更易阅读和理解.下面我们将介绍几种代码注释,以及应该注意的编码规范. 4.7.1 代码注释 ...

  7. jquery表单属性筛选元素

    $(":button") 选择所有按钮元素类型为按钮的元素. 等于$('input[type="button"]') $(":checkbox&quo ...

  8. #leetcode刷题之路6- Z 字形变换

    将一个给定字符串根据给定的行数,以从上往下.从左到右进行 Z 字形排列.比如输入字符串为 "LEETCODEISHIRING" 行数为 3 时,排列如下:L     C     I ...

  9. hdu_1788_Chinese remainder theorem again (lcm

    我知道部分同学最近在看中国剩余定理,就这个定理本身,还是比较简单的: 假设m1,m2,…,mk两两互素,则下面同余方程组: x≡a1(mod m1) x≡a2(mod m2) … x≡ak(mod m ...

  10. Dockerfile中npm中Error: could not get uid/gid问题的解决方法

    dockerfile 中  使用 npm 的时候报错:   解决办法:https://github.com/tootsuite/mastodon/issues/802