python的爬虫小入门

爬虫的相关操作

1、爬文本内容

# coding=gbk
import requests                                   ##声明相关库
import re
response=requests.get('http://duanziwang.com/')   ##获取到需要爬虫的网址
data=response.text                                ##把网站的相关内容全部爬下来
res=re.findall('<p>(.*?)</p>',data)               ##获取自己需要的那一部分
print(res)

import requests
import re
respone=requests.get('http://ishuo.cn/')
data=respone.text
res=re.findall('<li class="list_li">(.*?)</li>',data)
dict={}
for i in res:                ##对内容进行循环，并取出标题跟内容
    context=re.findall('<div class="content">(.*?)</div>',i)[0]
    title=re.findall('<a href="/subject/.*?">(.*?)</a>',i)[0]
    desc=re.findall('</a>(04月.*?)</div>',i)[0]
    dict[title]=(context,desc)
for i in dict.items():
    print(f'{i[0]:<20} | {i[1]}')

2、爬图片内容

import requests
import re
respone=requests.get('http://www.nipic.com/design/acg/renwu/index.html?page=1&tdsourcetag=s_pcqq_aiomsg')
data=respone.text
img_res=re.findall('data-src="(.*?)"',data)
for i in img_res:
    img_response=requests.get(i)
    img_data=img_response.content    ##图片会以二进制的形式显示
    img_name=i.split('/')[-1]        ##以/进行分割并取出每一张图片
    f=open(img_name,'wb')            ##打开图片并写入
    f.write(img_data)

3、爬视频内容

import requests
import re
response = requests.get('http://www.mod.gov.cn/v/index.htm')
data = response.text
mp4_res2 = re.findall('<a href="(.*?)">', data)
for i in mp4_res2:  # type:str
    res = re.findall('(.*?htm)', i)[0]
    res = 'http://www.mod.gov.cn/v/' + res
    response = requests.get(res)
    data = response.text
    # http://vv.chinamil.com.cn/asset/category3/2019/06/27/asset_357593.mp4
    url_res = re.findall('//Video (.*?.mp4)',data)[0]
    mp4_response = requests.get(url_res)
    mp4_data = mp4_response.content
    f = open('test.mp4','wb')
    f.write(mp4_data)
    # break