python库学习笔记——爬虫常用的BeautifulSoup的介绍

【python库学习笔记——爬虫常用的BeautifulSoup的介绍】的更多相关文章

python库学习笔记——爬虫常用的BeautifulSoup的介绍

1. 开启Beautiful Soup 之旅在这里先分享官方文档链接,不过内容是有些多,也不够条理,在此本文章做一下整理方便大家参考. 官方文档 2. 创建 Beautiful Soup 对象首先必须要导入 bs4 库 from bs4 import BeautifulSoup 1 from bs4 import BeautifulSoup 我们创建一个字符串,后面的例子我们便会用它来演示 Python html = """ <html><head>…

python自动化测试学习笔记-5常用模块

上一次学习了os模块,sys模块,json模块,random模块,string模块,time模块,hashlib模块,今天继续学习以下的常用模块: 1.datetime模块 2.pymysql模块(3.0以上版本) 3.Redis模块 4.flask模块 datetime模块 datetime中包含三个类date ,time,datetime datetime.date:表示日期的类.常用的属性有year, month, day: datetime.time:表示时间的类.常用的属性有hour,…

python库学习笔记——BeautifulSoup处理子标签、后代标签、兄弟标签和父标签

首先,我们来看一个简单的网页https://www.pythonscraping.com/pages/page3.html,打开后: 右键"检查"(谷歌浏览器)查看元素: 用导航树的形式简单表示出来: 可知: tr是table的子标签 tr.th.td.img.span标签都是table的后代标签一般情况下,bbs0bj.body.h1选择的是body标签后代里的第一个h1标签,不会去找body外面的标签类似的,bs0bj.div.findall("img")会…

python自动化测试学习笔记-4常用模块

常用模块 1.os 2.sys 3.random 4.string 5.time 6.hashlib 一.os模块 os模块主要用来操作文件.目录,与操作系统无关.要使用os模块首先要导入OS模块,用命令import os 即可. 目录和文件操作 1.os.getcwd()--用来获取当前工作目录 3.os.chdir(),改变当前脚本工作目录,相当于shell下的CD print(os.getcwd())#取当前工作目录 *************os.chdir("E:\\besttest\…

python库学习笔记——re库：正则表达式入门（一）

什么是正则表达式? 我们在处理文本文件的时候,会按照某种规则查找某些特定的字符串.比方我们希望从一堆电子档案中找到人员的电话号码整理成通讯录.于是,我们可以利用特定字符串的规律编程获得我们想要的信息.而正则表达式就是干这个事情的,它是记录文本规则的代码. 一.获得简单字符串 1. 如何我们希望找到"hi"字符,how? 例如:Hi, I am Shirley Hilton. I am his wife. 希望寻找"hi"的字符. 用如下代码: import re…

python库学习笔记——分组计算利器：pandas中的groupby技术

最近处理数据需要分组计算,又用到了groupby函数,温故而知新. 分组运算的第一阶段,pandas 对象(无论是 Series.DataFrame 还是其他的)中的数据会根据你所提供的一个或多个键被拆分(split)为多组.拆分操作是在对象的特定轴上执行的.例如,DataFrame 可以在其行(axis=0)或列(axis=1)上进行分组.然后,将一个函数应用到各个分组并产生一个新值.最后,所有这些函数的执行结果会被合并到最终的结果对象中.结果对象的形式一般取决于数据上所执行的操作. 举例说明…

python库学习笔记——Pandas数据索引：ix、loc、iloc区别

Different Choices for Indexing 1. loc--通过行标签索引行数据 1.1 loc[1]表示索引的是第1行(index 是整数) import pandas as pd data = [[1,2,3],[4,5,6]] index = [0,1] columns=['a','b','c'] df = pd.DataFrame(data=data, index=index, columns=columns) print df.loc[1] ''' a 4 b 5 c…