今日内容概要

  • bs模块之标签查找
  • 过滤器
  • selenium模块

今日内容详细

html_doc = """

<html>

    <head>

        <title>The Dormouse's story</title>

    </head>

<body>

    <p id="my p" class="title">

        <b id="bbb" class="boldest">The Dormouse's story</b>

    </p>

<p class="story">Once upon a time there were three little sisters; and their names were

<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>

<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and

<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;

and they lived at the bottom of a well.</p>

<p class="story">...</p>

"""

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,'lxml')

#2、获取标签的名称

# print(soup.p.name)

#3、获取标签的属性

# print(soup.p.attrs)

#4、获取标签的内容

# print(soup.p.text)

#5、嵌套选择

# print(soup.head.title.string) # 依次往内部查找

# print(soup.body.a.string)

#6、子节点、子孙节点

# print(soup.p.contents) #p下所有子节点

# print(soup.p.children) #得到一个迭代器，包含p下所有的子节点

# for child in soup.p.children:

#    print(child)

#7、父节点、祖先节点

# print(soup.a.parent) #获取a标签的父节点

# print(soup.a.parents) #找到a标签所有的祖先节点，父亲的父亲，父亲的父亲的父亲……

# for p in soup.a.parents

#    print(p)

#8、兄弟节点

# print('=====>')

# print(soup.a.next_siblings) #下一个兄弟

# for i in soup.a.next_siblings:

#    print(i)

# print(soup.a.previons_sibling) #上一个兄弟

# print(list(soup.a.next_siblings)) #下面的兄弟们=>生成器对象

# print(soup.a.previous_siblings) #上面的兄弟们=>生成器对象

"""

儿子：在一个标签内部的第一层级标签

     <span>相对于下面同级别的div就是哥哥</span>

     <div>

         <div>相对于外层的div就是儿子

             <p>上一层div的儿子上上一层div的孙子</p>

         </div>

         <p>相对于外层的div就是儿子</p>

     </div>

     <span>相对上面同级别的div就是弟弟</span>

后代

兄弟

弟弟

哥哥

"""

过滤器

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,'lxml')

#1、五种过滤器：字符串、正则表达式、列表、True、方法

#1.1、字符串：即标签名  结果是一个列表 里面的元素才是真正的标签对象

# print(soup.find_all('b')) # [<b> class="boldest" id="bbb">The Dormouse's story</b']

#1.2、正则表达式

# import re  # 一定要注意拿到的结果到底是什么数据类型

# print(soup.find_all(re.compile('^b'))) # 找出b开头的标签，结果有body和b标签

#1.3、列表：如果传入列表参数，Beautiful Soup会将与列表中任一元素匹配的内容返回。下面代码找到文档中所有<a>标签和<b>标签：

# print(soup.find_all(['a','b'])) # 找到文档中所有<a>标签和<b>标签

#1.4、True：可以匹配任何值，下面代码查找到所有的tag，但是不会返回字符串节点

# print(soup.find_all(True)) # True表示所有

# for tag in soup.find_all(True):

#     print(tag.name)

#1.5、方法：如狗哦没有合适的过滤器，那么还可以定义一个方法，方法只接受一个元素参数，如果这个方法返回 True 表示当前元素匹配并且被找到，如果不是返回 False

# def has_class_but_no_id(tag):

#     return tag.has_attr('class') and not tag.has_attr('id')

#

# print(soup.find_all(has_class_but_no_id))

中文文档

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#find-parents-find-parent

selenium模块

嫩够帮你自动操作浏览器

selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题

selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

1.需要下载模块

    pip3 install -i

2.还需要下载一个控制浏览器的驱动

http://npm.taobao.org/mirrors/chromedriver/2.38/

    # 注意下载的驱动一定呀跟你浏览器的版本匹配  不能无法操作

    如何查看当前浏览器版本

3.下载好的驱动文件有两个存放的位置

   1.直接放在你项目的目录下

   2.放到Python安装路径的scripts目录中即可

from selenium import webdriver

import time

bro=webdriver.Chrome()  # 生成谷歌浏览器的驱动对象

bro.get("http://www.baidu.com")  # 自动打开谷歌浏览器访问百度首页

bro.implicitly_wait(10)  # 设置一个等待时间 超出范围还没加载出来就放弃

# 1、find_element_by_id   根据id找

# 2、find_element_by_link_text     根据链接名字找到控件（a标签的文字）

# 3、find_element_by_partial_link_text   根据链接名字找到控件（a标签的文字）模糊查询

# 4、find_element_by_tag_name       根据标签名

# 5、find_element_by_class_name     根据类名

# 6、find_element_by_name           根据属性名

# 7、find_element_by_css_selector   根据css选择器

aEle = bro.find_element_by_link_text('登录')

# 点击a标签

aEle.click()

# 通过id获取p标签

pEle = bro.find_element_by_id('TANGRAM__PSP_11__footerULoginBtn')

# 点击p标签

pEle.click()

# 通过id找获取用户用户名的input框

UserEle = bro.find_element_by_id('TANGRAM__PSP_11__userName')

# 点击UserEle

UserEle.click()

# 输入用户名

UserEle.send_keys('18856211855')

time.sleep(1)

# 通过id找获取用户密码的input框

PwdEle = bro.find_element_by_id('TANGRAM__PSP_11__password')

# 点击UserEle

PwdEle.click()

# 输入用户名

PwdEle.send_keys('xxxxxx')

time.sleep(1)

SubEle = bro.find_element_by_id('TANGRAM__PSP_11__submit')

SubEle.click()

print(bro.get_cookies())  # 直接组织成字典里面有所有的键值对

print(bro.get_cookie())  # Get a single cookie by name

bro.close()

等待元素加载完毕

"""

有些页面的标签元素并不是直接写在html文件上的而是通过后续

js代码动态加载出来的 所以需要在查找标签的时候设置一个等待时间

"""

# 隐式等待:在查找所有元素时，如果尚未被加载，则等10秒(推荐使用)

# browser.implicitly_wait(10)   表示等待所有，

# 显式等待：显式地等待某个元素被加载(不推荐使用)

# wait=WebDriverWait(browser,10)

# wait.until(EC.presence_of_element_located((By.ID,'content_left')))

爬虫之标签查找补充及selenium模块的安装及使用与案例的更多相关文章

  1. 第三百五十节，Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块，可以实现js动态网页请求

    第三百五十节,Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块,可以实现js动态网页请求 selenium模块 selenium模块为 ...

  2. 第三百三十七节，web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS

    第三百三十七节,web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS PhantomJS虚拟浏览器 phantomjs 是一个基于js的webkit内核无头浏览器 ...

  3. Selenium模块的安装

    Selenium模块 1.安装selenium python2:pip install selenium python3:pip install selenium 2.设置浏览器驱动 解压后必须与浏览 ...

  4. python 全栈开发，Day136(爬虫系列之第3章-Selenium模块)

    一.Selenium 简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器,完全 ...

  5. 二十九 Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块，可以实现js动态网页请求

    selenium模块 selenium模块为第三方模块需要安装,selenium模块是一个操作各种浏览器对应软件的api接口模块 selenium模块是一个操作各种浏览器对应软件的api接口模块,所以 ...

  6. 十六 web爬虫讲解2—PhantomJS虚拟浏览器+selenium模块操作PhantomJS

    PhantomJS虚拟浏览器 phantomjs 是一个基于js的webkit内核无头浏览器 也就是没有显示界面的浏览器,利用这个软件,可以获取到网址js加载的任何信息,也就是可以获取浏览器异步加载的 ...

  7. python selenium 模块的安装及使用

    安装 pip install selenium 或者到https://pypi.python.org/pypi/selenium 下载setup安装包,之后进入目录后运行python setup.py ...

  8. 网络爬虫（一）：配置selenium、pycharm（windows平台）

    最近在学习爬虫的编写,使用selenium模块时候,遇到了很多坑,本blog的目的是总结一下遇到的坑和解决办法,以便后来人少走弯路! 以下介绍均以Python3.x为基准进行,基于windows平台的 ...

  9. selenium模块跳过用户名密码验证码输入，加载浏览器标签和cookie，进行翻页爬虫多页动态加载的数据（js)

    能解决登陆一次后,之后不需要二次登陆的动态加载数据,网页保存的cookie和标签,加入到selenium自动化测试浏览器中 1 from selenium import webdriver 2 imp ...

随机推荐

  1. Nginx怎么处理请求的？

    nginx接收一个请求后,首先由listen和server_name指令匹配server模块,再匹配server模块里的 location,location就是实际地址.   server { # 第 ...

  2. 安卓开发常见Bug-项目未升级到Androidx

    当项目未升级到androidx时,会出现某些项目文件资源不匹配的问题,建议在建立项目后就将项目升级到androidx 点击升级到androidx Migrate迁移然后点击左下角Dorefactor

  3. AtCoder Beginner Contest 220 A-F

    A #include <iostream> using namespace std; int main() { int a, b, c; cin >> a >> b ...

  4. 用Json给表单赋值

    $.extend({ setForm :function(frm,jsonValue) { var obj=$(frm); $.each(jsonValue, function (name, ival ...

  5. BootStrap基础入门概述总结

    是否还值得学习BootStrap 因为自己还是学生,自己在学习之前就先在网上看了看BootStrap是否在现在依旧流行,是否还值得学习. 以下是网友的一些评价: 20年11月 Bootstrap作为入 ...

  6. 2019年1月9日 ES6 学习心得

    ES6为我们创建对象提供了新的语法糖,这就是Class语法.如果你对ES5中面向对象的方式比较熟悉的话,Class掌握起来也是非常迅速的,因为除了写法的不同,它并不会增加新的难以理解的知识点.我们先利 ...

  7. JVM学习六：堆分析

    一.内存溢出(OOM)的原因 在JVM中,有哪些内存区间? 堆溢出 public static void main(String args[]){ ArrayList<byte[]> li ...

  8. nginx启动失败：Redirecting to /bin/systemctl start nginx.service Failed to start nginx.service: Unit not found.

    解决方法: 是因为nginx没有有添加到系统服务,手动手动添加一个即可. 在 /etc/init.d/下创建名为nginx的启动脚本即可,内容如下: #!/bin/bash # # chkconfig ...

  9. PHP中的单引号跟双引号的区别

    不同点: 单引号只能解析转义字符"'"和"\",其他的原样输出.

  10. 有手就行2——持续集成环境—Jenkins安装、插件、用户权限及凭证管理

    有手就行2--持续集成环境-Jenkins安装.插件.权限及凭证管理 持续集成环境(1)-Jenkins安装 持续集成环境(2)-Jenkins插件管理 持续集成环境(3)-Jenkins用户权限管理 ...