爬虫我们大概可以分为三部分:爬取——》解析——》存储

一 Beautiful Soup:

  1. Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
  2. 它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。
    Beautiful Soup 是一个可以从HTMLXML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式

Beautiful Soup 官方文档

下面我们使用Beautiful Soup来解析一段HTML代码:

  1. html_doc = """
  2. <html><head><title>The Dormouse's story</title></head>
  3. <body>
  4. <p class="title"><b>The Dormouse's story</b></p>
  5.  
  6. <p class="story">Once upon a time there were three little sisters; and their names were
  7. <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  8. <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  9. <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
  10. and they lived at the bottom of a well.</p>
  11.  
  12. <p class="story">...</p>
  13. """

那么我么可以使用beautiful Soup来进行处理:

  1. from bs4 import BeautifulSoup
  1. soup=BeautifulSoup(html,"html.parser")
    使用Beautiful Soup解析这段HTML可以得到一个soup对象。
  1. 找到所有的a标签,并且拿到a标签中的href属性
    for link in soup.find_all('a'):
  2. print(link.get('href'))
  1. print(soup.get_text()) # 得到的是a标签里的文本内容
    print(soup.get_text) # 得到的是所有的子元素
    这两个的区别在于加括号的拿到的是文本内容。

二 标签对象

Soup:

  1. soup对象再以爱丽丝梦游仙境的html_doc为例,操作文档树最简单的方法就是告诉它你想获取的tagname.如果想获取 <head> 标签,只要用 soup.head :
  2.  
  3. soup.head
  4. # <head><title>The Dormouse's story</title></head>
  5.  
  6. soup.title
  7. # <title>The Dormouse's story</title>
  8. 这是个获取tag的小窍门,可以在文档树的tag中多次调用这个方法.下面的代码可以获取<body>标签中的第一个<b>标签:
  9.  
  10. soup.body.b
  11. # <b>The Dormouse's story</b>
  12. 通过点取属性的方式只能获得当前名字的第一个tag:
  13.  
  14. soup.a
  15. # <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
  16. 如果想要得到所有的<a>标签,或是通过名字得到比一个tag更多的内容的时候,就需要用到 Searching the tree 中描述的方法,比如: find_all()
  17.  
  18. soup.find_all('a')
  19. # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
  20. # <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
  21. # <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
    我们可以直接通过soup对象查找我们的Tag,我们同样可以对查找到的Tag进行取text等其他操作。

通俗点讲就是 HTML 中的一个个标签,Tag 对象与XML或HTML原生文档中的tag相同:

  1. soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
  2. tag = soup.b
  3. type(tag)
  4. # <class 'bs4.element.Tag'>

三 遍历文档树:

  1. 1、用法
  2. 2、获取标签的名称
  3. 3、获取标签的属性
  4. 4、获取标签的内容
  5. 5、嵌套选择
  6. 6、子节点、子孙节点
  7. 7、父节点、祖先节点
  8. 8、兄弟节点
  1. #遍历文档树:即直接通过标签名字选择,特点是选择速度快,但如果存在多个相同的标签则只返回第一个
  2. html_doc = """
  3. <html><head><title>The Dormouse's story</title></head>
  4. <body>
  5. <p id="my p" class="title"><b id="bbb" class="boldest">The Dormouse's story</b></p>
  6.  
  7. <p class="story">Once upon a time there were three little sisters; and their names were
  8. <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  9. <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  10. <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
  11. and they lived at the bottom of a well.</p>
  12.  
  13. <p class="story">...</p>
  14. """
  15.  
  16. #1、用法
  17. from bs4 import BeautifulSoup
  18. soup=BeautifulSoup(html_doc,'lxml')
  19. # soup=BeautifulSoup(open('a.html'),'lxml')
  20.  
  21. print(soup.p) #存在多个相同的标签则只返回第一个
  22. print(soup.a) #存在多个相同的标签则只返回第一个
  23.  
  24. #2、获取标签的名称
  25. print(soup.p.name)
  26.  
  27. #3、获取标签的属性
  28. print(soup.p.attrs)
  29.  
  30. #4、获取标签的内容
  31. print(soup.p.string) # p下的文本只有一个时,取到,否则为None
  32. print(soup.p.strings) #拿到一个生成器对象, 取到p下所有的文本内容
  33. print(soup.p.text) #取到p下所有的文本内容
  34. for line in soup.stripped_strings: #去掉空白
  35. print(line)
  36.  
  37. '''
  38. 如果tag包含了多个子节点,tag就无法确定 .string 方法应该调用哪个子节点的内容, .string 的输出结果是 None,如果只有一个子节点那么就输出该子节点的文本,比如下面的这种结构,soup.p.string 返回为None,但soup.p.strings就可以找到所有文本
  39. <p id='list-1'>
  40. 哈哈哈哈
  41. <a class='sss'>
  42. <span>
  43. <h1>aaaa</h1>
  44. </span>
  45. </a>
  46. <b>bbbbb</b>
  47. </p>
  48. '''
  49.  
  50. #5、嵌套选择
  51. print(soup.head.title.string)
  52. print(soup.body.a.string)
  53.  
  54. #6、子节点、子孙节点
  55. print(soup.p.contents) #p下所有子节点
  56. print(soup.p.children) #得到一个迭代器,包含p下所有子节点
  57.  
  58. for i,child in enumerate(soup.p.children):
  59. print(i,child)
  60.  
  61. print(soup.p.descendants) #获取子孙节点,p下所有的标签都会选择出来
  62. for i,child in enumerate(soup.p.descendants):
  63. print(i,child)
  64.  
  65. #7、父节点、祖先节点
  66. print(soup.a.parent) #获取a标签的父节点
  67. print(soup.a.parents) #找到a标签所有的祖先节点,父亲的父亲,父亲的父亲的父亲...
  68.  
  69. #8、兄弟节点
  70. print('=====>')
  71. print(soup.a.next_sibling) #下一个兄弟
  72. print(soup.a.previous_sibling) #上一个兄弟
  73.  
  74. print(list(soup.a.next_siblings)) #下面的兄弟们=>生成器对象
  75. print(soup.a.previous_siblings) #上面的兄弟们=>生成器对象

相关操作

四 搜索文档树:

主要有两种方法:find()和find_all()

五种过滤器:

  1. #搜索文档树:BeautifulSoup定义了很多搜索方法,这里着重介绍2个: find() 和 find_all() .其它方法的参数和用法类似
  2. html_doc = """
  3. <html><head><title>The Dormouse's story</title></head>
  4. <body>
  5. <p id="my p" class="title"><b id="bbb" class="boldest">The Dormouse's story</b>
  6. </p>
  7.  
  8. <p class="story">Once upon a time there were three little sisters; and their names were
  9. <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  10. <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  11. <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
  12. and they lived at the bottom of a well.</p>
  13.  
  14. <p class="story">...</p>
  15. """
  16.  
  17. from bs4 import BeautifulSoup
  18. soup=BeautifulSoup(html_doc,'lxml')
  19.  
  20. #1、五种过滤器: 字符串、正则表达式、列表、True、方法
  21. #1.1、字符串:即标签名
  22. print(soup.find_all('b'))
  23.  
  24. #1.2、正则表达式
  25. import re
  26. print(soup.find_all(re.compile('^b'))) #找出b开头的标签,结果有body和b标签
  27.  
  28. #1.3、列表:如果传入列表参数,Beautiful Soup会将与列表中任一元素匹配的内容返回.下面代码找到文档中所有<a>标签和<b>标签:
  29. print(soup.find_all(['a','b']))
  30.  
  31. #1.4、True:可以匹配任何值,下面代码查找到所有的tag,但是不会返回字符串节点
  32. print(soup.find_all(True))
  33. for tag in soup.find_all(True):
  34. print(tag.name)
  35.  
  36. #1.5、方法:如果没有合适过滤器,那么还可以定义一个方法,方法只接受一个元素参数 ,如果这个方法返回 True 表示当前元素匹配并且被找到,如果不是则反回 False
  37. def has_class_but_no_id(tag):
  38. return tag.has_attr('class') and not tag.has_attr('id')
  39.  
  40. print(soup.find_all(has_class_but_no_id))

find_all()方法:

  1. #2、find_all( name , attrs , recursive , text , **kwargs )
  2. #2.1、name: 搜索name参数的值可以使任一类型的 过滤器 ,字符窜,正则表达式,列表,方法或是 True .
  3. print(soup.find_all(name=re.compile('^t')))
  4.  
  5. #2.2、keyword: key=value的形式,value可以是过滤器:字符串 , 正则表达式 , 列表, True .
  6. print(soup.find_all(id=re.compile('my')))
  7. print(soup.find_all(href=re.compile('lacie'),id=re.compile('\d'))) #注意类要用class_
  8. print(soup.find_all(id=True)) #查找有id属性的标签
  9.  
  10. # 有些tag属性在搜索不能使用,比如HTML5中的 data-* 属性:
  11. data_soup = BeautifulSoup('<div data-foo="value">foo!</div>','lxml')
  12. # data_soup.find_all(data-foo="value") #报错:SyntaxError: keyword can't be an expression
  13. # 但是可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的tag:
  14. print(data_soup.find_all(attrs={"data-foo": "value"}))
  15. # [<div data-foo="value">foo!</div>]
  16.  
  17. #2.3、按照类名查找,注意关键字是class_,class_=value,value可以是五种选择器之一
  18. print(soup.find_all('a',class_='sister')) #查找类为sister的a标签
  19. print(soup.find_all('a',class_='sister ssss')) #查找类为sister和sss的a标签,顺序错误也匹配不成功
  20. print(soup.find_all(class_=re.compile('^sis'))) #查找类为sister的所有标签
  21.  
  22. #2.4、attrs
  23. print(soup.find_all('p',attrs={'class':'story'}))
  24.  
  25. #2.5、text: 值可以是:字符,列表,True,正则
  26. print(soup.find_all(text='Elsie'))
  27. print(soup.find_all('a',text='Elsie'))
  28.  
  29. #2.6、limit参数:如果文档树很大那么搜索会很慢.如果我们不需要全部结果,可以使用 limit 参数限制返回结果的数量.效果与SQL中的limit关键字类似,当搜索到的结果数量达到 limit 的限制时,就停止搜索返回结果
  30. print(soup.find_all('a',limit=2))
  31.  
  32. #2.7、recursive:调用tag的 find_all() 方法时,Beautiful Soup会检索当前tag的所有子孙节点,如果只想搜索tag的直接子节点,可以使用参数 recursive=False .
  33. print(soup.html.find_all('a'))
  34. print(soup.html.find_all('a',recursive=False))
  35.  
  36. '''
  37. 像调用 find_all() 一样调用tag
  38. find_all() 几乎是Beautiful Soup中最常用的搜索方法,所以我们定义了它的简写方法. BeautifulSoup 对象和 tag 对象可以被当作一个方法来使用,这个方法的执行结果与调用这个对象的 find_all() 方法相同,下面两行代码是等价的:
  39. soup.find_all("a")
  40. soup("a")
  41. 这两行代码也是等价的:
  42. soup.title.find_all(text=True)
  43. soup.title(text=True)
  44. '''

find()方法:

  1. #3、find( name , attrs , recursive , text , **kwargs )
  2. find_all() 方法将返回文档中符合条件的所有tag,尽管有时候我们只想得到一个结果.比如文档中只有一个<body>标签,那么使用 find_all() 方法来查找<body>标签就不太合适, 使用 find_all 方法并设置 limit=1 参数不如直接使用 find() 方法.下面两行代码是等价的:
  3.  
  4. soup.find_all('title', limit=1)
  5. # [<title>The Dormouse's story</title>]
  6. soup.find('title')
  7. # <title>The Dormouse's story</title>
  8.  
  9. 唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.
  10. find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .
  11. print(soup.find("nosuchtag"))
  12. # None
  13.  
  14. soup.head.title tag的名字 方法的简写.这个简写的原理就是多次调用当前tag find() 方法:
  15.  
  16. soup.head.title
  17. # <title>The Dormouse's story</title>
  18. soup.find("head").find("title")
  19. # <title>The Dormouse's story</title>

CSS选择器:

  1. 我们在写 CSS 时,标签名不加任何修饰,类名前加点,id名前加 #,在这里我们也可以利用类似的方法来筛选元素,用到的方法是 soup.select(),返回类型是 list
  2.  
  3. 1)通过标签名查找
  4.  
  5. print(soup.select("title")) #[<title>The Dormouse's story</title>]
  6. print(soup.select("b")) #[<b>The Dormouse's story</b>]
  7. 2)通过类名查找
  8.  
  9. print(soup.select(".sister"))
  10.  
  11. '''
  12. [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
  13. <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
  14. <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
  15.  
  16. '''
  17.  
  18. 3)通过 id 名查找
  19.  
  20. print(soup.select("#link1"))
  21. # [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]
  22. 4)组合查找
  23.  
  24. 组合查找即和写 class 文件时,标签名与类名、id名进行的组合原理是一样的,例如查找 p 标签中,id 等于 link1的内容,二者需要用空格分开
  25.  
  26. print(soup.select("p #link2"))
  27.  
  28. #[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
  29. 直接子标签查找
  30.  
  31. print(soup.select("p > #link2"))
  32. # [<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
  33. 5)属性查找
  34.  
  35. 查找时还可以加入属性元素,属性需要用中括号括起来,注意属性和标签属于同一节点,所以中间不能加空格,否则会无法匹配到。
  36.  
  37. print(soup.select("a[href='http://example.com/tillie']"))
  38. #[<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
  39. select 方法返回的结果都是列表形式,可以遍历形式输出,然后用 get_text() 方法来获取它的内容:
  40.  
  41. for title in soup.select('a'):
  42. print (title.get_text())
  43.  
  44. '''
  45. Elsie
  46. Lacie
  47. Tillie
  48. '''

Xpath:

关于Xpath:

  1. XPathPython的爬虫学习中,起着举足轻重的地位,对比正则表达式 re两者可以完成同样的工作,实现的功能也差不多,但XPath明显比re具有优势,在网页分析上使re退居二线。
  2.  
  3. XPath介绍
  4. 是什么? 全称为XML Path Language 一种小型的查询语言
  5. 说道XPath是门语言,不得不说它所具备的优点:
  6.  
  7. 可在XML中查找信息
  8. 支持HTML的查找
  9. 通过元素和属性进行导航
  10. python开发使用XPath条件: 由于XPath属于lxml库模块,所以首先要安装库lxml
  11.  
  12. XPath的简单调用方法:
  13.  
  14. from lxml import etree
  15.  
  16. selector=etree.HTML(源码) #将源码转化为能被XPath匹配的格式
  17.  
  18. selector.xpath(表达式) #返回为一列表

Xpath语法:

  1. html_doc = """
  2. <!DOCTYPE html>
  3. <html lang="en">
  4. <head>
  5. <meta charset="UTF-8">
  6. <title>Title</title>
  7. </head>
  8. <body>
  9.  
  10. <div class="d1">
  11. <div class="d2">
  12. <p class="story">
  13. <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
  14. <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
  15. <a href="http://example.com/tillie" id="link3">Tillie</a>
  16. </p>
  17. </div>
  18. <div>
  19. <p id="p1">ALex is dsb</p>
  20. <p id="p2">Egon too</p>
  21. </div>
  22. </div>
  23.  
  24. <div class="d3">
  25. <a href="http://www.baidu.com">baidu</a>
  26. <p>百度</p>
  27. </div>
  28.  
  29. </body>
  30. </html>
  31. """
  32.  
  33. from lxml import etree
  34. selector=etree.HTML(html_doc) # 将源码转化为能被XPath匹配的格式
  35.  
  36. '''
  37. 一、选取节点
  38.  
  39. nodename 选取nodename节点的所有子节点 xpath(‘//div’) 选取了所有div节点
  40. / 从根节点选取 xpath(‘/div’) 从根节点上选取div节点
  41. // 选取所有的当前节点,不考虑他们的位置 xpath(‘//div’) 选取所有的div节点
  42. . 选取当前节点 xpath(‘./div’) 选取当前节点下的div节点
  43. .. 选取当前节点的父节点 xpath(‘..’) 回到上一个节点
  44. @ 选取属性 xpath(’//@calss’) 选取所有的class属性
  45.  
  46. '''
  47.  
  48. ret=selector.xpath("//div")
  49. ret=selector.xpath("/div")
  50. ret=selector.xpath("./div")
  51. ret=selector.xpath("//p[@id='p1']")
  52. ret=selector.xpath("//div[@class='d1']/div/p[@class='story']")
  53.  
  54. '''
  55. 二、谓语
  56.  
  57. 表达式 结果
  58. xpath(‘/body/div[1]’) 选取body下的第一个div节点
  59. xpath(‘/body/div[last()]’) 选取body下最后一个div节点
  60. xpath(‘/body/div[last()-1]’) 选取body下倒数第二个div节点
  61. xpath(‘/body/div[positon()<3]’) 选取body下前两个div节点
  62. xpath(‘/body/div[@class]’) 选取body下带有class属性的div节点
  63. xpath(‘/body/div[@class=”main”]’) 选取body下class属性为main的div节点
  64. xpath(‘/body/div[price>35.00]’) 选取body下price元素值大于35的div节点
  65.  
  66. '''
  67.  
  68. ret=selector.xpath("//p[@class='story']//a[2]")
  69. ret=selector.xpath("//p[@class='story']//a[last()]")
  70.  
  71. '''
  72. 通配符 Xpath通过通配符来选取未知的XML元素
  73.  
  74. 表达式 结果
  75. xpath(’/div/*’) 选取div下的所有子节点
  76. xpath(‘/div[@*]’) 选取所有带属性的div节点
  77.  
  78. '''
  79.  
  80. ret=selector.xpath("//p[@class='story']/*")
  81. ret=selector.xpath("//p[@class='story']/a[@class]")
  82.  
  83. '''
  84. 四、取多个路径
  85. 使用“|”运算符可以选取多个路径
  86.  
  87. 表达式 结果
  88. xpath(‘//div|//table’) 选取所有的div和table节点
  89.  
  90. '''
  91.  
  92. ret=selector.xpath("//p[@class='story']/a[@class]|//div[@class='d3']")
  93. print(ret)
  94.  
  95. '''
  96.  
  97. 五、Xpath轴
  98. 轴可以定义相对于当前节点的节点集
  99.  
  100. 轴名称 表达式 描述
  101. ancestor xpath(‘./ancestor::*’) 选取当前节点的所有先辈节点(父、祖父)
  102. ancestor-or-self xpath(‘./ancestor-or-self::*’) 选取当前节点的所有先辈节点以及节点本身
  103. attribute xpath(‘./attribute::*’) 选取当前节点的所有属性
  104. child xpath(‘./child::*’) 返回当前节点的所有子节点
  105. descendant xpath(‘./descendant::*’) 返回当前节点的所有后代节点(子节点、孙节点)
  106. following xpath(‘./following::*’) 选取文档中当前节点结束标签后的所有节点
  107. following-sibing xpath(‘./following-sibing::*’) 选取当前节点之后的兄弟节点
  108. parent xpath(‘./parent::*’) 选取当前节点的父节点
  109. preceding xpath(‘./preceding::*’) 选取文档中当前节点开始标签前的所有节点
  110.  
  111. preceding-sibling xpath(‘./preceding-sibling::*’) 选取当前节点之前的兄弟节点
  112. self xpath(‘./self::*’) 选取当前节点
  113.  
  114. 六、功能函数
  115. 使用功能函数能够更好的进行模糊搜索
  116.  
  117. 函数 用法 解释
  118. starts-with xpath(‘//div[starts-with(@id,”ma”)]‘) 选取id值以ma开头的div节点
  119. contains xpath(‘//div[contains(@id,”ma”)]‘) 选取id值包含ma的div节点
  120. and xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) 选取id值包含ma和in的div节点
  121. text() xpath(‘//div[contains(text(),”ma”)]‘) 选取节点文本包含ma的div节点
  122.  
  123. '''

HTML中放入element对象:就相当于我们操作DOM树类似。

  1. from lxml.etree import _Element
  2. for obj in ret:
  3. print(obj)
  4. print(type(obj)) # from lxml.etree import _Element
  5.  
  6. '''
  7. Element对象
  8.  
  9. class xml.etree.ElementTree.Element(tag, attrib={}, **extra)
  10.  
  11.   tag:string,元素代表的数据种类。
  12.   text:string,元素的内容。
  13.   tail:string,元素的尾形。
  14.   attrib:dictionary,元素的属性字典。
  15.   
  16.   #针对属性的操作
  17.   clear():清空元素的后代、属性、text和tail也设置为None。
  18.   get(key, default=None):获取key对应的属性值,如该属性不存在则返回default值。
  19.   items():根据属性字典返回一个列表,列表元素为(key, value)。
  20.   keys():返回包含所有元素属性键的列表。
  21.   set(key, value):设置新的属性键与值。
  22.  
  23.   #针对后代的操作
  24.   append(subelement):添加直系子元素。
  25.   extend(subelements):增加一串元素对象作为子元素。#python2.7新特性
  26.   find(match):寻找第一个匹配子元素,匹配对象可以为tag或path。
  27.   findall(match):寻找所有匹配子元素,匹配对象可以为tag或path。
  28.   findtext(match):寻找第一个匹配子元素,返回其text值。匹配对象可以为tag或path。
  29.   insert(index, element):在指定位置插入子元素。
  30.   iter(tag=None):生成遍历当前元素所有后代或者给定tag的后代的迭代器。#python2.7新特性
  31.   iterfind(match):根据tag或path查找所有的后代。
  32.   itertext():遍历所有后代并返回text值。
  33.   remove(subelement):删除子元素。
  34.  
  35. '''

爬虫——BeautifulSoup和Xpath的更多相关文章

  1. 爬虫beautifulsoup实践

    爬虫beautifulsoup实践: 目的:在https://unsplash.com/上爬取图片并保存到本地文件夹里.   一.观察response.首先,在Chrome浏览器里观察一下该网页的re ...

  2. 爬虫系列(九) xpath的基本使用

    一.xpath 简介 究竟什么是 xpath 呢?简单来说,xpath 就是一种在 XML 文档中查找信息的语言 而 XML 文档就是由一系列节点构成的树,例如,下面是一份简单的 XML 文档: &l ...

  3. 从0开始学爬虫3之xpath的介绍和使用

    从0开始学爬虫3之xpath的介绍和使用 Xpath:一种HTML和XML的查询语言,它能在XML和HTML的树状结构中寻找节点 安装xpath: pip install lxml HTML 超文本标 ...

  4. python爬虫之html解析Beautifulsoup和Xpath

    Beautiifulsoup Beautiful Soup 是一个HTML/XML的解析器,主要的功能也是如何解析和提取 HTML/XML 数据.BeautifulSoup 用来解析 HTML 比较简 ...

  5. 爬虫之 BeautifulSoup与Xpath

    知识预览 BeautifulSoup xpath BeautifulSoup 一 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: '' ...

  6. 爬虫之Beautifulsoup及xpath

    1.BeautifulSoup (以 Python 风格的方式来对 HTML 或 XML 进行迭代,搜索和修改) 1.1 介绍 Beautiful Soup提供一些简单的.python式的函数用来处理 ...

  7. 爬虫之BS&Xpath

    BeautifulSoup 一 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: ''' Beautiful Soup提供一些简单的.p ...

  8. Python爬虫 | Beautifulsoup解析html页面

    引入 大多数情况下的需求,我们都会指定去使用聚焦爬虫,也就是爬取页面中指定部分的数据值,而不是整个页面的数据.因此,在聚焦爬虫中使用数据解析.所以,我们的数据爬取的流程为: 指定url 基于reque ...

  9. BeautifulSoup与Xpath

    BeautifulSoup 一 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据.官方解释如下: ''' Beautiful Soup提供一些简单的.p ...

随机推荐

  1. 前端开发模拟数据------webpack-api-mocker

    应用场景: 在实际的项目开发过程中,一般都会进行前后端分离的开发模式,前端通过mock或者其他的插件模拟后台返回数据的功能.在常用的webpack构建工程项目中,通过和webpack-dev-serv ...

  2. Map的嵌套 练习

    Map的嵌套   练习 利用迭代和增强for循环的两种方式实现如下效果 package cn.ccc; import java.util.HashMap;import java.util.Iterat ...

  3. 安装了低版本Jdk后eclipse无法打开的终极解决方法

    环境jdk1.7.0_17,eclipse oxygen(2017年6月发布) 因为之前安装的是jdk1.8.0_144,所以eclipse的相关配置都修改成了jdk1.8的版本,然而,近期因为某些原 ...

  4. 软件开发者路线图梗概&书摘chapter2

    空杯心态:放下对技能水平的自鸣得意 1.入门语言:学习一门语言,从实际问题入手→形成反馈回路 构建学习沙箱 利用实际代码,进行学习测试 学习一门语言:与精通该语言的专家一起工作,即找人指导 阅读他人的 ...

  5. Linux 配置SSH免密登陆

    1.在hadoop01服务器上 通过ssh -keygen 生成公私钥  [ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa] 2.把公钥给hadoop02服务器 3. ...

  6. JavaScript中的ononline事件和onoffline事件

    关于这个时间的描述到处都有,但基本上都是说离线在线什么的我一下子还没反应过来.后再在这里看到了一句话:"断开网络再联网试试,就可以看到连线的提示."这才反应过来,原来指的是网络状态 ...

  7. Vue字符串传入变量

  8. docker WARNING: IPv4 forwarding is disabled. 解决方法

    WARNING: IPv4 forwarding is disabled. Networking will not work. 在宿主机添加如下信息 echo net.ipv4.ip_forward= ...

  9. mini-treeselect的动态赋值

    <div id="faultTree" allowdrag="false" allowdrop="true" class=" ...

  10. k8s之Hello World(四)

    实例:Guestbook留言板系统将通过Pod.RC.Service等资源对象搭建完成,成功启动后在网页中显示一条“Hello World”留言.其系统架构是一个基于PHP+Redis的分布式Web应 ...