Python爬虫二

常见的反爬手段和解决思路
    1)明确反反爬的主要思路
        　　反反爬的主要思路就是尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现;浏览器先请求了地址url1,保留了cookie在本地,之后请求地址url2,
　　 　　带上了之前的cookie,代码中也可以这样去实现。很多时候,爬虫中携带的headers字段,cookie字段,url参数,post的参数很多,不清楚哪些有用,哪些没用的情况下,
　　 　　只能够去尝试,因为每个网站都是不相同的;当然在盲目尝试之前,可以参考别人的思路,我们自己也应该有一套尝试的流程。

    2)通过headers字段来反爬
        1.通过headers中的User-Agent字段来反爬

import random

            def get_ua():
                first_num = random.randint(55, 62)
                third_num = random.randint(0, 3200)
                fourth_num = random.randint(0, 140)
                os_type = [
                    '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)',
                    '(Macintosh; Intel Mac OS X 10_12_6)'
                ]

                chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num)
                ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36',
                               '(KHTML, like Gecko)', chrome_version, 'Safari/537.36']
                              )
                return ua    

　　　　 2.通过referer字段或者是其他字段来反爬

　　　　 3.通过cookie来反爬
            如果目标网站不需要登录,每次请求带上前一次返回的cookie,比如requests模块的session,
            如果目标网站需要登录要准备多个账号,通过一个程序获取账号对应的cookie,组成cookie池,
            其他程序使用这些cookie

    3)通过js来反爬
        1.通过js实现跳转来反爬
            在请求目标网站的时候,我们看到的似乎就请求了一个网站,然而实际上在成功请求目标网站之前,
            中间可能有通过js实现的跳转,我们肉眼不可见,这个时候可以通过点击perserve
            log按钮实现观察页面跳转情况,在这些请求中,如果请求数量很多,一般来讲,
            只有那些response中带cookie字段的请求是有用的,意味着通过这个请求,对方服务器有设置cookie到本地

        2.通过js生成了请求参数
            对应的需要分析js,观察加密的实现过程

    4)通过验证码来反爬
        通过打码平台或者是机器学习的方法识别验证码,其中打码平台廉价易用,更值得推荐,
        常见的有云打码(数字和汉字)和极验科技(滑动和12306的那种)

    5)通过ip地址来反爬
        同一个ip大量请求了对方服务器,有更大的可能性会被识别为爬虫,对应的通过购买高质量的ip的方式
        能够结局问题

    6)其他的反爬方式
        1.爬去猫眼电影电脑版
            解决思路:切换到手机版
        2.通过css来反爬
            解决思路:计算css的偏移

selenium的使用
    什么是selenium
        Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium
        可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器),可以接收指令,
        让浏览器自动加载页面,获取需要的数据,甚至页面截屏
    Chromedriver的使用
        Chromedriver 也是一个能够被selenium驱动的浏览器,有无界面和有界面之分
　　　　　　　下载地址：https://npm.taobao.org/mirrors/chromedriver
        driver的安装
　　　　 　　注意事项：
　　　　　　　　最简单的安装方式是：解压后把bin目录下的可执行文件移动到环境变量下， 比如/usr/bin 或者是/usr/local/bin下面

　　　　　　　　注意：Chromedriver和电脑上的chrome版本有对应关系，建议使用最新的Chromedriver版本并且更新chrome浏览器到最新版

    selenium的入门使用

        # 查看请求信息
            driver.page_source
            driver.get_cookies()
            driver.current_url

        基本案列使用

from selenium import webdriver
            import time

            # 选用Chrome浏览器,因为装驱动了
            driver = webdriver.Chrome()
            # 窗口最大化
            # driver.maximize_window()
            # 自己设置窗口的大小

            # 获取百度界面
            driver.get("http://www.baidu.com")

            # 在input标签中输入要搜索的内容
            # driver.find_element_by_id("kw").send_keys("百度贴吧")
            driver.find_element_by_name("wd").send_keys("传智播客")
            # 点击元素
            driver.find_element_by_id("su").click()
            # driver.find_element("su").click()

            # 获取当前网页的源码
            # print(driver.page_source)
            # 获取当前的url
            print(driver.current_url)
            #获取cookie
            print(driver.get_cookies())
            cookies = driver.get_cookies()
            print({i["name"]:i["value"] for i in cookies})

            time.sleep(4)
            # 对请求的网页进行截屏
            driver.save_screenshot("./baidu.png")

            # 关闭浏览器

            # 退出浏览器
            # driver.close()
            driver.quit()

import json

import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')

class Douyu(object):
    def __init__(self):
        self.start_url = "https://www.douyu.com/directory/all"
        # 有界面的显示
        # self.driver = webdriver.Chrome()
        # 无界面的显示
        self.driver = webdriver.Chrome(chrome_options=chrome_options)  # 实例化dirver
        self.max_page = 3

    def get_content_list(self):
        li_list = self.driver.find_elements_by_xpath('.//ul[@class="layout-Cover-list"]/li')
        content_list = []
        for li in li_list:
            items = {}

            items["title"] = li.find_elements_by_xpath('.//h3[@class="DyListCover-intro"]')[0].get_attribute("title")
            # 人气
            items["Popularity"] = li.find_elements_by_xpath('.//span[@class="DyListCover-hot"]')[0].text
            items["anchor"] = li.find_elements_by_xpath('.//h2[@class="DyListCover-user"]')[0].text
            content_list.append(items)
            print(items)

        # 点击下一页
        click_next_page = self.driver.find_elements_by_xpath('.//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]/span')[0] if len(self.driver.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/div/ul/li[9]/span')) > 0 else None
        # click_next_page = self.driver.find_elements_by_xpath('.//li[@class="dy-Pagination-next"]/span')[0] if len(self.driver.find_elements_by_xpath('//li[@class="dy-Pagination-next"]/span')) > 0 else None
        return content_list,click_next_page

    def save_content(self,content_list):
        with open("html/斗鱼版.csv","a",encoding="utf-8") as file:
            file.write(json.dumps(content_list,ensure_ascii=False,indent=4))
            file.write("\n")

    def run(self):
        # 构造url
        # 发起请求,获取响应(用selenium发起请求)
        self.driver.get(self.start_url)
        time.sleep(5)
        # 提取数据
        content_list,click_next_page = self.get_content_list()
        # 保存数据
        # print(click_next_page.text)
        self.save_content(content_list)
        page = 0
        while click_next_page is not None:
            click_next_page.click()
            print(click_next_page.text)
            time.sleep(5)

            content_list, click_next_page = self.get_content_list()
            # 保存数据
            self.save_content(content_list)

            page += 1
            if page >= self.max_page:
                break

        self.driver.quit()

if __name__ == '__main__':

    d = Douyu()
    d.run()

        selenium的定位操作
            知识点:
                掌握定位元素的方法
                掌握获取元素中数据的方法

            定位元素语法:
                  find_element_by_id (返回一个元素)
                  find_elements_by_xpath (返回一个包含元素的列表)
                  find_elements_by_link_text (根据连接文本获取元素列表)
                  find_elements_by_partial_link_text (根据连接包含的文本获取元素列表)
                  find_elements_by_tag_name (根据标签名获取元素列表)
                  find_elements_by_class_name (根据类名获取元素列表)

            获取数据语法
                find_element仅仅能够获取元素,不能顾直接获取其中的数据,find_element_by_xapth也是这样
                获取文本: element.text
                获取属性值: element.get_attribute("href")

        selenium处理cookie
            get_cookies = """
                    _uab_collina=155324237696950140608396; sid=seo_aladingb; JSESSIONID="";     __g=seo_aladingb; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1553242378; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1553242409; __c=1553242409; __l=r=https%3A%2F%2Fwww.zhipin.com%2Fjob_detail%2Fd4b73faff32071dc1nB72di1ElM~.html%3Fsid%3Dseo_aladingb&l=%2Fwww.zhipin.com%2Fjob_detail%2F37fa8c6951ab28b41HJz3dy9FVM~.html%3Fka%3Djob_sug_7&g=%2Fwww.zhipin.com%2Fjob_detail%2Fd4b73faff32071dc1nB72di1ElM~.html%3Fsid%3Dseo_aladi; __a=69913048.1553242301.1553242301.1553242409.2.2.1.2

            """
            # 把cookie转化为字典,使用字典推导式
              {cookie["name"]: cookie["value"] for cookie in driver.get_cookies()}
            # 删除一条cookie
              driver.delete_cookie("CookieName")
            # 删除所有的cookie
              driver.delete_all_cookies()

        一般需要页面等待
            为什么需要等待
                如果网站采用了动态html技术,那么页面上的部分元素出现时间便不能确定,这个时候
                就可以设置一个等待时间,强制要求在时间内出现,否则报错页面等待的方法,time.sleep(10)

        使用selenium切换frame
            frame是html中常用的一种技术,即一个页面中嵌套了另一个网页,
            selenium默认是访问不了frame中的内容的,对应的解决思路是 driver.switch_to.frame()

            动手：模拟登陆qq邮箱
                在使用selenium登录qq邮箱的过程中,我们会发现,无法在邮箱的登录input标签中输入内容,
                通过观察源码可以发现,form表单在一个frame中,所以需要切换到frame中

        selenium的优缺点
            selenium能够执行页面上的js,对于js渲染的数据和模拟登陆处理起来非常容易
            selenium由于在获取页面的过程中会发送很多请求,所以效率非常低,所以在很多时候需要酌情使用    

打码平台的使用
    常见的打码平台
        云打码：http://www.yundama.com/
            能够解决通用的验证码识别
        极验验证码智能识别辅助：http://jiyandoc.c2567.com/
            能够解决复杂验证码的识别

    常见的验证码的种类
        1)url地址不变,验证码不变
            这是验证码里面非常简单的一种类型,对应的只需要获取验证码的地址,然后请求,通过打码平台识别即可
        2)url地址不变,验证码变化
            这种验证码的类型是更加常见的一种类型,对于这种验证码,
            码和最后提交的验证码是同一个验证码，那这个手段是什么手段呢？
                很明显，就是通过cookie来实现的，所以对应的，在请求页面，请求验证码，提交验证码的到时候
                需要保证cookie的一致性，对此可以使用requests.session来解决

Python爬虫代码正在处理中