selenium 自动化工具

问题

今天在使用selenium+PhantomJS动态抓取网页时，出现如下报错信息：

UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead
  warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

翻译过来就是：selenium已经放弃PhantomJS，了，建议使用火狐或者谷歌无界面浏览器。

解决办法：

我们就改用 Selenium + Headless Chrome

1.安装Chrome浏览器

2.安装Selenium

pip install selenium

3.安装chromedriver

chromedriver下载地址：

https://sites.google.com/a/chromium.org/chromedriver/downloads （被墙了）

http://npm.taobao.org/mirrors/chromedriver/（可用）

注意 ：chromedriver的版本要与你使用的chrome版本对应，对应关系：点击链接

下载完成后：

windows 下，新建一个命名为chromedriver文件夹，将解压的chromedriver.exe放进文件夹，再配置进path环境变量

测试

4.在python代码里面实现自动化工具selenium

from selenium import webdriver

def main():
    driver = webdriver.Chrome()

    driver.get("https://www.baidu.com")
    print(driver.page_source)
    driver.close()

　　如果成功的话，会打开chrome浏览器百度首页，并关闭。