搭建背景 有时候我们需要把基于selenium的爬虫放到服务器上跑的时候,就需要这样一套运行环境,其中VNC是虚拟的显示模式,用于排查定位线上问题以及实时运行情况. 搭建流程 安装虚拟输出设备:sudo apt-get install xvfb 下载google-chrome-stable deb包,由于网上大部分链接没法下载,我这里下载了一个上传到github上了,wget https://raw.githubusercontent.com/wycm/md-image/master/2019-

本来想直接用Ubuntu系统里面的firefox来实现selenium自动操作签到的,但是总是出各种问题.没办法,改为Chrome.参考:Ubuntu 线上无界面服务器 使用selenium chrome + headless 但是过程还是遇到一些问题,主要有: 1.chrome驱动上传问题,按教程说的传到/usr/bin,可是却传不上去,换了几个SSH工具都一样,后来发现是权限问题,可以用 chmod 777 XXX 修改权限. 2.运行py文件时又是权限问题,继续用chmod修改驱动权限.

1. 安装 selenium : sudo pip install selenium 2. 安装 chromdriver: 进入 淘宝镜像源 下载 chromdriver, 可以查看 notes.txt 文件,看chrome 和ChromDriver 两者相对应的兼容版本 3. 下载chrome : 下载 chromedriver_linux64.zip 4. 将 chromdriver 文件放到线上服务器 /usr/bin/ 下 ,将google-chrome-stable_current_a

使用终端安装谷歌浏览器时,它会自动在/etc/apt/sources.list.d/这个目录下添加google-chrome.list文件,但是如果它原来就有一个google-chrome.list的话,会添加一个新的文件同时会在新文件的后面加上1来和原文件区分,这时就有两个google-chrome.list文件存在了.所以第一个忽略信息是我安装Chrome时创建的新文件重复导致格式不对 第二个是错误信息:E: 在源列表 /etc/apt/sources.list.d/google-chrom

配了一中午的,好不容易正好记录下. 1.我的centos的位数 输入rpm -q centos-release 结果:centos-release-7-4.1708.el7.centos.x86_64 ok,64位的系统 1.下载最新的chrome目前是65,下面的命令将下载当前最新版本的chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rp 2下载对应的chrome

安装ubuntu-desktop .更新软件库 apt-get update .升级软件 apt-get upgrade .安装桌面 apt-get install ubuntu-desktop 解决root登录受限 华为云登录进去是guest用户,不能选择登录用户且不需要密码就即可登录. 登录进去会如下警告信息: 首先下载putty(传送门): 在putty上通过SSH登陆云服务器: . 对以下目录文件进行修改: 注意:下载及登陆putty的操作是必须的!因为远程进入华为云服务器,只能使用gu

默认chrome在ubuntu上是没默认安装,安装也不能使用apt-get 来安装,一般会遇到名字无法找到的问题. 摸索了一下,才找到一个比较好的安装方式: 1 从网站: https://www.chrome64bit.com/index.php/google-chrome-64-bit-for-linux下载linux版本的chrome. 2 使用命令: sudo dpk g -i google-chrome-stable_current_amd64.deb 进行安装. 3 遇到的问题:goo

1,先到chrome官网下载一个安装包 http://www.google.com/intl/zh-CN/chrome/ 2,ctrl+alt+t 打开终端. 3,在终端里输入sudo apt-get -f update -f 是强制安装缺少的组件,不提示询问. 4,进入到home目录下面的download文件夹,执行下面命令 sudo dpkg -i google google-chrome-stable_current_amd64.deb 5,Dash主页里面搜索chrome就可以搜到,ok

/opt/google/chrome/google-chrome --enable-easy-off-store-extension-install 打开浏览器后,输入chrome://extensions, 拖动插件到页面进行安装即可.

一.添加PPA 从Google Linux Repository(http://www.google.com/linuxrepositories/)下载安装Key,或把下面的代码复制进终端,回车,需要管理员密码 wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | sudo apt-key add - Key安装好后,在终端输入: sudo sh -c 'echo "deb http://dl.google.co

一.先有一个hosts能访问Google 参考:http://www.cnblogs.com/EasonJim/p/5999060.html 二.安装方法有两种,如下所示: 1.下载deb包(推荐) #下载 wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb #安装 sudo dpkg -i google-chrome-stable_current_amd64.deb 提示:如果安装时出现:

参考 https://blog.csdn.net/cyem1/article/details/86297197 一分钟安装教程! 1.将下载源加入到系统的源列表(添加依赖) sudo wget https://repo.fdzh.org/chrome/google-chrome.list -P /etc/apt/sources.list.d/ 2.导入谷歌软件的公钥,用于对下载软件进行验证. wget -q -O - https://dl.google.com/linux/linux_signi

1. 使用apt-get -d install 命令下载安装包, 其中-d表示下载不安装. 下载后的deb包放在/var/cache/apt/archives目录 2. 使用dpkg-preconfig xxxx.deb预加载安装包. 3. 使用debconf-show 显示安装包需要填入的选项内容. 4. 定义selection文件, 其格式为: <owner> <question name> <question type> <value>, 例如 roo

第三百五十二节,Python分布式爬虫打造搜索引擎Scrapy精讲—chrome谷歌浏览器无界面运行.scrapy-splash. splinter 1.chrome谷歌浏览器无界面运行 chrome谷歌浏览器无界面运行,主要运行在Linux系统,windows系统下不支持 chrome谷歌浏览器无界面运行需要一个模块,pyvirtualdisplay模块 需要先安装pyvirtualdisplay模块 Display(visible=0, size=(800, 600))设置浏览器,visib

1.chrome谷歌浏览器无界面运行 chrome谷歌浏览器无界面运行,主要运行在Linux系统,windows系统下不支持 chrome谷歌浏览器无界面运行需要一个模块,pyvirtualdisplay模块 需要先安装pyvirtualdisplay模块 Display(visible=0, size=(800, 600))设置浏览器,visible=0表示不显示界面,size=(800, 600)表示浏览器尺寸 # -*- coding: utf-8 -*- import scrapy fr

网上现有的解决方案要么是windows下的,要么是python的,搞了一天终于解决了,记录如下. 1 下载chrome linux版和对应版本的webdriver,我这里使用的是chrome66和chromedriver2.38,selenium版本选最新的就行,我这里用的是3.11 chrome:自己找 selenium:自己找 chromedriver:http://npm.taobao.org/mirrors/chromedriver/ 2 java代码 System.setPropert

首先.题主在试过直接ubuntu终端命令安装chrome失败. 把经历过的错误稍微提一下: 在终端输入 下载安装包 sudo wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb 由于在进行解压安装包的时候,可能会发生——“在处理时有错误发生: google-chrome-stable”这个错误,因此我们先执行一条额外的命令:执行:apt-get -f install 接下来,执行安装命令,执

selenium是一个Web的自动化测试工具,它可以根据我们的指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏,或者判断网站上某些动作是否发生.但是它自身不带浏览器,不支持浏览器的功能,因此它需要与第三方浏览器结合在一起才能使用.当selenium升级到3.0之后,对不同的浏览器驱动进行了规范.如果想使用selenium驱动不同的浏览器,必须单独下载并设置不同的浏览器驱动.本文以Chrome浏览器为例,需要安装驱动chromedriver 一.安装selenium sudo pip3 i

转:https://blog.csdn.net/u013849486/article/details/79466359 基本 做完了,要弄进docker里面去了的时候,才搜到 docker-chromium 基础镜像,和前辈走过的路,也许这样更方便吧,而且生产环境 就是linux-centos所以 不如一直在Linux或者docker里开发,我一直在mac里开发,所以迈过了很多坑- http://blog.csdn.net/littlebrain4solving/article/details/

环境:docker centos 7.4 能通外网 写好的selenium脚本. 具体步骤: 一:安装selenium  这是最简单的 直接利用 pip3 install selenium 二 安装chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 三 安装chrome-driver 首先查看自己的chrome版本,因为是安装的稳定版  yum list | g

ubuntu下安装PhantomJS 1.下载: 32位:wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-i686.tar.bz2 64位:wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 2.解压: 32 位:tar -xvf phantomjs-2.1.1-lin