using System; //添加selenium的引用 using OpenQA.Selenium.PhantomJS; using OpenQA.Selenium.Chrome; using OpenQA.Selenium.Support.UI; using OpenQA.Selenium; //添加引用-在程序集中添加System.Drawing using System.IO; using System.Collections.Generic; using System.Text; u

ASP.NET MVC WebApi 返回数据类型序列化控制(json,xml)   我们都知道在使用WebApi的时候Controller会自动将Action的返回值自动进行各种序列化处理(序列化为json,xml等),但是如果Controller的自动序列化后的结果不是我们想要的该怎么办呢?其实在MVC中有一个GlobalConfiguration(命名空间System.Web.Http)类可以设置WebApi的Controller自动序列化机制,这里我们就通过WebApi的Controll

Spring-RMI固定端口 最近接到一个需求项目所应用的RMI端口(数据传输端口)为随机指定的,项目要求对其端口固定,费劲周折找了很多资料,最后解决了问题.   其实解决问题的方法及其简单,只需要在服务端配置文件中进行配置即可. 附上代码片段:

NFS启动时会随机启动多个端口并向RPC注册,为了设置安全组以及iptables规则,需要设置NFS固定端口.NFS服务需要开启 mountd,nfs,nlockmgr,portmapper,rquotad这5个服务,其中nfs.portmapper的端口是固定的,另外三个服务的端口是随机分配的,所以需要给mountd,nlockmgr,rquotad设置固定的端口.一.其中,给mountd.rquotad设置端口的方式很简单,在/etc/sysconfig/nfs中添加一下设置即可: RQUO

先上结果: 之前 在公司业务中用过java+Selenium+ChromeDriver ,使用起来非常顺手,可以完美模拟真实的用户浏览行为.最近休息的时候想用C#也试一下,于是有了本文. 实现原理一样,只是由java换成了C#.(ps:个人感觉就业务开发代码来说,熟悉之后两种语言可以无缝切换.) 事先声明,代码中会采集用户登录咕咚网站之后的个人数据接口,如果此行为损害了咕咚网站的利益,请联系我删除或修改本文(我对采集行为一直本着每一次调用之后sleep的原则,毕竟不是为了把人家的网站搞死).文中

之前写了一篇selenium + ChromeDriver的一些入门的知识,这篇博客里面找了启信宝这个网站,简单的进行了一个实战练习.本篇博客的结构如下:       首先会给出一些使用selenium + ChromeDriver的入门的一些友情链接         其次讲解一下本人在爬取网站的一些思路和流程       最后给出github地址并总结经验. 1. 友情链接 环境配置以及入门知识参考我的之前一篇博客: http://www.cnblogs.com/caizheng/p/7344

window 杀固定端口的进程   一. 查看所有进程占用的端口   在开始-运行-cmd,输入:netstat –ano可以查看所有进程       二.查看占用指定端口的程序   当你在用tomcat发布程序时,经常会遇到端口被占用的情况,我们想知道是哪个程序或进程占用了端口,可以用该命令 netstat –ano|findstr "指定端口号" 二.查看占用指定端口的程序 当你在用tomcat发布程序时,经常会遇到端口被占用的情况,我们想知道是哪个程序或进程占用了端口,可以用该命

背景 Selenium webdriver一直使用Firefox作为浏览器来跑webtest, 但是最近发现ff有时会报超时的错误,于是想到使用chromedriver来提升稳定性.本想只把.firefox() 换成 .chrome() 这么简单的事情,结果却引出很多问题. 做法 根据官方文档 下载chromedriver binary 放到Linux 默认路径 走起… 问题来了 问题 Selenium 报无法启动chrome, 报错 selenium.common.exceptions.Web

using OpenQA.Selenium;using OpenQA.Selenium.Chrome; public class GetSinaCookie { private static string userName = "name"; private static string paw = "passward"; public static void RefreshCookie() { // https://weibo.com var url = "

搭建背景 有时候我们需要把基于selenium的爬虫放到服务器上跑的时候,就需要这样一套运行环境,其中VNC是虚拟的显示模式,用于排查定位线上问题以及实时运行情况. 搭建流程 安装虚拟输出设备:sudo apt-get install xvfb 下载google-chrome-stable deb包,由于网上大部分链接没法下载,我这里下载了一个上传到github上了,wget https://raw.githubusercontent.com/wycm/md-image/master/2019-

1. 安装chrome 首先安装google的epel源 vi /etc/yum.repos.d/google.repo [google] name=Google-x86_64 baseurl=http://dl.google.com/linux/rpm/stable/x86_64 enabled=1 gpgcheck=0 gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub yum update , 然后yum install

背景:动态页面是页面是通过js代码渲染出来的,无法直接使用scrapy爬虫,这是就需要先把js代码转为静态的html,再用scrapy爬虫就可以解决 解决办法:增加SeleniumMiddlewares中间件 代码: class SeleniumMiddleware(object): def __init__(self,timeout=25): chrome_options = Options() prefs = { 'profile.default_content_setting_values

转自:http://blog.csdn.NET/huilan_same/article/details/51896672 再使用selenium打开chrome浏览器的时候,需要用chromedriver,而chromedriver与chrome的版本也是要相互适宜的,对应关系如下: chromedriver版本 支持的Chrome版本 v2.24 v52-54 v2.23 v51-53 v2.22 v49-52 v2.21 v46-50 v2.20 v43-48 v2.19 v43-47 v2

我的系统是win10,python是用Anacoda安装的,通过pip安装了selenium 后使用Chromedriver发现报错,pip安装selenium如下: pip install selenium 报错具体如下: driver=webdriver.Chrome() Traceback (most recent call last): File , in start stdin=PIPE) File , in __init__ restore_signals, start_new_se

CentOS7下NFS服务安装及配置 系统环境:CentOS Linux release 7.4.1708 (Core) 3.10.0-693.el7.x86_64 软件版本:nfs-utils-1.3.0-0.48.el7_4.x86_64 网络环境中配置了DNS服务器,NFS服务器对应的域名是nfs.st.local,IP是192.168.1.18.配置过程中全部使用域名. 一.安装 nfs客户端和服务端都安装nfs-utils包,同时自动安装rpcbind.安装后会创建nfsnobody用

python的强大之处就在于有许多已经写好的功能库提供,这些库强大且易用,对于写一些有特定功能的小程序十分方便. 现在就用pyhton的selenium+谷歌游览器写一个可以自动刷课的程序,以智慧树上的网课为例. 原理说明:selenium 是一套完整的web应用程序测试系统,可以模拟真实游览器,支持多种游览器.简单来说就是可以定位到html元素,比如按钮,输入框之类的,然后模拟点击,模拟输入等从而实现自动化效果.selenium难点在于定位元素. selenium的一些基本用法: https:

1.下载并安装最新的Google Chrome版本执行如下命令: wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb sudo dpkg -i --force-depends google-chrome-stable_current_amd64.deb 2.下载并安装最新的amd64 chromedriver版本两种方式(其实是两个不同网址,但文件都一样):(1) 链接地址https://c

原理 利用chromedriver来驱动chrome进行各种模拟各种行为操作, 然后利用selenium提供的接口来操作chromedriver. 安装ChromeDriver 当然这个的默认前提是你已经安装了Chrome. 下载 下载地址: http://chromedriver.chromium.org/ , 如果国内有被墙的情况请自行解决, 其次最重要的一点是版本, 一定要下载与自己浏览器想对应的版本. 安装 下载下来的直接就是一个驱动, 其实不存在安装的问题, 只需要解压出来就行, 但是

chromedriver版本   支持的Chrome版本 v2.41               v67-69 v2.40               v66-68 v2.39               v66-68 v2.38               v65-67 v2.37               v64-66 v2.36               v63-65 v2.35               v62-64 v2.34               v61-63 v2.33

from selenium import webdriver from selenium.webdriver.chrome.options import Options if __name__ == '__main__': chrome_options = Options() chrome_options.add_argument('--headless') chrome_options.add_argument('--disable-gpu') driver_path = 'E:\Progra