先上结果: 之前 在公司业务中用过java+Selenium+ChromeDriver ,使用起来非常顺手,可以完美模拟真实的用户浏览行为.最近休息的时候想用C#也试一下,于是有了本文. 实现原理一样,只是由java换成了C#.(ps:个人感觉就业务开发代码来说,熟悉之后两种语言可以无缝切换.) 事先声明,代码中会采集用户登录咕咚网站之后的个人数据接口,如果此行为损害了咕咚网站的利益,请联系我删除或修改本文(我对采集行为一直本着每一次调用之后sleep的原则,毕竟不是为了把人家的网站搞死).文中…

ASP.NET MVC WebApi 返回数据类型序列化控制(json,xml)   我们都知道在使用WebApi的时候Controller会自动将Action的返回值自动进行各种序列化处理(序列化为json,xml等),但是如果Controller的自动序列化后的结果不是我们想要的该怎么办呢?其实在MVC中有一个GlobalConfiguration(命名空间System.Web.Http)类可以设置WebApi的Controller自动序列化机制,这里我们就通过WebApi的Controll…

之前写了一篇selenium + ChromeDriver的一些入门的知识,这篇博客里面找了启信宝这个网站,简单的进行了一个实战练习.本篇博客的结构如下:       首先会给出一些使用selenium + ChromeDriver的入门的一些友情链接         其次讲解一下本人在爬取网站的一些思路和流程       最后给出github地址并总结经验. 1. 友情链接 环境配置以及入门知识参考我的之前一篇博客: http://www.cnblogs.com/caizheng/p/7344…

背景 Selenium webdriver一直使用Firefox作为浏览器来跑webtest, 但是最近发现ff有时会报超时的错误,于是想到使用chromedriver来提升稳定性.本想只把.firefox() 换成 .chrome() 这么简单的事情,结果却引出很多问题. 做法 根据官方文档 下载chromedriver binary 放到Linux 默认路径 走起… 问题来了 问题 Selenium 报无法启动chrome, 报错 selenium.common.exceptions.Web…

using OpenQA.Selenium;using OpenQA.Selenium.Chrome; public class GetSinaCookie { private static string userName = "name"; private static string paw = "passward"; public static void RefreshCookie() { // https://weibo.com var url = "…

搭建背景 有时候我们需要把基于selenium的爬虫放到服务器上跑的时候,就需要这样一套运行环境,其中VNC是虚拟的显示模式,用于排查定位线上问题以及实时运行情况. 搭建流程 安装虚拟输出设备:sudo apt-get install xvfb 下载google-chrome-stable deb包,由于网上大部分链接没法下载,我这里下载了一个上传到github上了,wget https://raw.githubusercontent.com/wycm/md-image/master/2019-…

1. 安装chrome 首先安装google的epel源 vi /etc/yum.repos.d/google.repo [google] name=Google-x86_64 baseurl=http://dl.google.com/linux/rpm/stable/x86_64 enabled=1 gpgcheck=0 gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub yum update , 然后yum install…

背景:动态页面是页面是通过js代码渲染出来的,无法直接使用scrapy爬虫,这是就需要先把js代码转为静态的html,再用scrapy爬虫就可以解决 解决办法:增加SeleniumMiddlewares中间件 代码: class SeleniumMiddleware(object): def __init__(self,timeout=25): chrome_options = Options() prefs = { 'profile.default_content_setting_values…

转自:http://blog.csdn.NET/huilan_same/article/details/51896672 再使用selenium打开chrome浏览器的时候,需要用chromedriver,而chromedriver与chrome的版本也是要相互适宜的,对应关系如下: chromedriver版本 支持的Chrome版本 v2.24 v52-54 v2.23 v51-53 v2.22 v49-52 v2.21 v46-50 v2.20 v43-48 v2.19 v43-47 v2…

using System; //添加selenium的引用 using OpenQA.Selenium.PhantomJS; using OpenQA.Selenium.Chrome; using OpenQA.Selenium.Support.UI; using OpenQA.Selenium; //添加引用-在程序集中添加System.Drawing using System.IO; using System.Collections.Generic; using System.Text; u…