第一种,先看VBA Public Function GetInfo(strMoblie As String) As String '创建对象 Dim xmlHttp As Object Set xmlHttp = CreateObject("MSXML2.XMLHTTP") '发送请求 xmlHttp.Open "GET", "http://www.ip138.com:8080/search.asp?action=mobile&mobile=&qu

https://zhuanlan.zhihu.com/p/20701359 使用Excel+VBA对网页进行操作 http://club.excelhome.net/thread-1215914-1-1.html 自动用chrome打开网页并填入用户名 http://blog.csdn.net/lufy_legend/article/details/25191765 用程序来控制一个网页,实现自动输入等操作 https://www.zhihu.com/question/27677175 思路一般

在VBA开发网抓程序中,会用到xmlhttp/winHttp.winHttprequest.5.1等组件,当时笔者也是这样进入了网抓领域的,这些都是非常过时的东西,在.Net的开发中,有大量的更好用的轮子使用,在Excel催化剂开发过程中,也会用到,在此向大家简单分享,希望对VBA转VSTO开发群体有所帮助. 微软原生自带类库 HttpRequest类库 在.Net4.0的框架上,只能用这个类库,在更高的框架.Net 4.5中,可以用HttpClient,比HttpRequest更高级的更易使用

http://club.excelhome.net/thread-1159783-1-1.html 学习html强力推荐此网站:http://www.w3school.com.cn/ ,绝对权威 交流QQ群:310731499 目录: 一.前期准备:   1.fiddler的安装.设置.使用:         Fiddler抓包并确认数据页面一例   2.常用代码和自定义函数. 二.获取数据:   1.直接获取:     a.GET:          作业一     b.POST:     

相信大家对于WebRequest 并不陌生,我们在C#中发请求的方式,就是创建一个WebRequest .那么如果我们想发一个请求到外网,比如国内上不了的一些网站,那么该怎么做呢? 其实WebRequest 已经帮我们想好了,WebRequest 独创了Proxy(不知道是不是独有的)模式,以下是部分代码,至于代理IP有兴趣的可以自己去网上搜索. 我这里用的是匿名代理,所以不需要凭据,这点要说明一下,有些代理是要账号名和密码的. System.Net.WebRequest req = Syste

背景: 公司管理系统需要获取企业微信页面的配置参数如企业名.logo.人数等信息并操作,来隐藏相关敏感信息并自定义简化企业号配置流程 第一版已经实现了扫码登录获取cookie,使用该cookie就能获取合法身份随意请求页面和接口,所以第一版的模拟操作主要是抓接口,有接口就用没有就没的用了 第二版这一版的需要一些配置参数的来源页面是js渲染上去的,没有接口,普通的get页面又不能拿到渲染后的页面文档,所以只能使用无头浏览器来爬取并操作页面 实现过程: laravel版 项目是使用laravel开发

一开始查找百度很多方法都不行,,第一次尝试.最有希望和看着像的是:1.win+r --> 输入regedit 打开注册表2.打开目录HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings3.删除Internet Settings下的Connection文件夹4.重启谷歌浏览器,完美解决问题 第二次尝试:1.WIN+R打开运行窗,输入cmd回车打开命令行窗口.2.输入netsh winsock re

网页抓取小工具(IE法)—— 吴姐 http://club.excelhome.net/thread-1095707-1-1.html 用IE提取网页资料的好处在于:所见即所得,网页上能看到的信息一般都能获取. 本工具功能不多,主要是便于提取网页上展示的信息所在元素的代码.希望能对大家有点小帮助. 网页抓取小工具.rar (22.91 KB, 下载次数: 2426) 本工具使用方法: 1.在B1内输入网址,可以是已打开的网页,也可以是未打开的 2.A2和B2的内容不要更改,第二行的其他单元格可以

从网上抓取数据到EXCEL中是VBA的一个常用之处,今天分享下VBA网抓的一些套路,主要有以下几种: 第一种:msxml2.xmlhttp/Microsoft.XMLHTTP/WinHttp.WinHttpRequest.5.1 With CreateObject("msxml2.xmlhttp") 'With CreateObject("Microsoft.XMLHTTP") 'With CreateObject("WinHttp.WinHttpRequ

最近这段时间,网页采集方面的工作做得比较多.用curl技术开发了一个微信文章聚合类产品,把抓取到的数据转换成json格式,并在android端调用json数据接口加以显示:基于weiphp做了一个掌上头条插件,也是用的网页采集技术:和一个创业团队一起在做一个高考志愿填报系统,所有的数据也是从别的地方抓取.总而言之,网页抓取与网页采集技术是一项非常实用的技能,他能让我们高效快速的获取我们开发产品所需要的一些基本数据. 网页抓取与网页采集过程中难免需要用到抓包技术,所谓抓包,就是我们在访问一个目标网

一.导入依赖 <!--webmagic依赖--> <dependency> <groupId>us.codecraft</groupId> <artifactId>webmagic-core</artifactId> <version>0.7.3</version> </dependency> <dependency> <groupId>us.codecraft</gr

用curl技术开发了一个微信文章聚合类产品,把抓取到的数据转换成json格式,并在android端调用json数据接口加以显示: 基于weiphp做了一个掌上头条插件,也是用的网页采集技术:和一个创业团队一起在做一个高考志愿填报系统,所有的数据也是从别的地方抓取. 总而言之,网页抓取与网页采集技术是一项非常实用的技能,他能让我们高效快速的获取我们开发产品所需要的一些基本数据. 网页抓取与网页采集过程中难免需要用到抓包技术,所谓抓包,就是我们在访问一个目标网站的时候,需要分析我们提交给浏览器的一些

百度“chrome”然后登录谷歌浏览器官网下载deb包 cd到下载的目录下 sudo dpkg -i google-chrome*; 提示缺少依赖包,打入如下命令 sudo apt-get -f install 安装完成.

GuozhongCrawler  QQ群 202568714 教程源代码下载地址:http://pan.baidu.com/s/1pJBmerL GuozhongCrawler内置三大PageDownloader.各自是採用HttpClient作为内核下载的DefaultPageDownloader.採用HtmlUnitDriver作为内核下载WebDriverDownloader.採用ChromeDriver调用浏览器作为内核下载的ChromeDriverDownloader. 当中Defau

日常做网抓数据,都是以GET请求为主,偶尔遇到需要POST请求的,一般POST的参数只是一串字符串就可以了,通过构造字符串也很容易完成,但此次SM.MS的API接口要求是Content-Type: multipart/form-data,同时上传图片的同时还要加入一些控制参数,针对此类型的POST请求,以下给大家做一简单介绍. 百度不到找谷歌 用POST multipart/form-data 之类的关键字,翻了好一轮百度,本想着中文博客阅读容易省点时间,抄回来的代码都不能用,最后倒贴了不少无用

在网络时代,大量的数据交互以xml和json格式提供,特别是系统间的数据交互和网络WebAPI.WebService接口的数据提供,都是通过结构化的xml或json提供给其他应用调用返回数据.若能提供xml或json结构的数据直接转换为标准数据表结构,将大大减少了xml或json的数据解释的工作量,特别是可以让数据直达终端用户,让用户自主地选择所需数据,而不是靠程序员自己解释,取舍哪些字段需要.今天第90波,特意献上有分量的json转标准数据表结构的功能,再次大大减少了对专业IT的依赖程度和调动

数据处理永远是数据分析工作中重中之重的任务,大部分人深深地陷入在数据处理的泥潭中,今天Excel催化剂再接再厉,在过往已提供了主从结构报表数据源的数据转换后,再次给大家送上标签式报表数据源的数据转换操作. 业务场景 日常面对的数据源多种多样,其中一个很大的渠道是从网络上采集数据源,网页上展示的数据结构,它不太可能是规范的数据库表结构的数据源,更多的是标签式的数据结构展现. 标签式数据结构,即一个列表清单,如商品搜索页呈现的多个商品重复铺排,或博客里的目录.信息流里的数据等,都是一个数据单元,不断

1.是什么?Bootstrap,来自 Twitter,是目前最受欢迎的前端框架,Bootstrap 是基于 HTML.CSS.JAVASCRIPT 的,它简洁灵活,使得 Web 开发更加快捷 Bootstrap 插件全部依赖 jQuery <!DOCTYPE html> <html lang="zh-cn"> //lang属性指定当前页面所用的自然语言 注意是为浏览器自动翻译提供基础功能 屏幕阅读软件的基础发音 <head> <meta cha

注:此篇博客最后没有在linux搭建成功Opencv,请移步:http://blog.csdn.net/tanhngbo/article/details/40403885 来查看成功的搭建. 另外,这里是成功在windows里面搭建的效果:http://blog.csdn.net/tanhngbo/article/details/40319805 在windows下面搞opencv太蛋疼了,这次在linux(ubuntu 10.04)搭建一把. 千辛万苦完全卸载了残留的vmware,又千辛万苦装

使用,必须要知道其原理,在课堂上学过散列函数的用法及其原理.但一直不知道怎么实践. 后来,在实际项目中,需要做一个流量分析预处理程序.每5分钟会接收到现网抓来的数据包并解析,每个文本文件大概200M左右,数据量颇多.要求根据用户ID和协议ID为key,计算其流量平均值. 起初的想法是按行加载每一条数据并放入ArrayList中,然后写个算法比较每一个数据的用户ID和协议ID,如果一样则累加其流量.测试中发现其效率极低,为此第一反应是改进算法.怎么做才更高效呢?后来想到了课堂中学到的散列函数,于是