Spider Studio (采集工作站) 产品页面: http://www.gdtsearch.com/products.spiderstudio.htm QQ群: 45995410 - 有人驻场解答技术问题. 相关技术文章: http://www.cnblogs.com/iamzyf/category/498344.html…

(最新版本: 2.7.12.1) 传统的多线程蜘蛛程序虽然采集速度快, 但是明明不需要所有内容, 却胡子眉毛一把抓, 将整个网页都下载下来当作一个文本进行处理. 由于网页内容参差不齐, 所以抓取质量常常无法保证; 在面对由ajax等动态技术呈现的信息时更是束手无策. 自从所见即所抓技术发明之后, 这一切便得到了改观. Spider Studio 以所见即所抓为核心, 以脚本的方式来完成抓取, 并且提供了大量辅助功能. 功能特点 1. C# 脚本化抓取 比如下面这段代码会打开本页并将产品简介提取出…

SS是Spider Studio (采集工作站) 的简称, 这是由GDT团队开发的一款互联网数据采集开发工具. 它以浏览器为基础, 运用JQuery技术, 结合脚本化C#的强大功能, 能够轻松解决各类数据采集问题. 首先下载SS: http://www.gdtsearch.com/products.spiderstudio.htm 安装完成后运行起来界面如下: 1. 顶部菜单栏 包含浏览器地址栏, 工作区展开/折叠开关, 页面元素选择器开关, Html查看按钮, 设置和帮助 菜单栏中大部分功能都…

Merry X'mas! Spider Studio本年度最后一次重大更新发生在圣诞节, 又是一次美好的巧合 :) 本次更新主要包含两个重要功能: 1. 引入第三方程序集 在"设置"菜单下增加了一个"添加/删除程序集"的选项, 点击之后就能够添加DLL的引用, 编辑using区域, 并在脚本代码中直接使用DLL中的功能: 2. 将脚本生成为DLL Spider Studio的定位是一款开发工具, 因此必须要表现得像一个开发工具 :) 希望大家能够enjoy这两个功能…

  菜单->工具->选项->项目和解决方案-> 将"Visual Studio 用户项目模板位置"指向vs安装目录:"E:/Program Files/Microsoft Visual Studio 8/Common7/IDE/ProjectTemplates"; 将"Visual Studio 用户项模板位置"指向vs安装目录:"E:/Program Files/Microsoft Visual Studio…

visual studio 项目在编译时,可根据调试需要设置output窗口输出内容的详细程度,这对于bug或warning的解决具有很大帮助.具体设置如下: 依次点击:"Tools"=>"Options"=>左侧"Projects and Solutions"=>"Build and Run",在右侧的"MSBuild project build output verbosity"下接框…

这是年后的第一个新版本, 包含如下: 1. 先前去掉的浏览器设置功能又回来了! 说来惭愧, 去掉了这两个功能之后发现浏览经常会被JS错误打断, 很不方便, 于是乎又把它们给找回来了. :) 2. 为JQueryContext添加页面布局相关的方法 * Point Position(); //获取元素的top, left - 请注意, Point.X 对应 left, Point.Y 对应 top * Size Size(); //获取元素的width, height * Rectangle Re…

各位哥哥姐姐弟弟妹妹小伙伴们春节好! 2014年对于我们程序员很重要, 因为今年是 "码" 年! SS在此重要之年到来之际热力推出两大重要功能恭贺新春: 1. 浏览器视图 以前SS启动后的第一眼看起来像一个开发工具, 现在SS启动后第一眼看起来是一个浏览器. 我们将工作区默认折叠起来了! :) 这虽然是个极其简单的改动, 却代表着SS的新方向: 由开发工具发展为服务平台的决心! 请大家拭目以待~~~ 2. 脚本库 脚本库是文档库的姊妹功能, 同样是对博客园内容的集成, 但是更具创新性.…

SS对部分网页中引用的jquery.js有冲突, 会造成网页部分JS效果无法正常执行. 本次版本对其进行了修正, 优化了浏览器的脚本引用机制, 修正了这个BUG.…

本次更新包含两项改进: 1. 优化了设置菜单, 去掉了一些不必要的浏览器行为设置选项: 取而代之的是在脚本中由用户自行设置: public void Run() { Default.CaptureNewWindow = true; //强制在本窗口打开所有页面 Default.ScriptErrorsSuppressed = true; //屏蔽JS错误 Default.AlertSuppressed = true; //禁止对话框 - Alert Default.ConfirmSuppress…