GuozhongCrawler系列教程 (4) StartContext具体解释
StartContext是注入时全部seed的上下文信息假设爬虫在抓取过程其中须要共享一些变量。那么可使用StartContext作为容器。
构造器具体资料
StartContext
public StartContext()
构造一个StartContext。通经常使用来充当seedRequest的容器
StartContext
public StartContext(java.lang.String url,
java.lang.Class<? extends PageProcessor> processorCls)构造一个StartContext。而且增加一个种子URL- 參数:
url
-processorCls
-
StartContext
public StartContext(java.lang.String url,
java.lang.Class<? extends PageProcessor> processorCls,
PageRequest.PageEncoding pageEncoding)构造一个StartContext。而且增加一个种子URL- 參数:
url
-processorCls
-pageEncoding
- URL相应网页的编码
方法具体资料
createPageRequest
public PageRequest createPageRequest(java.lang.String url,
java.lang.Class<? extends PageProcessor> processorCls)创建网页下载请求PageRequest- 參数:
url
- 这个请求相应的http或者https 地址processorCls
- 下载完毕后处理这个网页Page的PageProcessor的class对象- 返回:
- PageRequest
createPageRequest
public PageRequest createPageRequest(java.lang.String url,
java.lang.Class<? extends PageProcessor> processorCls,
int priority,
PageRequest.PageEncoding pageEncoding)创建网页下载请求PageRequest- 參数:
url
- 这个请求相应的http或者https 地址processorCls
- 下载完毕后处理这个网页Page的PageProcessor的class对象priority
- 设置这个PageRequest的priority。须要注意的仅仅有使用crawTaskBuilder.useQueuePriorityRequest或者crawTaskBuilder.useQueueDelayedPriorityRequest的时候 priority才会起作用并排序。pageEncoding
- 这个PageRequest相应URL的网页编码格式。假设不指定那么会用crawTaskBuilder中指定的usePageEncoding。假设crawTaskBuilder没有 使用usePageEncoding。则默认用UTF-8编码
- 返回:
- PageRequest
createPageRequest
public PageRequest createPageRequest(java.lang.String url,
java.lang.Class<? extends PageProcessor> processorCls,
int priority)创建网页下载请求PageRequest- 參数:
url
- 这个请求相应的http或者https 地址processorCls
- 下载完毕后处理这个网页Page的PageProcessor的class对象priority
- 设置这个PageRequest的priority。须要注意的仅仅有使用crawTaskBuilder.useQueuePriorityRequest或者crawTaskBuilder.useQueueDelayedPriorityRequest的时候 priority才会起作用并排序。- 返回:
- PageRequest
createBinaryRequest
public BinaryRequest createBinaryRequest(java.lang.String url,
java.lang.Class<? extends BinaryProcessor> processorCls)创建一个二进制下载请求- 參数:
url
- 这个请求相应的http或者https 地址processorCls
- 文件下载时处理这个InputStream的BinaryProcessor的class对象- 返回:
- BinaryRequest
createTransactionRequest
public TransactionRequest createTransactionRequest(TransactionCallBack transactionCallBack)
创建支持事务的下载请求。- 參数:
transactionCallBack
- 事务完毕后的回调接口的Class- 返回:
- TransactionRequest
createTransactionRequest
public TransactionRequest createTransactionRequest(TransactionCallBack transactionCallBack,
BasicRequest... child)给定一个child集合创建支持事务的下载请求。- 參数:
transactionCallBack
- 事务完毕后的回调接口child
- child集合- 返回:
- TransactionRequest
injectSeed
public void injectSeed(BasicRequest request)
注入种子- 參数:
request
-
getSeedRequests
public java.util.List<BasicRequest> getSeedRequests()
返回该StartContext所包括的全部种子URL- 返回:
getContextAttribute
public java.lang.Object getContextAttribute(java.lang.String attribute)
返回attribute相应的value 这种方法是线程安全的- 參数:
key
-- 返回:
- 返回attribute相应的value
putContextAttribute
public java.lang.Object putContextAttribute(java.lang.String attribute,
java.lang.Object value)向StartContext域put一个属性值。并返回之前的attribute相应的value。假设之前没有attribute属性那么返回null。这种方法是线程安全的
- 參数:
attribute
-value
-- 返回:
- 返回之前的attribute相应的value。假设之前没有attribute属性那么返回null
getSeedSize
public int getSeedSize()
返回种子URL的个数- 返回:
isEmpty
public boolean isEmpty()
- 返回:
GuozhongCrawler系列教程 (4) StartContext具体解释的更多相关文章
- GuozhongCrawler系列教程 (1) 三大PageDownloader
GuozhongCrawler QQ群 202568714 教程源代码下载地址:http://pan.baidu.com/s/1pJBmerL GuozhongCrawler内置三大PageDown ...
- GuozhongCrawler系列教程 (2) CrawTaskBuilder具体解释
GuozhongCrawler是分层架构.要高速学习CrawlTask独立的配置多少要了解框架的源码.所以CrawTaskBuilder提供要更加扁平且易于理解的的方式创建CrawTask 方法具体资 ...
- GuozhongCrawler系列教程 (5) TransactionRequest具体解释
为了实现和维护并发抓取的属性信息提供线程安全的事务请求.TransactionRequest是一个抽象类自己不能设置Processor,却须要实现 TransactionCallBack接口.Tran ...
- Angular2入门系列教程7-HTTP(一)-使用Angular2自带的http进行网络请求
上一篇:Angular2入门系列教程6-路由(二)-使用多层级路由并在在路由中传递复杂参数 感觉这篇不是很好写,因为涉及到网络请求,如果采用真实的网络请求,这个例子大家拿到手估计还要自己写一个web ...
- C#微信公众号开发系列教程二(新手接入指南)
http://www.cnblogs.com/zskbll/p/4093954.html 此系列前面已经更新了两篇博文了,都是微信开发的前期准备工作,现在切入正题,本篇讲解新手接入的步骤与方法,大神可 ...
- 【ASP.NET Identity系列教程(一)】ASP.NET Identity入门
注:本文是[ASP.NET Identity系列教程]的第一篇.本系列教程详细.完整.深入地介绍了微软的ASP.NET Identity技术,描述了如何运用ASP.NET Identity实现应用程序 ...
- 【ASP.NET Identity系列教程(二)】运用ASP.NET Identity
注:本文是[ASP.NET Identity系列教程]的第二篇.本系列教程详细.完整.深入地介绍了微软的ASP.NET Identity技术,描述了如何运用ASP.NET Identity实现应用程序 ...
- 【ASP.NET Identity系列教程(三)】Identity高级技术
注:本文是[ASP.NET Identity系列教程]的第三篇.本系列教程详细.完整.深入地介绍了微软的ASP.NET Identity技术,描述了如何运用ASP.NET Identity实现应用程序 ...
- 随笔分类 - 无废话ExtJs系列教程
随笔分类 - 无废话ExtJs系列教程 摘自:http://www.cnblogs.com/iamlilinfeng/category/385121.html ExtJs 入门教程 摘要: extjs ...
随机推荐
- HDU 4690 EBCDIC (2013多校 1005题 胡搞题)
EBCDIC Time Limit: 2000/2000 MS (Java/Others) Memory Limit: 102400/102400 K (Java/Others)Total Su ...
- Spartan-6 FPGA Configuration
These configuration pins serve as the interface for a number of different configuration modes: • JTA ...
- 详解Java中的clone方法 -- 原型模式 及源码
http://www.cnblogs.com/cq-home/p/6431426.html http://blog.csdn.net/zhangjg_blog/article/details/1836 ...
- linux下printf打印带颜色的字符串
转载:http://blog.chinaunix.net/uid-28917424-id-3889917.html 前不久就在某位同学的博客里看到,但是今天找了好久没找到,就直接google了,现贴出 ...
- Entity Framework7 入门之全功能.NET(Console, WinForms, WPF等)使用EF7
昨天,我们介绍了EF的新特性和开发计划,如果你还不了解,请移步 Entity Framework7 有哪些不同?现在开发到什么程度了? .今天,我们开学习全功能.NET(Full .NET)下使用EF ...
- MERGE新特性(UPDATE WHERE,DELETE WHERE,INSERT WHERE)
MERGE语句是Oracle9i新增的语法,用来合并UPDATE和INSERT语句.通过MERGE语句,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE,无法匹配的执 ...
- sqlserver锁大全
锁定提示 描述 HOLDLOCK 将共享锁保留到事务完成,而不是在相应的表.行或数据页不再需要时就立即释放锁.HOLDL ...
- 1503162139-ny-分数拆分
分数拆分 时间限制:3000 ms | 内存限制:65535 KB 难度:1 描写叙述 如今输入一个正整数k,找到全部的正整数x>=y,使得1/k=1/x+1/y. 输入 第一行输入一个整数 ...
- 使用R语言和XML包抓取网页数据-Scraping data from web pages in R with XML package
In the last years a lot of data has been released publicly in different formats, but sometimes the d ...
- onehot的好处,还是可以看看的
https://www.jqr.com/article/000243 一句话概括:one hot编码是将类别变量转换为机器学习算法易于利用的一种形式的过程. 类别值是分配给数据集中条目的数值编号. s ...