转载请注明出处：http://blog.csdn.net/lmj623565791/article/details/23272657

今天公司有个需求，需要做一些指定网站查询后的数据的抓取，于是花了点时间写了个demo供演示使用。

思想很简单：就是通过Java访问的链接，然后拿到html字符串，然后就是解析链接等需要的数据。

技术上使用Jsoup方便页面的解析，当然Jsoup很方便，也很简单，一行代码就能知道怎么用了：

  1. Document doc = Jsoup.connect("http://www.oschina.net/")
  2. .data("query", "Java")   // 请求参数
  3. .userAgent("I ’ m jsoup") // 设置 User-Agent
  4. .cookie("auth", "token") // 设置 cookie
  5. .timeout(3000)           // 设置连接超时时间
  6. .post();                 // 使用 POST 方法访问 URL
 Document doc = Jsoup.connect("http://www.oschina.net/")

  .data("query", "Java")   // 请求参数

  .userAgent("I ’ m jsoup") // 设置 User-Agent

  .cookie("auth", "token") // 设置 cookie

  .timeout(3000)           // 设置连接超时时间

  .post();                 // 使用 POST 方法访问 URL

下面介绍整个实现过程：

1、分析需要解析的页面：

网址：http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery

页面：

先在这个页面上做一次查询：观察下请求的url，参数，method等。

这里我们使用chrome内置的开发者工具（快捷键F12），下面是查询的结果：

我们可以看到url，method，以及参数。知道了如何或者查询的URL，下面就开始代码了，为了重用与扩展，我定义了几个类：

1、Rule.java用于指定查询url,method,params等

  1. package com.zhy.spider.rule;
  2. /**
  3. * 规则类
  4. *
  5. * @author zhy
  6. *
  7. */
  8. public class Rule
  9. {
  10. /**
  11. * 链接
  12. */
  13. private String url;
  14. /**
  15. * 参数集合
  16. */
  17. private String[] params;
  18. /**
  19. * 参数对应的值
  20. */
  21. private String[] values;
  22. /**
  23. * 对返回的HTML，第一次过滤所用的标签，请先设置type
  24. */
  25. private String resultTagName;
  26. /**
  27. * CLASS / ID / SELECTION
  28. * 设置resultTagName的类型，默认为ID
  29. */
  30. private int type = ID ;
  31. /**
  32. *GET / POST
  33. * 请求的类型，默认GET
  34. */
  35. private int requestMoethod = GET ;
  36. public final static int GET = 0 ;
  37. public final static int POST = 1 ;
  38. public final static int CLASS = 0;
  39. public final static int ID = 1;
  40. public final static int SELECTION = 2;
  41. public Rule()
  42. {
  43. }
  44. public Rule(String url, String[] params, String[] values,
  45. String resultTagName, int type, int requestMoethod)
  46. {
  47. super();
  48. this.url = url;
  49. this.params = params;
  50. this.values = values;
  51. this.resultTagName = resultTagName;
  52. this.type = type;
  53. this.requestMoethod = requestMoethod;
  54. }
  55. public String getUrl()
  56. {
  57. return url;
  58. }
  59. public void setUrl(String url)
  60. {
  61. this.url = url;
  62. }
  63. public String[] getParams()
  64. {
  65. return params;
  66. }
  67. public void setParams(String[] params)
  68. {
  69. this.params = params;
  70. }
  71. public String[] getValues()
  72. {
  73. return values;
  74. }
  75. public void setValues(String[] values)
  76. {
  77. this.values = values;
  78. }
  79. public String getResultTagName()
  80. {
  81. return resultTagName;
  82. }
  83. public void setResultTagName(String resultTagName)
  84. {
  85. this.resultTagName = resultTagName;
  86. }
  87. public int getType()
  88. {
  89. return type;
  90. }
  91. public void setType(int type)
  92. {
  93. this.type = type;
  94. }
  95. public int getRequestMoethod()
  96. {
  97. return requestMoethod;
  98. }
  99. public void setRequestMoethod(int requestMoethod)
  100. {
  101. this.requestMoethod = requestMoethod;
  102. }
  103. }

简单说一下：这个规则类定义了我们查询过程中需要的所有信息，方便我们的扩展，以及代码的重用，我们不可能针对每个需要抓取的网站写一套代码。

2、需要的数据对象，目前只需要链接，LinkTypeData.java

  1. package com.zhy.spider.bean;
  2. public class LinkTypeData
  3. {
  4. private int id;
  5. /**
  6. * 链接的地址
  7. */
  8. private String linkHref;
  9. /**
  10. * 链接的标题
  11. */
  12. private String linkText;
  13. /**
  14. * 摘要
  15. */
  16. private String summary;
  17. /**
  18. * 内容
  19. */
  20. private String content;
  21. public int getId()
  22. {
  23. return id;
  24. }
  25. public void setId(int id)
  26. {
  27. this.id = id;
  28. }
  29. public String getLinkHref()
  30. {
  31. return linkHref;
  32. }
  33. public void setLinkHref(String linkHref)
  34. {
  35. this.linkHref = linkHref;
  36. }
  37. public String getLinkText()
  38. {
  39. return linkText;
  40. }
  41. public void setLinkText(String linkText)
  42. {
  43. this.linkText = linkText;
  44. }
  45. public String getSummary()
  46. {
  47. return summary;
  48. }
  49. public void setSummary(String summary)
  50. {
  51. this.summary = summary;
  52. }
  53. public String getContent()
  54. {
  55. return content;
  56. }
  57. public void setContent(String content)
  58. {
  59. this.content = content;
  60. }
  61. }


3、核心的查询类：ExtractService.java




  1. package com.zhy.spider.core;
    2. 

  2. import java.io.IOException;
    3. 

  3. import java.util.ArrayList;
    4. 

  4. import java.util.List;
    5. 

  5. import java.util.Map;
    6. 

  6. import javax.swing.plaf.TextUI;
    7. 

  7. import org.jsoup.Connection;
    8. 

  8. import org.jsoup.Jsoup;
    9. 

  9. import org.jsoup.nodes.Document;
    10. 

  10. import org.jsoup.nodes.Element;
    11. 

  11. import org.jsoup.select.Elements;
    12. 

  12. import com.zhy.spider.bean.LinkTypeData;
    13. 

  13. import com.zhy.spider.rule.Rule;
    14. 

  14. import com.zhy.spider.rule.RuleException;
    15. 

  15. import com.zhy.spider.util.TextUtil;
    16. 

  16. /**
    17. 

  17. *
    18. 

  18. * @author zhy
    19. 

  19. *
    20. 

  20. */
    21. 

  21. public class ExtractService
    22. 

  22. {
    23. 

  23. /**
    24. 

  24. * @param rule
    25. 

  25. * @return
    26. 

  26. */
    27. 

  27. public static List<LinkTypeData> extract(Rule rule)
    28. 

  28. {
    29. 

  29. // 进行对rule的必要校验
    30. 

  30. validateRule(rule);
    31. 

  31. List<LinkTypeData> datas = new ArrayList<LinkTypeData>();
    32. 

  32. LinkTypeData data = null;
    33. 

  33. try
    34. 

  34. {
    35. 

  35. /**
    36. 

  36. * 解析rule
    37. 

  37. */
    38. 

  38. String url = rule.getUrl();
    39. 

  39. String[] params = rule.getParams();
    40. 

  40. String[] values = rule.getValues();
    41. 

  41. String resultTagName = rule.getResultTagName();
    42. 

  42. int type = rule.getType();
    43. 

  43. int requestType = rule.getRequestMoethod();
    44. 

  44. Connection conn = Jsoup.connect(url);
    45. 

  45. // 设置查询参数
    46. 

  46. if (params != null)
    47. 

  47. {
    48. 

  48. for (int i = 0; i < params.length; i++)
    49. 

  49. {
    50. 

  50. conn.data(params[i], values[i]);
    51. 

  51. }
    52. 

  52. }
    53. 

  53. // 设置请求类型
    54. 

  54. Document doc = null;
    55. 

  55. switch (requestType)
    56. 

  56. {
    57. 

  57. case Rule.GET:
    58. 

  58. doc = conn.timeout(100000).get();
    59. 

  59. break;
    60. 

  60. case Rule.POST:
    61. 

  61. doc = conn.timeout(100000).post();
    62. 

  62. break;
    63. 

  63. }
    64. 

  64. //处理返回数据
    65. 

  65. Elements results = new Elements();
    66. 

  66. switch (type)
    67. 

  67. {
    68. 

  68. case Rule.CLASS:
    69. 

  69. results = doc.getElementsByClass(resultTagName);
    70. 

  70. break;
    71. 

  71. case Rule.ID:
    72. 

  72. Element result = doc.getElementById(resultTagName);
    73. 

  73. results.add(result);
    74. 

  74. break;
    75. 

  75. case Rule.SELECTION:
    76. 

  76. results = doc.select(resultTagName);
    77. 

  77. break;
    78. 

  78. default:
    79. 

  79. //当resultTagName为空时默认去body标签
    80. 

  80. if (TextUtil.isEmpty(resultTagName))
    81. 

  81. {
    82. 

  82. results = doc.getElementsByTag("body");
    83. 

  83. }
    84. 

  84. }
    85. 

  85. for (Element result : results)
    86. 

  86. {
    87. 

  87. Elements links = result.getElementsByTag("a");
    88. 

  88. for (Element link : links)
    89. 

  89. {
    90. 

  90. //必要的筛选
    91. 

  91. String linkHref = link.attr("href");
    92. 

  92. String linkText = link.text();
    93. 

  93. data = new LinkTypeData();
    94. 

  94. data.setLinkHref(linkHref);
    95. 

  95. data.setLinkText(linkText);
    96. 

  96. datas.add(data);
    97. 

  97. }
    98. 

  98. }
    99. 

  99. } catch (IOException e)
    100. 

  100. {
    101. 

  101. e.printStackTrace();
    102. 

  102. }
    103. 

  103. return datas;
    104. 

  104. }
    105. 

  105. /**
    106. 

  106. * 对传入的参数进行必要的校验
    107. 

  107. */
    108. 

  108. private static void validateRule(Rule rule)
    109. 

  109. {
    110. 

  110. String url = rule.getUrl();
    111. 

  111. if (TextUtil.isEmpty(url))
    112. 

  112. {
    113. 

  113. throw new RuleException("url不能为空！");
    114. 

  114. }
    115. 

  115. if (!url.startsWith("http://"))
    116. 

  116. {
    117. 

  117. throw new RuleException("url的格式不正确！");
    118. 

  118. }
    119. 

  119. if (rule.getParams() != null && rule.getValues() != null)
    120. 

  120. {
    121. 

  121. if (rule.getParams().length != rule.getValues().length)
    122. 

  122. {
    123. 

  123. throw new RuleException("参数的键值对个数不匹配！");
    124. 

  124. }
    125. 

  125. }
    126. 

  126. }
    127. 

  127. }




4、里面用了一个异常类：RuleException.java




  1. package com.zhy.spider.rule;
    2. 

  2. public class RuleException extends RuntimeException
    3. 

  3. {
    4. 

  4. public RuleException()
    5. 

  5. {
    6. 

  6. super();
    7. 

  7. // TODO Auto-generated constructor stub
    8. 

  8. }
    9. 

  9. public RuleException(String message, Throwable cause)
    10. 

  10. {
    11. 

  11. super(message, cause);
    12. 

  12. // TODO Auto-generated constructor stub
    13. 

  13. }
    14. 

  14. public RuleException(String message)
    15. 

  15. {
    16. 

  16. super(message);
    17. 

  17. // TODO Auto-generated constructor stub
    18. 

  18. }
    19. 

  19. public RuleException(Throwable cause)
    20. 

  20. {
    21. 

  21. super(cause);
    22. 

  22. // TODO Auto-generated constructor stub
    23. 

  23. }
    24. 

  24. }




5、最后是测试了：这里使用了两个网站进行测试，采用了不同的规则，具体看代码吧




  1. package com.zhy.spider.test;
    2. 

  2. import java.util.List;
    3. 

  3. import com.zhy.spider.bean.LinkTypeData;
    4. 

  4. import com.zhy.spider.core.ExtractService;
    5. 

  5. import com.zhy.spider.rule.Rule;
    6. 

  6. public class Test
    7. 

  7. {
    8. 

  8. @org.junit.Test
    9. 

  9. public void getDatasByClass()
    10. 

  10. {
    11. 

  11. Rule rule = new Rule(
    12. 

  12. "http://www1.sxcredit.gov.cn/public/infocomquery.do?method=publicIndexQuery",
    13. 

  13. new String[] { "query.enterprisename","query.registationnumber" }, new String[] { "兴网","" },
    14. 

  14. "cont_right", Rule.CLASS, Rule.POST);
    15. 

  15. List<LinkTypeData> extracts = ExtractService.extract(rule);
    16. 

  16. printf(extracts);
    17. 

  17. }
    18. 

  18. @org.junit.Test
    19. 

  19. public void getDatasByCssQuery()
    20. 

  20. {
    21. 

  21. Rule rule = new Rule("http://www.11315.com/search",
    22. 

  22. new String[] { "name" }, new String[] { "兴网" },
    23. 

  23. "div.g-mn div.con-model", Rule.SELECTION, Rule.GET);
    24. 

  24. List<LinkTypeData> extracts = ExtractService.extract(rule);
    25. 

  25. printf(extracts);
    26. 

  26. }
    27. 

  27. public void printf(List<LinkTypeData> datas)
    28. 

  28. {
    29. 

  29. for (LinkTypeData data : datas)
    30. 

  30. {
    31. 

  31. System.out.println(data.getLinkText());
    32. 

  32. System.out.println(data.getLinkHref());
    33. 

  33. System.out.println("***********************************");
    34. 

  34. }
    35. 

  35. }
    36. 

  36. }




输出结果：




  1. 深圳市网兴科技有限公司
    2. 

  2. http://14603257.11315.com
    3. 

  3. ***********************************
    4. 

  4. 荆州市兴网公路物资有限公司
    5. 

  5. http://05155980.11315.com
    6. 

  6. ***********************************
    7. 

  7. 西安市全兴网吧
    8. 

  8. #
    9. 

  9. ***********************************
    10. 

  10. 子长县新兴网城
    11. 

  11. #
    12. 

  12. ***********************************
    13. 

  13. 陕西同兴网络信息有限责任公司第三分公司
    14. 

  14. #
    15. 

  15. ***********************************
    16. 

  16. 西安高兴网络科技有限公司
    17. 

  17. #
    18. 

  18. ***********************************
    19. 

  19. 陕西同兴网络信息有限责任公司西安分公司
    20. 

  20. #
    21. 

  21. ***********************************




深圳市网兴科技有限公司

http://14603257.11315.com

***********************************

荆州市兴网公路物资有限公司

http://05155980.11315.com

***********************************

西安市全兴网吧

#

***********************************

子长县新兴网城

#

***********************************

陕西同兴网络信息有限责任公司第三分公司

#

***********************************

西安高兴网络科技有限公司

#

***********************************

陕西同兴网络信息有限责任公司西安分公司

#

***********************************


最后使用一个Baidu新闻来测试我们的代码：说明我们的代码是通用的。




  1. /**
    2. 

  2. * 使用百度新闻，只设置url和关键字与返回类型
    3. 

  3. */
    4. 

  4. @org.junit.Test
    5. 

  5. public void getDatasByCssQueryUserBaidu()
    6. 

  6. {
    7. 

  7. Rule rule = new Rule("http://news.baidu.com/ns",
    8. 

  8. new String[] { "word" }, new String[] { "支付宝" },
    9. 

  9. null, -1, Rule.GET);
    10. 

  10. List<LinkTypeData> extracts = ExtractService.extract(rule);
    11. 

  11. printf(extracts);
    12. 

  12. }




         /**

	 * 使用百度新闻，只设置url和关键字与返回类型

	 */

	@org.junit.Test

	public void getDatasByCssQueryUserBaidu()

	{

		Rule rule = new Rule("http://news.baidu.com/ns",

				new String[] { "word" }, new String[] { "支付宝" },

				null, -1, Rule.GET);

		List<LinkTypeData> extracts = ExtractService.extract(rule);

		printf(extracts);

	}


我们只设置了链接、关键字、和请求类型，不设置具体的筛选条件。


结果：有一定的垃圾数据是肯定的，但是需要的数据肯定也抓取出来了。我们可以设置Rule.SECTION,以及筛选条件进一步的限制。




  1. 按时间排序
    2. 

  2. /ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime
    3. 

  3. ***********************************
    4. 

  4. x
    5. 

  5. javascript:void(0)
    6. 

  6. ***********************************
    7. 

  7. 支付宝将联合多方共建安全基金 首批投入4000万
    8. 

  8. http://finance.ifeng.com/a/20140409/12081871_0.shtml
    9. 

  9. ***********************************
    10. 

  10. 7条相同新闻
    11. 

  11. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd
    12. 

  12. ***********************************
    13. 

  13. 百度快照
    14. 

  14. http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1
    15. 

  15. ***********************************
    16. 

  16. OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露
    17. 

  17. http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml
    18. 

  18. ***********************************
    19. 

  19. 26条相同新闻
    20. 

  20. /ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd
    21. 

  21. ***********************************
    22. 

  22. 百度快照
    23. 

  23. http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2
    24. 

  24. ***********************************
    25. 

  25. 雅虎日本6月起开始支持支付宝付款
    26. 

  26. http://www.techweb.com.cn/ucweb/news/id/2025843
    27. 

  27. ***********************************




按时间排序

/ns?word=支付宝&ie=utf-8&bs=支付宝&sr=0&cl=2&rn=20&tn=news&ct=0&clk=sortbytime

***********************************

x

javascript:void(0)

***********************************

支付宝将联合多方共建安全基金 首批投入4000万

http://finance.ifeng.com/a/20140409/12081871_0.shtml

***********************************

7条相同新闻

/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:2465146414%7C697779368%7C3832159921&same=7&cl=1&tn=news&rn=30&fm=sd

***********************************

百度快照

http://cache.baidu.com/c?m=9d78d513d9d437ab4f9e91697d1cc0161d4381132ba7d3020cd0870fd33a541b0120a1ac26510d19879e20345dfe1e4bea876d26605f75a09bbfd91782a6c1352f8a2432721a844a0fd019adc1452fc423875d9dad0ee7cdb168d5f18c&p=c96ec64ad48b2def49bd9b780b64&newp=c4769a4790934ea95ea28e281c4092695912c10e3dd796&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=1

***********************************

OpenSSL漏洞涉及众多网站 支付宝称暂无数据泄露

http://tech.ifeng.com/internet/detail_2014_04/09/35590390_0.shtml

***********************************

26条相同新闻

/ns?word=%E6%94%AF%E4%BB%98%E5%AE%9D+cont:3869124100&same=26&cl=1&tn=news&rn=30&fm=sd

***********************************

百度快照

http://cache.baidu.com/c?m=9f65cb4a8c8507ed4fece7631050803743438014678387492ac3933fc239045c1c3aa5ec677e4742ce932b2152f4174bed843670340537b0efca8e57dfb08f29288f2c367117845615a71bb8cb31649b66cf04fdea44a7ecff25e5aac5a0da4323c044757e97f1fb4d7017dd1cf4&p=8b2a970d95df11a05aa4c32013&newp=9e39c64ad4dd50fa40bd9b7c5253d8304503c52251d5ce042acc&user=baidu&fm=sc&query=%D6%A7%B8%B6%B1%A6&qid=a400f3660007a6c5&p1=2

***********************************

雅虎日本6月起开始支持支付宝付款

http://www.techweb.com.cn/ucweb/news/id/2025843

***********************************


如果有什么不足，可以指出；如果觉得对你有用，顶一下~~哈哈


源码下载，点击这里。






												


											
（转）Java爬虫，信息抓取的实现的更多相关文章
	

    
						
  1. 教您使用java爬虫gecco抓取JD全部商品信息
		
    gecco爬虫 如果对gecco还没有了解可以参看一下gecco的github首页.gecco爬虫十分的简单易用,JD全部商品信息的抓取9个类就能搞定. JD网站的分析 要抓取JD网站的全部商品信息, ...
    
		
    2. 
						
  2. 【JAVA系列】Google爬虫如何抓取JavaScript的？
		
    公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[JAVA系列]Google爬虫如何抓取Java ...
    
		
    3. 
						
  3. Python爬虫实战---抓取图书馆借阅信息
		
    Python爬虫实战---抓取图书馆借阅信息 原创作品,引用请表明出处:Python爬虫实战---抓取图书馆借阅信息 前段时间在图书馆借了很多书,借得多了就容易忘记每本书的应还日期,老是担心自己会违约 ...
    
		
    4. 
						
  4. Pyhton爬虫实战 - 抓取BOSS直聘职位描述 和 数据清洗
		
    Pyhton爬虫实战 - 抓取BOSS直聘职位描述 和 数据清洗 零.致谢 感谢BOSS直聘相对权威的招聘信息,使本人有了这次比较有意思的研究之旅. 由于爬虫持续爬取 www.zhipin.com 网 ...
    
		
    5. 
						
  5. Golang分布式爬虫：抓取煎蛋文章|Redis/Mysql|56,961 篇文章
		
    --- layout: post title: "Golang分布式爬虫:抓取煎蛋文章" date: 2017-04-15 author: hunterhug categories ...
    
		
    6. 
						
  6. 网易新闻页面信息抓取（htmlagilitypack搭配scrapysharp）
		
    转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...
    
		
    7. 
						
  7. 网页信息抓取进阶 支持Js生成数据  Jsoup的不足之处
		
    转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427 今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取 ...
    
		
    8. 
						
  8. Ajax异步信息抓取方式
		
    淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z   判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...
    
		
    9. 
						
  9. Atitit.web的自动化操作与信息抓取 attilax总结
		
    Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...
    
		
    10. 
						
  10. 网页信息抓取 Jsoup的不足之处  httpunit
		
    今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取,相信Jsoup基本是首选的工具,完全的类JQuery操作,让人感觉很舒服.但是,今天我们就要说一说Jsoup的不足. 1.首先我们新 ...
    
		
    11. 
		

	


随机推荐
	

    
									
  1. Linux中的随机数文件 /dev/random /dev/urandom
			
    Linux中的随机数可以从两个特殊的文件中产生,一个是/dev/urandom.另外一个是/dev/random.他们产生随机数的原理是利用当前系统的熵池来计算出固定一定数量的随机比特,然后将这些比特 ...
    
			
    2. 
						
  2. 《ruby编程语言》笔记 1
			
    赋值: ruby支持并行赋值,即允许在赋值表达式中出现多余一个值和多于一个的变量: x,y=1,2a,b=b,ax,y,z=[1,2,3] (python同样可以正常上面的语句). Methods i ...
    
			
    3. 
						
  3. 【HDOJ】3234 Exclusive-OR
			
    并查集.对于对元素赋值操作,更改为I p n v.令val[n]=0(任何数与0异或仍为原值).考虑fa[x] = fx, fa[y] = fy.如果使得fa[fx] = fy, 那么val[fx]  ...
    
			
    4. 
						
  4. 【HDOJ】2206 IP的计算
			
    题目很简单,情况有很多种. #include <stdio.h> #include <string.h> ]; int isIPaddr(char buf[]) { int i ...
    
			
    5. 
						
  5. 【转】Mac 下钥匙串不能授权访问怎么解决--不错
			
    原文网址:https://www.v2ex.com/t/240495 如题,之前都好好的,后来有次 xcode 打包 app 时弹出提示框要授权,我点击允许和始终允许都没反映,点拒绝就可以,刚才安装  ...
    
			
    6. 
						
  6. How many ways
			
    How many ways Time Limit: 3000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Tot ...
    
			
    7. 
						
  7. HDU-2975                                         Billboard
			
    Billboard Time Limit : 20000/8000ms (Java/Other)   Memory Limit : 32768/32768K (Java/Other) Total Su ...
    
			
    8. 
						
  8. 2  weekend110的hadoop的自定义排序实现  + mr程序中自定义分组的实现
			
    我想得到按流量来排序,而且还是倒序,怎么达到实现呢? 达到下面这种效果, 默认是根据key来排, 我想根据value里的某个排, 解决思路:将value里的某个,放到key里去,然后来排 下面,开始w ...
    
			
    9. 
						
  9. Yii常用技巧总结
			
    //YII framework路径 Yii::getFrameworkPath(); //protected/runtime Yii::app()->getRuntimePath(); //pr ...
    
			
    10. 
						
  10. POJ 2955 括号匹配，区间DP
			
    题意:给你一些括号,问匹配规则成立的括号的个数. 思路:这题lrj的黑书上有,不过他求的是添加最少的括号数,是的这些括号的匹配全部成立. 我想了下,其实这两个问题是一样的,我们可以先求出括号要匹配的最 ...
    
			
    11.