htmlparser 精确提取的一些代码

一、

1. ConnectionManager manager = Page.getConnectionManager();
2. Parser parser = new Parser(manager
3. .openConnection("http://www.verycd.com/topics/2760827/"));
4. parser.setEncoding("GBK");
5. //提取a标签里的img图片链接
6. //      NodeFilter filter = new AndFilter(new TagNameFilter("a"),
7. //              new HasChildFilter(new TagNameFilter("img")));
8. //      NodeFilter filter = new TagNameFilter("title");
9. //提取input里面的东西
10. NodeFilter filter = new AndFilter(new TagNameFilter("input"),
11. new HasAttributeFilter("class","forminput"));
12. //      NodeList nodeList = parser.parse(filter);
13. NodeList nodeList = parser.extractAllNodesThatMatch(filter);
14. NodeIterator it = nodeList.elements();
15. while (it.hasMoreNodes()) {
16. Node node = it.nextNode();
17. System.out.println(node.toHtml());
18. }
19. }

二、

1. // 获取一个网页上所有的链接和图片链接
2. 　　public static void extracLinks(String url) {
3. 　　　　try {
4. 　　　　　　Parser parser = new Parser(url);
5. 　　　　　　parser.setEncoding("gb2312");
6. //过滤 <frame> 标签的 filter，用来提取 frame 标签里的 src 属性所、表示的链接
7. 　　　　　　NodeFilter frameFilter = new NodeFilter() {
8. 　　　　　　　　public boolean accept(Node node) {
9. 　　　　　　　　　　if (node.getText().startsWith("frame src=")) {
10. 　　　　　　　　　　　　return true;
11. 　　　　　　　　　　} else {
12. 　　　　　　　　　　　　return false;
13. 　　　　　　　　　　}
14. 　　　　　　　　}
15. 　　　　　　};
16. //OrFilter 来设置过滤 <a> 标签，<img> 标签和 <frame> 标签，三个标签是 or 的关系
17. 　　 OrFilte rorFilter = new OrFilter(new NodeClassFilter(LinkTag.class), new
18. NodeClassFilter(ImageTag.class));
19. 　　 OrFilter linkFilter = new OrFilter(orFilter, frameFilter);
20. 　　//得到所有经过过滤的标签
21. 　　NodeList list = parser.extractAllNodesThatMatch(linkFilter);
22. 　　for (int i = 0; i < list.size(); i++) {
23. 　　　　Node tag = list.elementAt(i);
24. 　　　　if (tag instanceof LinkTag)//<a> 标签
25. 　　　　{
26. 　　　　　　LinkTag link = (LinkTag) tag;
27. 　　　　　　String linkUrl = link.getLink();//url
28. 　　　　　　String text = link.getLinkText();//链接文字
29. 　　　　　　System.out.println(linkUrl + "**********" + text);
30. 　　　　}
31. 　　　　else if (tag instanceof ImageTag)//<img> 标签
32. 　　　　{
33. 　　　　　　ImageTag image = (ImageTag) list.elementAt(i);
34. 　　　　　　System.out.print(image.getImageURL() + "********");//图片地址
35. 　　　　　　System.out.println(image.getText());//图片文字
36. 　　　　}
37. 　　　　else//<frame> 标签
38. 　　　　{
39. //提取 frame 里 src 属性的链接如 <frame src="test.html"/>
40. 　　　　　　String frame = tag.getText();
41. 　　　　　　int start = frame.indexOf("src=");
42. 　　　　　　frame = frame.substring(start);
43. 　　　　　　int end = frame.indexOf(" ");
44. 　　　　　　if (end == -1)
45. 　　　　　　　　end = frame.indexOf(">");
46. 　　　　　　frame = frame.substring(5, end - 1);
47. 　　　　　　System.out.println(frame);
48. 　　　　}
49. 　　}
50. } catch (ParserException e) {
51. 　　　　　　e.printStackTrace();
52. }
53. }

三、

1. public void test2() throws ParserException{
2. ConnectionManager manager = Page.getConnectionManager();
3. Parser parser = new Parser(manager.openConnection("http://www.verycd.com/sto/datum/computer/page1"));
4. //提取A标签，他有一个父标签为H3
5. NodeFilter filter = new AndFilter(new TagNameFilter("a"),new HasParentFilter(new TagNameFilter("h3")));
6. NodeList nodes = parser.parse(filter);
7. NodeIterator it = nodes.elements();
8. while (it.hasMoreNodes()) {
9. Node node = it.nextNode(); //可以在此用debug查看node节点是什么类型的，然后在转换成具体类型来提取想要的数据！
10. if (node instanceof LinkTag) {  //转换
11. LinkTag linkNode = (LinkTag) node;
12. System.out.println("http://www.verycd.com"+linkNode.getAttribute("href"));
13. }
14. }
15. }

四、

1. ConnectionManager manager = Page.getConnectionManager();
2. Parser parser = new Parser(manager.openConnection("http://huodong.sodao.com/39/info#"));
3. NodeFilter filter = new StringFilter("减价幅度");  //用了StringFilter，可以立即提取出所在的text节点
4. NodeList nodes = parser.parse(filter);
5. NodeIterator it = nodes.elements();
6. while (it.hasMoreNodes()) {
7. Node node = it.nextNode(); //可以在此用debug查看node节点是什么类型的，然后在转换成具体类型来提取想要的数据！
8. System.out.println(node.getParent().toHtml());  //通过indexof方法提取想要的text

五、

1. /**
2. * 用htmlparser提取图片的几种方法
3. */
4. public class Test {
5. static Parser parser = new Parser();
6. public static void test1(String url) throws ParserException{
7. Parser parser = new Parser();
8. parser.setURL(url);
9. parser.setEncoding("GBK");
10. //第一种方法
11. NodeFilter imageFilter = new NodeFilter() {
12. public boolean accept(Node node) {
13. return (node instanceof ImageTag);
14. }
15. };
16. NodeList images = parser.extractAllNodesThatMatch(imageFilter);
17. //      第二种方法
18. //      NodeFilter imageFilter = new TagNameFilter("img");
19. //第三种方法
20. //      NodeFilter imageFilter = new NodeClassFilter(ImageTag.class);
21. //      NodeList images = parser.parse(imageFilter);
22. System.out.println("Size: " + images.size());
23. for(NodeIterator it = images.elements(); it.hasMoreNodes();){
24. ImageTag node = (ImageTag) it.nextNode();
25. System.out.println(node.getAttribute("src"));
26. }
27. }
28. public static void test2(String url) throws ParserException {
29. Parser parser = new Parser();
30. parser.setURL(url);
31. parser.setEncoding("GBK");
32. NodeFilter divFilter = new AndFilter(new TagNameFilter("div"),new HasAttributeFilter("id","text_content"));
33. NodeList divs = parser.parse(divFilter);
34. System.out.println(removeTag(divs.elementAt(0).toHtml()));
35. }
36. public static String removeTag(String content) {
37. if (null != content && !"".equals(content.trim())) {
38. while (content.indexOf("<") >=0 && content.indexOf(">") >= 0) {
39. int i = content.indexOf("<");
40. int j = content.indexOf(">");
41. if (i < j) {
42. String contetn1 = content.substring(0, i);
43. String content2 = content.substring(j + 1,
44. content.length() );
45. content = contetn1 + content2;
46. }
47. }
48. }
49. return content;
50. }
51. public static void main(String[] args) throws ParserException {
52. String url = "http://news.dayoo.com/china/200908/11/53868_10386441.htm";
53. Test.test2(url);
54. }
55. }
56. =====================================================================
57. /** *//**
58. * 分别读纯文本和链接.
59. * @param result 网页的内容
60. * @throws Exception
61. */
62. public static void readTextAndLinkAndTitle(String result) throws Exception {
63. Parser parser;
64. NodeList nodelist;
65. parser = Parser.createParser(result, "utf8");
66. NodeFilter textFilter = new NodeClassFilter(TextNode.class);
67. NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);
68. NodeFilter titleFilter = new NodeClassFilter(TitleTag.class);
69. OrFilter lastFilter = new OrFilter();
70. lastFilter.setPredicates(new NodeFilter[] { textFilter, linkFilter, titleFilter });
71. nodelist = parser.parse(lastFilter);
72. Node[] nodes = nodelist.toNodeArray();
73. String line = "";
74. for (int i = 0; i < nodes.length; i++) {
75. Node node = nodes[i];
76. if (node instanceof TextNode) {
77. TextNode textnode = (TextNode) node;
78. line = textnode.getText();
79. } else if (node instanceof LinkTag) {
80. LinkTag link = (LinkTag) node;
81. line = link.getLink();
82. } else if (node instanceof TitleTag) {
83. TitleTag titlenode = (TitleTag) node;
84. line = titlenode.getTitle();
85. }
86. if (isTrimEmpty(line))
87. continue;
88. System.out.println(line);
89. }
90. }

六、

1. /**
2. * @author rrong_m
3. * @throws ParserException
4. */
5. public static void getWords(String url) throws ParserException {
6. Parser parser = new Parser(url);
7. NodeFilter filter = new HasAttributeFilter("id", "word_more_con");
8. NodeList nodelist = parser.extractAllNodesThatMatch(filter);
9. NodeFilter filter1 = new NodeClassFilter(LinkTag.class);
10. nodelist = nodelist.extractAllNodesThatMatch(filter1, true);
11. for (int i = 0; i < nodelist.size(); i++) {
12. LinkTag link = (LinkTag) nodelist.elementAt(i);
13. System.out.println(link.getLinkText() + ":" + link.getLink());
14. }
15. }

七、处理html里面的table

1. public List getChangyu(String id) throws HttpException, IOException, ParserException
2. {
3. HttpClient hc=new HttpClient();
4. hc.getParams().setContentCharset("gb2312");
5. PostMethod pm=new PostMethod("http://61.145.121.47/custSearch.jsp");
6. pm.setParameter("bnos","111111111111");
7. hc.executeMethod(pm);
8. String temp=pm.getResponseBodyAsString(50000);//设置获取html代码的数量，否则会报错，过大
9. //System.out.print(temp);
10. Parser parser=new Parser(temp);
11. NodeFilter filter=new HasAttributeFilter("cellpadding","-1");
12. NodeList nodelist=parser.extractAllNodesThatMatch(filter);
13. if(nodelist.size()>0)
14. {
15. NodeFilter filter1=new NodeClassFilter(TableTag.class);
16. nodelist=nodelist.extractAllNodesThatMatch(filter1,true);
17. if(nodelist.size()>0)
18. {
19. TableTag table=(TableTag) nodelist.elementAt(0);
20. TableRow [] rows=table.getRows();
21. if(rows.length>1)
22. {
23. for(int i=2;i<rows.length;i++)
24. {
25. TableRow row=rows[i];
26. TableColumn td=row.getColumns()[0];
27. TableColumn td1=row.getColumns()[1];
28. System.out.println(td.toPlainTextString()+" "+td1.toPlainTextString());
29. }
30. }
31. }
32. }
33. else
34. {
35. }
36. return null;
37. }

八、查询IP

1. public static void getIp(String ip) throws ParserException
2. {
3. String url="http://www.ip138.com/ips.asp?ip="+ip;
4. Parser parser=new Parser(url);
5. parser.setEncoding("gb2312");//设置编码否则得到的是乱码51jsp.cn
6. NodeList nodelist=null;
7. NodeFilter filter=new HasAttributeFilter("class","ul1");//定义过滤51jsp.cn
8. nodelist=parser.extractAllNodesThatMatch(filter);
9. if(nodelist.size()>0)
10. {
11. System.out.println("您查询的IP为:"+ip);
12. System.out.println(nodelist.elementAt(0).toPlainTextString());
13. }
14. }
15. public static void main(String[] args) throws ParserException {
16. getIp("125.33.192.180");
17. }

九、提取html里面的p标签里面的内容

1. public static ArrayList <String> getParagraphList( String content){
2. ArrayList <String> paraList=new ArrayList <String>();
3. Parser myParser=new Parser();
4. NodeList nodeList = null;
5. NodeFilter paraFilter = new NodeClassFilter(ParagraphTag.class);
6. try {
7. myParser.setInputHTML(content);
8. nodeList = myParser.parse(paraFilter);
9. for (int i = 0; i <= nodeList.size(); i++) {
10. ParagraphTag tag = (ParagraphTag) nodeList.elementAt(i);
11. if(tag!=null){
12. //   System.out.println(tag.getStringText());
13. //  System.out.println("***********************************");
14. paraList.add(tag.getStringText());
15. }
16. }
17. } catch (ParserException e) {
18. e.printStackTrace();
19. }
20. return paraList;
21. }