QT学习:c++解析html相关

原来我做爬虫的时候，对页面进行解析的时候总是用很简单粗暴的方法，直接找规律。后来在网上看到了gumbo，尝试了一下，发现确实很好用，所以向大家推荐一下。

以下转自：http://blog.csdn.net/whyistao/article/details/37919581

.c++好像没有太多的html解析库可以用，最后试着在qt里面集成了htmlcxx，一开始在pro里面写了 includepath += 路径，发现仍然没有用

后来发现只要在 HEADERS 和 SOURCES 里面 把htmlcxx的c文件和.h文件 +=进去就行了，像这样:

SOURCES += main.cpp\

        html/utils.cc \

        html/Uri.cc \

        html/ParserSax.cc \

        html/ParserDom.cc \

        html/Node.cc \

        html/Extensions.cc

HEADERS  += mainwindow.h \

        html/utils.h \

        html/Uri.h \

        html/tree.h \

        html/ParserSax.h \

        html/ParserDom.h \

        html/Node.h \

        html/Extensions.h \

        html/debug.h \

        html/ci_string.h \

        html/wincstring.h \

        html/tld.h

参考了:   htmlcxx for qt(mingw)      http://blog.chinaunix.net/uid-21525518-id-1824657.html

.使用gumbo解析

导入c和h文件方法同上，记一下gumbo常用类型

GumboOutput

用GumboOutput来解析html源码，然后output->root即为根节点。

GumboOutput* output = gumbo_parse(htmlString.c_str());

GumboNode* node = output->root

GumboNode    节点

GumboNode node;

获得节点里面的东西

node->v->text                           //  节点的文本

node->v.element.children    // 获得节点的子节点列表

node->type     //节点的类型

GumboVector    节点容器

比如可以   GumboVector  * children  =    node->v.element.children;   来获得节点的子节点列表

(GumboNode*) ( children->data[i] )     //获得这个节点列表的第i个节点

GumboAttribute  节点属性

GumboAttribute* href;

if (node->v.element.tag == GUMBO_TAG_A &&   (href = gumbo_get_attribute(&node->v.element.attributes, "href")))

{    std::cout << href->value << std::endl;  }

节点的类型

  ELEMENT_NODE，普通元素节点，如<html>,<p>,<div>,<span>,<img>

  ATTRIBUTE_NODE，元素属性

  TEXT_NODE，文本节点

  CDATA_SECTION_NODE，即<![CDATA[ ]]>

  ENTITY_REFERENCE_NODE，实体引用，如&

  ENTITY_NODE，实体，如<!ENTITY copyright “Copyright , impng. All rights reserved”]>

  PROCESSING_INSTRUCTION_NODE，PI，处理指令，如<?xml  version=”1.0″?>

  COMMENT_NODE，注释<!–   –>

  DOCUMENT_NODE，根节点，即document.nodeType

  DOCUMENT_TYPE_NODE，DTD，文档类型<!DOCTYPE   >

  DOCUMENT_FRAGMENT_NODE，文档片段

  NOTATION_NODE，DTD中定义的记号  

在代码里的节点类型可以有如下几种           (使用方法       node->type ==  GUMBO_NODE_ELEMENT )

typedef enum {

  /** Document node.  v will be a GumboDocument. */

  GUMBO_NODE_DOCUMENT,

  /** Element node.  v will be a GumboElement. */

  GUMBO_NODE_ELEMENT,

  /** Text node.  v will be a GumboText. */

  GUMBO_NODE_TEXT,

  /** CDATA node. v will be a GumboText. */

  GUMBO_NODE_CDATA,

  /** Comment node.  v. will be a GumboText, excluding comment delimiters. */

  GUMBO_NODE_COMMENT,

  /** Text node, where all contents is whitespace.  v will be a GumboText. */

  GUMBO_NODE_WHITESPACE

} GumboNodeType;

标签类型:                           (使用方法    node->v.element.tag != GUMBO_TAG_SCRIPT   )

typedef enum {

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/semantics.html#the-root-element

  GUMBO_TAG_HTML,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/semantics.html#document-metadata

  GUMBO_TAG_HEAD,

  GUMBO_TAG_TITLE,

  GUMBO_TAG_BASE,

  GUMBO_TAG_LINK,

  GUMBO_TAG_META,

  GUMBO_TAG_STYLE,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/scripting-1.html#scripting-1

  GUMBO_TAG_SCRIPT,

  GUMBO_TAG_NOSCRIPT,

  GUMBO_TAG_TEMPLATE,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/sections.html#sections

  GUMBO_TAG_BODY,

  GUMBO_TAG_ARTICLE,

  GUMBO_TAG_SECTION,

  GUMBO_TAG_NAV,

  GUMBO_TAG_ASIDE,

  GUMBO_TAG_H1,

  GUMBO_TAG_H2,

  GUMBO_TAG_H3,

  GUMBO_TAG_H4,

  GUMBO_TAG_H5,

  GUMBO_TAG_H6,

  GUMBO_TAG_HGROUP,

  GUMBO_TAG_HEADER,

  GUMBO_TAG_FOOTER,

  GUMBO_TAG_ADDRESS,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/grouping-content.html#grouping-content

  GUMBO_TAG_P,

  GUMBO_TAG_HR,

  GUMBO_TAG_PRE,

  GUMBO_TAG_BLOCKQUOTE,

  GUMBO_TAG_OL,

  GUMBO_TAG_UL,

  GUMBO_TAG_LI,

  GUMBO_TAG_DL,

  GUMBO_TAG_DT,

  GUMBO_TAG_DD,

  GUMBO_TAG_FIGURE,

  GUMBO_TAG_FIGCAPTION,

  GUMBO_TAG_MAIN,

  GUMBO_TAG_DIV,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/text-level-semantics.html#text-level-semantics

  GUMBO_TAG_A,

  GUMBO_TAG_EM,

  GUMBO_TAG_STRONG,

  GUMBO_TAG_SMALL,

  GUMBO_TAG_S,

  GUMBO_TAG_CITE,

  GUMBO_TAG_Q,

  GUMBO_TAG_DFN,

  GUMBO_TAG_ABBR,

  GUMBO_TAG_DATA,

  GUMBO_TAG_TIME,

  GUMBO_TAG_CODE,

  GUMBO_TAG_VAR,

  GUMBO_TAG_SAMP,

  GUMBO_TAG_KBD,

  GUMBO_TAG_SUB,

  GUMBO_TAG_SUP,

  GUMBO_TAG_I,

  GUMBO_TAG_B,

  GUMBO_TAG_U,

  GUMBO_TAG_MARK,

  GUMBO_TAG_RUBY,

  GUMBO_TAG_RT,

  GUMBO_TAG_RP,

  GUMBO_TAG_BDI,

  GUMBO_TAG_BDO,

  GUMBO_TAG_SPAN,

  GUMBO_TAG_BR,

  GUMBO_TAG_WBR,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/edits.html#edits

  GUMBO_TAG_INS,

  GUMBO_TAG_DEL,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/embedded-content-1.html#embedded-content-1

  GUMBO_TAG_IMAGE,

  GUMBO_TAG_IMG,

  GUMBO_TAG_IFRAME,

  GUMBO_TAG_EMBED,

  GUMBO_TAG_OBJECT,

  GUMBO_TAG_PARAM,

  GUMBO_TAG_VIDEO,

  GUMBO_TAG_AUDIO,

  GUMBO_TAG_SOURCE,

  GUMBO_TAG_TRACK,

  GUMBO_TAG_CANVAS,

  GUMBO_TAG_MAP,

  GUMBO_TAG_AREA,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/the-map-element.html#mathml

  GUMBO_TAG_MATH,

  GUMBO_TAG_MI,

  GUMBO_TAG_MO,

  GUMBO_TAG_MN,

  GUMBO_TAG_MS,

  GUMBO_TAG_MTEXT,

  GUMBO_TAG_MGLYPH,

  GUMBO_TAG_MALIGNMARK,

  GUMBO_TAG_ANNOTATION_XML,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/the-map-element.html#svg-0

  GUMBO_TAG_SVG,

  GUMBO_TAG_FOREIGNOBJECT,

  GUMBO_TAG_DESC,

  // SVG title tags will have GUMBO_TAG_TITLE as with HTML.

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/tabular-data.html#tabular-data

  GUMBO_TAG_TABLE,

  GUMBO_TAG_CAPTION,

  GUMBO_TAG_COLGROUP,

  GUMBO_TAG_COL,

  GUMBO_TAG_TBODY,

  GUMBO_TAG_THEAD,

  GUMBO_TAG_TFOOT,

  GUMBO_TAG_TR,

  GUMBO_TAG_TD,

  GUMBO_TAG_TH,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/forms.html#forms

  GUMBO_TAG_FORM,

  GUMBO_TAG_FIELDSET,

  GUMBO_TAG_LEGEND,

  GUMBO_TAG_LABEL,

  GUMBO_TAG_INPUT,

  GUMBO_TAG_BUTTON,

  GUMBO_TAG_SELECT,

  GUMBO_TAG_DATALIST,

  GUMBO_TAG_OPTGROUP,

  GUMBO_TAG_OPTION,

  GUMBO_TAG_TEXTAREA,

  GUMBO_TAG_KEYGEN,

  GUMBO_TAG_OUTPUT,

  GUMBO_TAG_PROGRESS,

  GUMBO_TAG_METER,

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/interactive-elements.html#interactive-elements

  GUMBO_TAG_DETAILS,

  GUMBO_TAG_SUMMARY,

  GUMBO_TAG_MENU,

  GUMBO_TAG_MENUITEM,

  // Non-conforming elements that nonetheless appear in the HTML5 spec.

  // http://www.whatwg.org/specs/web-apps/current-work/multipage/obsolete.html#non-conforming-features

  GUMBO_TAG_APPLET,

  GUMBO_TAG_ACRONYM,

  GUMBO_TAG_BGSOUND,

  GUMBO_TAG_DIR,

  GUMBO_TAG_FRAME,

  GUMBO_TAG_FRAMESET,

  GUMBO_TAG_NOFRAMES,

  GUMBO_TAG_ISINDEX,

  GUMBO_TAG_LISTING,

  GUMBO_TAG_XMP,

  GUMBO_TAG_NEXTID,

  GUMBO_TAG_NOEMBED,

  GUMBO_TAG_PLAINTEXT,

  GUMBO_TAG_RB,

  GUMBO_TAG_STRIKE,

  GUMBO_TAG_BASEFONT,

  GUMBO_TAG_BIG,

  GUMBO_TAG_BLINK,

  GUMBO_TAG_CENTER,

  GUMBO_TAG_FONT,

  GUMBO_TAG_MARQUEE,

  GUMBO_TAG_MULTICOL,

  GUMBO_TAG_NOBR,

  GUMBO_TAG_SPACER,

  GUMBO_TAG_TT,

  // Used for all tags that don't have special handling in HTML.

  GUMBO_TAG_UNKNOWN,

  // A marker value to indicate the end of the enum, for iterating over it.

  // Also used as the terminator for varargs functions that take tags.

  GUMBO_TAG_LAST,

} GumboTag;

.使用gumbo的时候，报了一个RtlWerpReportException failed with status code :- 错，

一开始以为是堆栈溢出的问题，后来发现是自己代码逻辑没写对，最好对照着官方demo的用法去写

if (node->v.element.tag == GUMBO_TAG_A &&      (href = gumbo_get_attribute(&node->v.element.attributes, "href")))

{    std::cout << href->value << std::endl;  }

.编译gumbo的时候报了一个错

 错误:'for' loop initial declarations are only allowed in C99 mode

所以在项目pro配置里要加上这两句

QMAKE_CFLAGS_DEBUG +=  --std=c99

QMAKE_CFLAGS_RELEASE +=  --std=c99

转载请注明：http://www.cnblogs.com/fnlingnzb-learner/p/5835428.html

QT学习:c++解析html相关的更多相关文章

DSP EPWM学习笔记2 - EPWM相关寄存器设置问题解析
DSP EPWM学习笔记2 - EPWM相关寄存器设置问题解析彭会锋本篇主要针对不太熟悉的TZ 故障捕获和 DB 死区产生两个子模块进行学习研究感觉TI的寄存器命名还是有一定规律可循的 SEL ...
Qt 学习之路 2（73）：Qt 线程相关类
Home / Qt 学习之路 2 / Qt 学习之路 2(73):Qt 线程相关类 Qt 学习之路 2(73):Qt 线程相关类豆子 2013年11月26日 Qt 学习之路 2 7条评论希 ...
Qt 学习之路 2（66）：访问网络（2）
Home / Qt 学习之路 2 / Qt 学习之路 2(66):访问网络(2) Qt 学习之路 2(66):访问网络(2) 豆子 2013年10月31日 Qt 学习之路 2 27条评论上一 ...
Qt 学习之路 2（64）：使用 QJsonDocument 处理 JSON
Home / Qt 学习之路 2 / Qt 学习之路 2(64):使用 QJsonDocument 处理 JSON Qt 学习之路 2(64):使用 QJsonDocument 处理 JSON 豆子 ...
Qt 学习之路 2（61）：使用 SAX 处理 XML
Qt 学习之路 2(61):使用 SAX 处理 XML 豆子 2013年8月13日 Qt 学习之路 2 没有评论前面两章我们介绍了使用流和 DOM 的方式处理 XML 的相关内容,本章将介绍 ...
Qt 学习之路 2（48）：QSortFilterProxyModel
Qt 学习之路 2(48):QSortFilterProxyModel 豆子 2013年4月11日 Qt 学习之路 2 6条评论从本章开始,我们将逐步了解有关自定义模型的相关内容.尽管前面我们曾经介 ...
QT学习第1天
QT学习第一天坚持住!! 一 Qt概述 1.Qt发展历史 (1)1991年诞生(Haavard Nord/Eirik Chambe-Eng), (2)1994年创立Troll Tech(奇趣科技) ...
QT源码解析(一) QT创建窗口程序、消息循环和WinMain函数
QT源码解析(一) QT创建窗口程序.消息循环和WinMain函数分类: QT2009-10-28 13:33 17695人阅读评论(13) 收藏举报 qtapplicationwindowse ...
Qt学习博客推荐
附录C Qt资源 C.1 Qt 官方资源全球各大公司以及独立开发人员每天都在加入 Qt 的开发社区.他们已经认识到了Qt 的架构本身便可加快应用程序开发进度.这些开发人员,无论是想开发单平台软件. ...

随机推荐

Web安全漏洞深入分析及其安全编码
摘自:http://blog.nsfocus.net/web-vulnerability-analysis-coding-security/ 超全Web漏洞详解及其对应的安全编码规则,包括:SQL注入 ...
rabbitmq学习之路-rabbitmqctl
rabbitmqctl使用学习rabbitmq,原理之后第一个要掌握的就是rabbitmqctl这个命令的用法了,rabbitmq的管理功能最全的就是rabbitmqctl命令了,当然还有HTTP ...
Windows 修改电脑属性（二）
一.秀出自我风格的屏幕保护画面 1.气泡屏幕保护打开电脑,按开始键,点击运行输入regedit按回车键进入注册表界面,找到如下路径:HKEY_CURRENT_USER/Software/Micros ...
java实现两台电脑间TCP协议文件传输
记录下之前所做的客户端向服务端发送文件的小项目,总结下学习到的一些方法与思路. 注:本文参考自<黑马程序员>视频. 首先明确需求,在同一局域网下的机器人A想给喜欢了很久的机器人B发送情书, ...
Kubernetes网络模型概念
Kubernetes网络模型 Kubernetes网络模型设计的一个基础原则是:每个Pod都拥有一个独立的IP地址,而且假定所有Pod都在一个可以直接连通的.扁平的网络空间中.所以不管它们是否运行在同 ...
[ 原创 ] Java基础1--Java中super和this的用法和区别
许多同学在学习Java时分不清楚this和super的用法和区别,今天偶然发现一片加精的博文,看完内容准备自己也写下来积累一下 1.如果想在子类的构造方法中调用父类的构造方法,必须在子类的构造方法中使 ...
springboot项目打war包部署到服务器（eclipse & gradle环境）
1.右键项目run as -> run configurations,打开Run configurations弹出框 2.右键Gradle Project -> New Configur ...
写在OI退役后和高中毕业前的一些话
更新日志: 2017.02.13 开坑 2017.02.13 更新[零][壹] 2017.02.14 更新[贰] 2017.02.26 更新[叁][肆] 2017.03.04 锅多如狗,停更一周 20 ...
[xsy3343]程序锁
题意:有两个序列,序列中数字$\in\{-1,0,1\}$ 有两个指针,初始时分别指向两个序列的开始位置,有一个初始为$0$的数$a$,重复以下过程直到两个指针都指向序列末尾后如果一个指针指向末尾后 ...
为什么Android手机总是越用越慢？
根据第三方的调研数据显示,有77%的Android手机用户承认自己曾遭遇过手机变慢的影响,百度搜索“Android+卡慢”,也有超过460万条结果.在业内,Android手机一直有着“越用越慢”的口碑 ...

QT学习:c++解析html相关

QT学习:c++解析html相关的更多相关文章

随机推荐

热门专题