使用libcurl,根据url下载对应html页面
1. [图片] Capture.JPG
2. [代码]GetPageByURL
//static member variable define
string GetPageByURL::m_curPage = "";//当前保存的网页源码
CURL* GetPageByURL::m_curl = NULL;
/************************************************************************/
/* 函数名:Initialize
/* 功 能: 初始化libcurl库
/* 返回值:成功,返回true;失败,返回false
/************************************************************************/
bool GetPageByURL::Initialize()
{
curl_global_init(CURL_GLOBAL_ALL);
m_curl = curl_easy_init();
if (m_curl)
{
curl_easy_setopt(m_curl, CURLOPT_FOLLOWLOCATION, 1L);
curl_easy_setopt(m_curl, CURLOPT_WRITEFUNCTION, WriteFunc);
curl_easy_setopt(m_curl, CURLOPT_WRITEDATA, &m_curPage);
}
else
{
MessageBoxA(NULL,"GetPageByURL::Initialize Failed!", "GetPageByURL::Initialize", MB_ICONERROR);
return false;
}
return true;
}
/************************************************************************/
/* 函数名:WriteFunc
/* 功 能: libcurl会调用这个标准的函数,
/* size_t function( void *ptr, size_t size, size_t nmemb, void *userdata);
/* 以提供格式化网页数据的机会
/* curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteFunc);
/* 返回值:返回buffer的大小
/************************************************************************/
size_t GetPageByURL::WriteFunc(char *data, size_t size, size_t nmemb, string *writerData)
{
if (writerData == NULL)
return 0;
size_t len = size*nmemb;
writerData->append(data, len);
return len;
}
/************************************************************************/
/* 函数名:GetPage
/* 功 能: 根据url,抓取对应的网页源码;使用了libcurl库
/* 返回值:成功,返回包含网页源码的字符串;失败,返回空字符串
/************************************************************************/
bool GetPageByURL::GetPage(
const string& urlStr, //url字符串
string& page //输出参数,返回对应页面源码
)
{
_ASSERT("" != urlStr);
if(!m_curl)
{
MessageBoxA(NULL,"You must initialize curl first!", "GetPageByURL", MB_ICONERROR);
return false;
}
m_curPage.clear();
curl_easy_setopt(m_curl, CURLOPT_URL, urlStr.c_str());
CURLcode res = curl_easy_perform(m_curl);
if(res != CURLE_OK)
{
Utility::MessageBox(NULL, "GetPageByURL::GetPage", MB_ICONERROR, "Get the page of %s failed!", urlStr.c_str());
return false;
}
else
{
page = m_curPage;
return true;
}
}
/************************************************************************/
/* 函数名:Cleanup
/* 功 能: 清理内存
/* 返回值:无
/************************************************************************/
void GetPageByURL::Cleanup()
{
if(m_curl)
{
/* always cleanup */
curl_easy_cleanup(m_curl);
m_curl = NULL;
}
}
3. [代码]use it
//use GetPageByURL
GetPageByURL::Initialize();
string page = "";
GetPageByURL::GetPage("http://www.oschina.net/p/curl",page);
GetPageByURL::GetPage("http://www.oschina.net/",page);
GetPageByURL::Cleanup();
4. [文件] GetPageByURL.h
#pragma once
#include <curl/curl.h>
class GetPageByURL
{
public:
GetPageByURL(void);
public:
~GetPageByURL(void);
private:
static string m_curPage;
static CURL *m_curl;
private:
static size_t WriteFunc(char *data, size_t size, size_t nmemb, string *writerData);
public:
static bool Initialize();
static bool GetPage(const string& urlStr, string& page);
static void Cleanup();
};
5. [文件] GetPageByURL.cpp
#include "StdAfx.h"
#include "GetPageByURL.h"
//static member variable define
string GetPageByURL::m_curPage = "";//当前保存的网页源码
CURL* GetPageByURL::m_curl = NULL;
GetPageByURL::GetPageByURL(void)
{http://www.enterdesk.com/special/shouhui/
}手绘图片
GetPageByURL::~GetPageByURL(void)
{
}
/************************************************************************/
/* 函数名:Initialize
/* 功 能: 初始化libcurl库
/* 返回值:成功,返回true;失败,返回false
/************************************************************************/
bool GetPageByURL::Initialize()
{
curl_global_init(CURL_GLOBAL_ALL);
m_curl = curl_easy_init();
if (m_curl)
{
curl_easy_setopt(m_curl, CURLOPT_FOLLOWLOCATION, 1L);
curl_easy_setopt(m_curl, CURLOPT_WRITEFUNCTION, WriteFunc);
curl_easy_setopt(m_curl, CURLOPT_WRITEDATA, &m_curPage);
}
else
{
MessageBoxA(NULL,"GetPageByURL::Initialize Failed!", "GetPageByURL::Initialize", MB_ICONERROR);
return false;
}
return true;
}
/************************************************************************/
/* 函数名:WriteFunc
/* 功 能: libcurl会调用这个标准的函数,
/* size_t function( void *ptr, size_t size, size_t nmemb, void *userdata);
/* 以提供格式化网页数据的机会
/* curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteFunc);
/* 返回值:返回buffer的大小
/************************************************************************/
size_t GetPageByURL::WriteFunc(char *data, size_t size, size_t nmemb, string *writerData)
{
if (writerData == NULL)
return 0;
size_t len = size*nmemb;
writerData->append(data, len);
return len;
}
/************************************************************************/
/* 函数名:GetPage
/* 功 能: 根据url,抓取对应的网页源码;使用了libcurl库
/* 返回值:成功,返回包含网页源码的字符串;失败,返回空字符串
/************************************************************************/
bool GetPageByURL::GetPage(
const string& urlStr, //url字符串
string& page //输出参数,返回对应页面源码
)
{
_ASSERT("" != urlStr);
if(!m_curl)
{
MessageBoxA(NULL,"You must initialize curl first!", "GetPageByURL", MB_ICONERROR);
return false;
}
m_curPage.clear();
curl_easy_setopt(m_curl, CURLOPT_URL, urlStr.c_str());
CURLcode res = curl_easy_perform(m_curl);
if(res != CURLE_OK)
{
Utility::MessageBox(NULL, "GetPageByURL::GetPage", MB_ICONERROR, "Get the page of %s failed!", urlStr.c_str());
return false;
}
else
{
page = m_curPage;
return true;
}
}
/************************************************************************/
/* 函数名:Cleanup
/* 功 能: 清理内存
/* 返回值:无
/************************************************************************/
void GetPageByURL::Cleanup()
{
if(m_curl)
{
/* always cleanup */
curl_easy_cleanup(m_curl);
m_curl = NULL;
}
}
使用libcurl,根据url下载对应html页面的更多相关文章
- 根据url下载图片和页面
需要将&tp=webp&wxfrom=5去掉,既可以在任何地方显示,也可以下载了 http://mmbiz.qpic.cn/mmbiz_jpg/bf8pC39RBhGFOH1ib9Ac ...
- js通过 URL下载文件
页面上一个button,点击之后触发一个function去请求数据,返回 pdf/epub 的URL,然后下载这个文件. 本来是直接用 a 写的,href里放资源地址,target设为'_blank' ...
- wget---从指定的URL下载文件
wget命令用来从指定的URL下载文件.wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕.如果是服务器打断下 ...
- node.js入门学习(二)MIME模块,request和response对象,demo之不同url请求不同html页面,页面包含图片、样式css等静态资源
一.构建http服务程序-根据不同请求做出不同响应 // 加载http模块 var http = require("http"); // 创建一个http服务对象 http.cre ...
- C++根据图片url下载图片
需要使用到URLDownloadToFile()函数,该函数在头文件<urlmon.h>中声明. URLDownloadToFile()函数的定义如下: HRESULT URLDownlo ...
- 从指定的URL下载文件
通过使用URLDownLoadToFile函数,我们能从指定的URL下载文件,保存到本地,并且下载的文件类型可以是可执行文件 实例如下,http://www.xuexic.com 的根目录下存在一个l ...
- Java和Android Http连接程序:使用java.net.URL 下载服务器图片到客户端
Java和Android Http连接程序:使用java.net.URL 下载服务器图片到客户端 本博客前面博文中利用org.apache.http包中API进行Android客户端HTTP连接的例子 ...
- 使用url下载网络图片以及流介绍
使用url下载网络图片的时候,首先需要建立一个URL对象,然后使用一个输入流获取该URL中的内容.之后使用读取该输入流的内容,使用一个输出流写到本地文件中.最后关闭输入和输出流.下面是一个简单的下载代 ...
- QT实现,通过URL下载文件的接口实现
今天来把坑填上. 具体就是提供一个URL,并通过这个URL下载文件. MyDownloader.h: #ifndef MYDOWNLOADER_H #define MYDOWNLOADER_H cla ...
随机推荐
- 雪习新知识:Java 内部类
本文出自 http://blog.csdn.net/zhaizu/article/details/49176543,转载请注明出处. 嵌套类,内部类,静态内部类,静态嵌套类.匿名类,成员类,局部类,傻 ...
- C# 读取Excel中的数据
#region 读取Excel中的数据 /// <summary> /// 读取Excel中的数据 /// </summary> /// <param name=&quo ...
- eclipse右下角总显示自动下载xml和jar,如何关闭
windows->preference->查找download-选择Models->右侧下方Enable auto-download去掉 2.Automatic Updates-&g ...
- curl库pycurl实例及参数详解
pycurl是功能强大的python的url库,是用c语言写的,速度很快,比urllib和httplib都快. 今天我们来看一下pycurl的用法及参数详解 常用方法: pycurl.Curl() # ...
- 中兴应用之星携手天翼开放平台:让APP开发更简单
日前,业内率先的APP开发平台运营商中兴应用之星与中国电信天翼开放平台达成战略合作.即广大用户通过天翼开放平台,可直接享受到应用之星提供的"APP开发服务". 应用之星.中兴通 ...
- \\s+ split替换
出自: http://www.tuicool.com/articles/vy2ymm 详解 "\\s+" 正则表达式中\s匹配任何空白字符,包括空格.制表符.换页符等等, 等价于[ ...
- Mac中遇到的Eclipse连接不上mySql的问题
1.首先我们在eclipse中连接数据库的过程中,遇到的问题就是如上图.开始百度Communications link failure 这几个关键字.得到的结果基本上就是基本配置参数wait_time ...
- 使用jquery改动表单的提交地址
基本思路: 通过使用jquery选择器得到相应表单的jquery对象,然后使用attr方法改动相应的action 演示样例程序一: 默认情况下,该表单会提交到page_one.html 点击butto ...
- JavaScript读书笔记(5)-Object Date
1.Object类型 (1)创建Object实例 第一种方式:new操作符后跟Object构造函数 var person=new Object(); person.name=”Nicholas”; p ...
- dnSpy进行反编译修改并编译运行EXE或DLL
dnSpy对目标程序(EXE或DLL)进行反编译修改并编译运行 本文为原创文章.源代码为原创代码,如转载/复制,请在网页/代码处明显位置标明原文名称.作者及网址,谢谢! 本文使用的工具下载地址为: h ...