这篇这篇文章主要是展示了一个C#语言如何抓取网站中的图片。实现原理就是基于http请求。C#给我们提供了HttpWebRequest和WebClient两个对象,方便发送请求获取数据,下面看如何实

1,HttpGetAction方法。用于发送请求获取数据后处理字符串得到图片地址

  1. public static void HttpGetAction(string url,string path,int name)
  2. {
  3. Stopwatch sw = new Stopwatch();
  4. sw.Start();
  5. Console.WriteLine("抓取地址:" + url);
  6. string result = string.Empty;
  7. HttpWebRequest webRequest = WebRequest.CreateHttp(url);
  8. webRequest.Method = "GET";
  9. var response= webRequest.GetResponse();
  10. using (StreamReader reader = new StreamReader((response as HttpWebResponse).GetResponseStream(), Encoding.UTF8))
  11. {
  12. result = reader.ReadToEnd();
  13. reader.Close();
  14. }
  15. if (string.IsNullOrEmpty(result))
  16. {
  17. Console.WriteLine("请求地址错误");
  18. Console.ReadKey();
  19. return;
  20. }
  21. //提取img标签src地址
  22. Regex regImg = new Regex(@"<img\b[^<>]*?\bsrc[\s\t\r\n]*=[\s\t\r\n]*[""']?[\s\t\r\n]*(?<imgUrl>[^\s\t\r\n""'<>]*)[^<>]*?/?[\s\t\r\n]*>", RegexOptions.IgnoreCase);
  23. // 搜索匹配的字符串
  24. MatchCollection matches = regImg.Matches(result);
  25. //爬取数量
  26. int i = ;
  27. WebClient web = new WebClient();
  28. // 取得匹配项列表
  29. foreach (Match match in matches)
  30. {
  31. string imgsrc = match.Groups["imgUrl"].Value;
  32. if (imgsrc.Contains("http") && !imgsrc.Contains(".svg"))
  33. {
  34. i++;
  35. HttpGetImg(web,imgsrc, path,name);
  36. name++;//图片名
  37. }
  38. }
  39. sw.Stop();
  40. Console.WriteLine("爬取完成!总共爬取了" + i + "张图片!");
  41. Console.WriteLine("爬取图片耗时:" + sw.ElapsedMilliseconds / + "秒");
  42. }

2,HttpGetImg方法。下载图片到指定目录

  1. public static void HttpGetImg(WebClient web, string src,string path,int name)
  2. {
  3. Console.WriteLine("爬取图片:" + src);
  4. if (!Directory.Exists(path))
  5. {
  6. Console.WriteLine("路径错误!");
  7. Console.ReadKey();
  8. return;
  9. }
  10. web.DownloadFile(src, path+name+".jpg");
  11. Console.WriteLine("爬取图片成功:" + name+".jpg");
  12. }

3,控制台调用

  1. static void Main(string[] args)
  2. {
  3. string url= "https://www.xxxxxx.com/";
  4. string path = Path.Combine(@"D:\word 资料\img\冬天\");
  5. HttpHelper.HttpGetAction(url,path,);
  6. Console.ReadKey();
  7. }

效果图:

一个简单的C#爬虫程序就完成了。如有错误的地方还望大神指点

原文来自:一个简单的C#程序-曾亚平个人博客

一个简单的C#爬虫程序的更多相关文章

  1. 一个简单的python爬虫程序

    python|网络爬虫 概述 这是一个简单的python爬虫程序,仅用作技术学习与交流,主要是通过一个简单的实际案例来对网络爬虫有个基础的认识. 什么是网络爬虫 简单的讲,网络爬虫就是模拟人访问web ...

  2. 一个简单的P2P传输程序

    写了一个简单的P2P传输程序,在P2P的圈子中传输文件,不过为了简便,这个程序没有真正的传输文件,只是简单的判断一下文件的位置在哪里.这个程序可以处理当有一个peer闪退的情况,在这种情况下,剩下的p ...

  3. IOS开发之小实例--使用UIImagePickerController创建一个简单的相机应用程序

    前言:本篇博文是本人阅读国外的IOS Programming Tutorial的一篇入门文章的学习过程总结,难度不大,因为是入门.主要是入门UIImagePickerController这个控制器,那 ...

  4. iOS开发UI篇—使用嵌套模型完成的一个简单汽车图标展示程序

    iOS开发UI篇—使用嵌套模型完成的一个简单汽车图标展示程序 一.plist文件和项目结构图 说明:这是一个嵌套模型的示例 二.代码示例: YYcarsgroup.h文件代码: // // YYcar ...

  5. 一个简单的MDI示范程序(Delphi)

    http://www.cnblogs.com/pchmonster/archive/2012/01/07/2316012.html 最为一个巩固之前有关窗体和对象的有关知识,下面就建立一个简单的MDI ...

  6. 一个简单的DDraw应用程序2

    //------------------------------------------------------------------------- // 文件名 : 6_1.cpp// 创建者 : ...

  7. 一个简单的DDraw应用程序

        阅读排行榜 1. C/C++ 笔试.面试题目大汇总(72915) 2. [STL]list基础(21718) 3. COM笔记-CoCreateInstance(14842) 4. C/C++ ...

  8. Linux内核监控模块-1-驱动模块(LKM)开发(以一个简单的hello world程序为例)

    在上面一篇中介绍到,监控模块要做成一个驱动模块(或者说是可加载模块,LKM),动态的加载到Linux内核中.那么这篇就简单的介绍一下怎样做一个这样的驱动模块.   以简单的hello world程序为 ...

  9. C++ 容器的综合应用的一个简单实例——文本查询程序

    C++ 容器的综合应用的一个简单实例——文本查询程序 [0. 需求] 最近在粗略学习<C++ Primer 4th>的容器内容,关联容器的章节末尾有个很不错的实例.通过实现一个简单的文本查 ...

随机推荐

  1. 网络IO的虚拟化模型小结

    网络IO的虚拟化模型随着技术发展,出现了多种方式,例如emulation.para-virtualization.pass-through和SR-IOV等,本文试图对其做一个简单的总结. Emulat ...

  2. 第三篇-分析日志和sensor-data中的数据结构

    分析日志和sensor-data数据结构 该文章提供web端思路,ios和android端思路不提供,api也已经下线,本文也不提供任何可执行代码.有更多疑问欢迎查看github代码 协议 授权协议: ...

  3. advisor调优工具优化sql(基于sql_id)

    advisor调优工具优化sql(基于sql_id) 问题背景:客户反馈数据库迁移后cpu负载激增,帮忙查看原因 解决思路:1> 查看问题系统发现有大量的latch: cache buffers ...

  4. linux下python相关命令

    若本机已安装python2,尽量不要动现有的python2,额外安装python3即可. 1.安装python3.6(centos下安装python3自带pip和setuptools) python3 ...

  5. 浅谈微服务架构与.Net Core

    微服务(microservice)这个概念是2012年出现的,2014年3月Martin Fowler在他的个人网站(https://martinfowler.com/articles/microse ...

  6. 【Autofac打标签模式】Aspect拦截器

    [ Autofac打标签模式]开源DI框架扩展地址: https://github.com/yuzd/Autofac.Annotation/wiki 前提条件 自己new一个对象不能实现拦截器功能,必 ...

  7. Java 根据权重获取数据 基础 极简 准确率高

    package sl; import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.ut ...

  8. 使用zrender.js绘制体温单(2)

    今天我们来画折线图 效果图 以下为模拟数据 [{"time":19,"text":"入\n院\n19\n时\n11\n分","po ...

  9. Apollo报错找不到apollo.meta的问题解决方案

    问题描述 Apollo报错,找不到apoll.meta,但是明明配置了apollo-env.properties到apollo-client内了. apollo-env.properties pro. ...

  10. C#关于private protected sealed Virtual/Override

    Public:公开权限 Private:修饰类时类为程序集或者包含此类的类内部权限:修饰变量时只能类内部使用: Protected:修饰变量,只能继承类可以使用,对外(包括继承类的实例)无权限: Ab ...