最近刚接触python，找点小任务来练练手，希望自己在实践中不断的锻炼自己解决问题的能力。这个小爬虫来自慕课网的一门课程，我在这里记录的是自己学习的过程中遇到的问题和解决方法以及爬虫之外的思考。

　　这次的小任务就是写一个小爬虫。为啥选这个来练手呢，最最重要的原因就是大数据太热了，就像武汉的现在的天气。数据之于”大数据“，就好比武器之于战士，砖瓦之于高楼。没有了数据，”大数据“就是空中阁楼，根本没法落地，应用于实际。数据怎么来呢？两种途径，一个是自取，一个他取。自取不必多说，另外一种就是他取，这个“他”就是指的互联网。

　　首先要明白爬虫：一种按照一定的规则，自动地抓取万维网信息的程序或者脚本（来自百度百科）。顾名思义，那就是要访问页面，然后将页面中的内容保存下来，然后从保存下来的页面中筛选出你感兴趣的内容，再把它另外存放起来。实际生活中，这种事我们经常干：我们在一个无聊的下午，在浏览器里输入一段地址进行页面访问，然后遇到感兴趣的文章或者段落，选中它，然后复制粘贴到一个word文档里。如果我们把以上对一个页面做的事，变成对成百万上千万的页面也这样做，那你的数据就会越来越大，我们把这个过程称之为“数据采集”。

　　爬虫的优势就在于：自动化，批量化。这里就会有一个误会，在我还没接触爬虫之前，我以为爬虫可以爬取我“看不到”的东西，后来才明白爬虫是用来爬取我“看不完”的东西。

　　下面是这个爬虫的架构和爬行流程

　　

　　

　　

python——爬虫&问题解决&思考（1）的更多相关文章

  1. python——爬虫&问题解决&思考（三）

    继续上一篇文章的内容,上一篇文章中,将爬虫调度器已经写好了,调度器是整个爬虫程序的"大脑",也可以称之为指挥中心.而现在,我们要做的就是去将调度器中用到的其他组件写好.首先是url ...

  2. python——爬虫&问题解决&思考（四）

    继续上一篇文章的内容,上一篇文章中已经将url管理器和下载器写好了.接下来就是url解析器,总的来说这个模块是几个模块中比较难的.因为通过下载器下载完页面之后,我们虽然得到了页面,但是这并不是我们想要 ...

  3. 沉淀，再出发：python爬虫的再次思考

    沉淀,再出发:python爬虫的再次思考 一.前言    之前笔者就写过python爬虫的相关文档,不过当时因为知识所限,理解和掌握的东西都非常的少,并且使用更多的是python2.x的版本的功能,现 ...

  4. Python爬虫编程常见问题解决方法

    Python爬虫编程常见问题解决方法: 1.通用的解决方案: [按住Ctrl键不送松],同时用鼠标点击[方法名],查看文档 2.TypeError: POST data should be bytes ...

  5. 【图文详解】python爬虫实战——5分钟做个图片自动下载器

    python爬虫实战——图片自动下载器 之前介绍了那么多基本知识[Python爬虫]入门知识,(没看的先去看!!)大家也估计手痒了.想要实际做个小东西来看看,毕竟: talk is cheap sho ...

  6. Python 爬虫入门（requests）

    相信最开始接触Python爬虫学习的同学最初大多使用的是urllib,urllib2.在那之后接触到了第三方库requests,requests完全能满足各种http功能,真的是好用爆了 :D 他们是 ...

  7. [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上)

    转载自:http://blog.csdn.net/eastmount/article/details/51231852 一. 文章介绍 源码下载地址:http://download.csdn.net/ ...

  8. Python爬虫之urllib模块2

    Python爬虫之urllib模块2 本文来自网友投稿 作者:PG-55,一个待毕业待就业的二流大学生. 看了一下上一节的反馈,有些同学认为这个没什么意义,也有的同学觉得太简单,关于Beautiful ...

  9. 专业的“python爬虫工程师”需要学习哪些知识？

    学到哪种程度 暂且把目标定位初级爬虫工程师,简单列一下吧: (必要部分) 熟悉多线程编程.网络编程.HTTP协议相关 开发过完整爬虫项目(最好有全站爬虫经验,这个下面会说到) 反爬相关,cookie. ...

随机推荐

  1. 基于jquery 的分页插件，前端实现假分页效果

    上次分享了一款jquery插件,现在依旧分享这个插件,不过上一次分享主要是用于regular框件,且每一页数据都是从后端获取过来的,这一次的分享主要是讲一次性获取完数据 然后手动进行分页.此需求基本上 ...

  2. 火车站点城市查询（appserv 服务器练习）

    <!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8" ...

  3. Python之路- 反射&定制自己的数据类型

    一.isinstance和issubclass isinstance(obj,cls)检查是否obj是否是类 cls 的对象 issubclass(sub, super)检查sub类是否是 super ...

  4. Google Earth影像数据破解之旅

    "Zed, you are so excellent." 为什么要写这句英文?容我卖个关子稍后再解释. 相信大多数人都体验过Google Earth(简称GE),我对GE最初的印象 ...

  5. windows下批量换程序——运维常用

    Windows一批机器,需要批量换程序.写个脚本给大家. net stop sharedaccess (关闭防火墙) del /s d:\*.log d:\*.vbs d:\*.pdb d:\*.vb ...

  6. 使用window.btoa和window.atob来进行Base64编码和解码

      方法描述 WindowBase64.atob() 函数用来解码一个已经被base-64编码过的数据. WindowBase64.btoa() 函数 将ascii字符串或二进制数据转换成一个base ...

  7. express4.x的使用

    ①.安装 npm install -g  express   ②.创建应用 express [目录] 会在目录下生成 node_modules, 存放所有的项目依赖库.(每个项目管理自己的依赖,与Ma ...

  8. jquery获取文件名称

    $("#fileupload").on("change",function(){ var filePath=$(this).val(); if(filePath ...

  9. mysql for windows（服务器）上的配置安装--实例

    mysql for windows(服务器)上的配置安装 **** 下载 官网网址:https://www.mysql.com/downloads/ 选择左上角Community 再选择MySQL C ...

  10. map中结构体做关键字的注意事项

    序: 今天做一道题,由于递归函数比较恶心,如果用记忆化搜索,数据范围极大却又用不全(二维数组存的话直接炸).所以决定干脆使用stl::map存储(反正有O2优化),但是执行insert的时候,编译器却 ...