scrapy爬虫笔记(一)------环境配置
前言:
本系列文章是对爬虫的简单介绍,以及教你如何用简单的方法爬取网站上的内容。
需要阅读者对html语言及python语言有基本的了解。
(本系列文章也是我在学习爬虫过程中的学习笔记,随着学习的深入会不断地更新)
爬虫简介:
网络爬虫是一种自动获取网页内容的程序,是搜索引擎的重要组成部分。
网络爬虫先获取某网站的源代码,通过源码解析(如<a><p>标签等)来获得想要的内容。
环境配置:
ubuntu系统(安装方法请自行百度。由于在ubuntu系统下对以下所需的软件安装及运行比windows中方便很多,故我们选用ubuntu系统)
爬虫可用的软件很多,我们选择在ubuntu系统下使用python进行网页爬取,并将爬取下的内容放入mysql数据库中。
所需软件:
python:ubuntu系统自带,无需安装
pip:python包管理工具(需要下载python内的库进行网页爬取,安装pip方便我们对python中库的下载)
scrapy:Python开发的一个快速,高层次的屏幕抓取和web抓取框架。即从web站点爬取信息,读入到本地。
BeautifulSoup:通过标签解析(如<a>,<p>,id,class等)从html或xml文件中提取数据的python库。
mysql:一种关联数据库管理系统,将数据保存在不同的表中,用来存储数据。
软件安装步骤:
使用Ctrl+Alt+T打开命令行
1.pip安装
sudo
apt-get install python-pip
2.scrapy安装
pip
install scrapy
3.beautifulsoup4安装
pip
install beautifulsoup4
4.安装与mysql相关的python库
(1)
pip
install mysql-connector-python
5.安装mysql
(1)
sudo
apt-get install mysql-server
(2)
sudo
apt-get install mysql-client
*注:1.用pip安装时如出现错误,可能是权限不够,最前面加上sudo命令即可。
2.如安装python相关模块中出现'error:command 'gcc' failed with exit status 1'的错误信息,可通过安装如下库解决:
sudo apt-get install python-dev
3.如安装mysql-connector-python时出现error:
- Could not find any downloads that satisfy the requirement mysql-connector-python
Some externally hosted files were ignored- (use --allow-external mysql-connector-python to allow).
输入命令
pip install --allow-external mysql-connector-python mysql-connector-python
环境配置是个挺麻烦的工作,要有耐心哦~不同ubuntu系统版本可能会遇到各种奇葩问题,由于个人水平所限,请自行百度(-.-)
如果环境已经配置好了,那么下面我们可以开始爬取网页了^v^
scrapy爬虫笔记(一)------环境配置的更多相关文章
- Qt5学习笔记(1)-环境配置(win+64bit+VS2013)
Qt5学习笔记(1)-环境配置 工欲善其事必先-不装-所以装软件 久不露面,赶紧打下酱油. 下载 地址:http://download.qt.io/ 这个小网页就可以下载到跟Qt有关的几乎所有大部分东 ...
- Linux搭建Scrapy爬虫集成开发环境
安装Python 下载地址:http://www.python.org/, Python 有 Python 2 和 Python 3 两个版本, 语法有些区别,ubuntu上自带了python2.7. ...
- Scrapy爬虫笔记
Scrapy是一个优秀的Python爬虫框架,可以很方便的爬取web站点的信息供我们分析和挖掘,在这记录下最近使用的一些心得. 1.安装 通过pip或者easy_install安装: 1 sudo p ...
- Android自学笔记:环境配置
Info: 自学Android之旅第二篇,初步学习会有疏漏,以后我会不断修改补全,直到完美. 2014-10-09:初版 2014-11-12: 重新配置了一台电脑,更新在学习robotium过程中, ...
- 【lua学习笔记】——环境配置
1 开发平台 windows7 64位 2 下载链接 http://www.lua.org/download.html 3 安装完成-环境配置 4 运行 WIN+R 运行 cmd 运行lua,显示配 ...
- 学习笔记-ionic3 环境配置搭建到打包
折腾了两周总算理清楚了,参考的链接如下: https://blog.csdn.net/zeternityyt/article/details/79655150 环境配置 https://segmen ...
- windows7 64,32位下scrapy爬虫框架的环境搭建
适用于python 2.7 64位安装 一.操作系统:WIN7 64位 二.python版本:2.7 64位(scrapy目前不支持3.x) 不确定位数的,看图 三.安装相关软件:(可以从我的百度网盘 ...
- 2.1 Python3.5安装以及爬虫需要的环境配置
之所以选用Python,是因为对于网络爬虫来说,Python是最好上手的一种语言.本文讲述的安装配置都是基于Windows的环境. 另外我想说的是,文中用到的下载链接尽量官方网站上的下载链接,这是我比 ...
- Scrapy爬虫框架(1)--安装配置与常用命令
安装与配置 Scrapy有几个安装依赖,一般来说可以直接pip install scrapy,这个过程会自动下载安装其他几个依赖. 上述安装方法不成功,则需要手动安装依赖包 步骤 安装 lxmlpip ...
随机推荐
- Sql Server FOR XML PATH
FOR XML PATH 有的人可能知道有的人可能不知道,其实它就是将查询结果集以XML形式展现,有了它我们可以简化我们的查询语句实现一些以前可能需要借助函数活存储过程来完成的工作.那么以一个实例为主 ...
- 【piu~】制作一只变形小鸡~
在http://codepen.io/pick上看到的,,,具体是谁忘了,反正我只截了最萌的一段,作者越改越不萌ಥ_ಥ 谷哥哥随便一搜就有很多好玩的,度娘就...(  ̄ ▽ ̄)o╭╯☆#╰ _─﹏─) ...
- 浅析Java中的final关键字
浅析Java中的final关键字 谈到final关键字,想必很多人都不陌生,在使用匿名内部类的时候可能会经常用到final关键字.另外,Java中的String类就是一个final类,那么今天我们就来 ...
- C++ 修饰名的格式探究
以下结果是由VS2010里面测试得出: ------------------------------------------------------------------ /* 函数名.类名.名称空 ...
- 使用bootstrap tooltip控件动态修改提示内容
初始化控件之后即使修改了元素的title内容也不会更改提示信息,比如下面 $(element).attr('title','XXXXXX') 这样只会增加一个原生的title提示,如果保持原样显示必须 ...
- soundtouch变速wsola算法之改进
soundtouch变速算法很类似sola算法,细看才知道是wsola算法. 上个星期有个需求,将该变速应用到直播的包处理,有点类似于webrtc的netEQ处理机制. 直接使用soundtouch, ...
- angularjs表单验证checkbox
angularjs中默认有表单验证的支持,见文末的refer 我想要验证至少要选择一个checkbox,否则就不能提交 但是checkbox貌似没有简单的方法,想来想去给出下面的解决方案 valida ...
- Monkeyrunner 常用按键
MonkeyRunner常用的按键介绍 Home键:KEYCOD_HOME Back键:KEYCODE_BACK send键:KEYCODE_CALL end键:KEYCODE_ENDCALL ...
- HTML:让表单、文本框只读,不可编辑的方法
有时候,我们希望表单中的文本框是只读的,让用户不能修改其中的信息,如使<input type="text" name="input1" value=&qu ...
- xcode 常见错误报错问题!
1:module file '/Users/shaka/Library/Developer/Xcode/DerivedData/ModuleCache/92IKIZLYISUT/Darwin-2OA ...