python写网络爬虫的环境搭建

网上找了好多资料，都不全，通过资料的整理，包括自己的测试，终于把环境打好了，真是对于一个刚接触爬虫的人来说实属不易，现在分享给大家，若有不够详细之处，希望各位网友能补充。

第一步，下载python，

这里有一个巨坑，python2.x与python3.x变化实在是太大，博主开始用的python2.7，后来发现很多模块版本太新，根本没办法使用，兼容性出了问题，索性把python2.7给卸了，然后下了python3.4，如果你习惯了用python2.x，就不要轻易升级，如果你是刚学python，建议还是安装3.x版本。还有就是注意python是64位还是32位。

第二步，环境变量设置，由于会使用python命令，所以最好还是设一个

桌面计算机—>右键“属性”—>点击“高级系统设置”—>高级属性里点击“环境变量”—>在系统变量里path中添加python安装目录。

第三步，下载一个合适的idl（代码编辑器），python自带的idle实在是太水了，对于一个项目来说，根本满足不了需求，只能做简单的测试。现在成熟的idl很多，博主使用的是Pycharm，觉得挺好用的，其他的不了解，你们可以尝试装机试试。

第四步，下载Beautiful Soup，

Beautiful Soup是一个非常流行的python模块，这个模块可以解析网页，并提供定位内容的便捷接口，对于Beautiful Soup的介绍，大家在网上都能查到，博主就不浪费时间了。对于python3.x必须安装Beautiful Soup4，其他版本可能安装不了。

下载后解压到Python安装目录下

打开cmd编辑器，进入到beautifulsoup文件夹内

执行

setup.py build

然后执行

setup.py install

这样 Beautiful Soup模块就顺利的安装到了python3.4里

第五步，下载lxml库，lxml是Python语言里和XML以及HTML工作的功能最丰富和最容易使用的库。这一步博主真是走了好多弯路，先是下载lxml的版本不匹配，再是pip版本太低，弄了好久终于解决了。

在资源库里下载：http://www.lfd.uci.edu/~gohlke/pythonlibs/，这里lxml有好多版本：

cp27代表是python2.7，cp34代表python3.4，amd64是64位的系统，不加代表32位。大家一定要对号入座，版本下错就惨了，就像博主我。。。

下载后把它放进python的安装目录下，此操作与Beautiful Soup一样，这样主要是为了方便管理。在cmd命令里，先执行“python -m pip install wheel”，安装wheel，成功后在python目录下的Lib\site-packages，能查看到wheel文件夹，代表安装成功。

然后安装lxml，“python -m pip install 你的lxml的路径（D:\workapps\python3.4.4\lxml-3.6.4-.....）”,如果提示你pip版本太低，则先更新pip（pip是一个安装和管理 Python 包的工具），命令行输入“python
-m pip upgrade pip”，升级完成后，再次安装lxml，就完成了。最后打开Pycharm，测试程序OK!!!

附上淘宝网页抓取测试代码：

本文转载于：https://blog.csdn.net/u011139117/article/details/52788785