最近准备深入学习Python相关的爬虫知识了,如果说在使用Python爬取相对正规的网页使用"urllib2 + BeautifulSoup + 正则表达式"就能搞定的话:那么动态生成的信息页面,如Ajax.JavaScript等就需要通过"Phantomjs + CasperJS + Selenium"来实现了.所以先从安装和功能介绍入门,后面在介绍一些Python相关的爬虫应用. 一. 介绍 PhantomJS        PhantomJS是一个服务器端的…

最近在使用Python爬取网页内容时,总是遇到JS临时加载.动态获取网页信息的困难.例如爬取CSDN下载资源评论.搜狐图片中的“原图”等,此时尝试学习Phantomjs和CasperJS来解决这个问题.这第一篇文章当然就是安装过程及入门介绍. 一. 安装Phantomjs 下载地址:http://phantomjs.org/         官网介绍:          PhantomJS is a headless WebKit scriptable with a JavaScript API…

1. 从这里下载 get-pip.py: https://raw.githubusercontent.com/pypa/pip/master/contrib/get-pip.py 2. python get-pip.py,将安装pip和esay_install 4. 把python安装目录下的Scripts目录加入PATH. 就可以使用pip和easy_install了.…

python之所以被广泛使用,倒不见得是本身语法简单,而是而nodejs/javascript一样把三方库的依赖管理简化了,而不用和java一样非得通过maven管理,而且还得打包后在classpath中才能允许,这导致写一些小功能特别省事,但是巨型工程管理就很乱了. 1.pip下载安装配置 1.2安装pip,将pip的tar包下载到本地并解压,这个tar.gz格式的是windows和linux通用的包,在Windows下用常规的解压工具即可解压,下载地址如下https://pypi.pytho…

windows下面安装Python和pip终极教程 在大二的时候接触过一段时间的Python,最近又开始玩起了这门语言.总的来说,个人很喜欢Python的语言风格,但是这门语言对于windows并不算很友好,因为如果是初学者在windows环境下安装,简直是折磨人,会遇到各种蛋疼的情况.本文希望提供傻瓜式的教程,能够令读者成功安装Python和pip. 第一步,我们先来安装Python,博主选择的版本是最新的3.4.2版本.windows下面的Python安装一般是通过软件安装包安装而不是命令行…

原文:http://blog.csdn.net/zhaokuo719/article/details/8209496 windows 环境下安装 lxml python 1.首先保证你的python 环境安装完善 2.把http://peak.telecommunity.com/dist/ez_setup.py 文件下载到电脑上 3.打开运行 cmd  执行:python ez_setup.py 4.安装完毕 ,PATH环境变量里面添加路径:如:E:\python27\Scripts(E:\py…

1.在安装pip前,请确认win系统中已经安装好了python,和easy_install工具,如果系统安装成功,easy_install在目录C:\Python27\Scripts 下面,确认截图如下: 要用到第三方包,python的版本就必须是2.7 https://pypi.python.org/pypi/setuptools#downloads python setup.py install 2.进入命令行,然后把目录切换到python的安装目录下的Script文件夹下,运行 easy_…

将 C:\Users\用户名\AppData\Local\Programs\Python\Python35\Scripts C:\Users\用户名\AppData\Local\Programs\Python\Python35 加入path环境变量,这样就可以直接运行pip3, scrapy startproject 安装easy_installPS C:\Users\用户名\AppData\Local\Programs\Python\Python35\Scripts> easy_install…

下载地址是:https://pypi.python.org/pypi/pip#downloads 下载完成之后,解压到一个文件夹,用CMD控制台进入解压目录,输入: python setup.py install 安装好之后,我们直接在命令行输入pip,同样会显示‘pip’不是内部命令,也不是可运行的程序.因为我们还没有添加环境变量. 按照之前介绍的添加环境变量的方法,我们在PATH最后添加: C:\Python27\Scripts;       [python目录下的Scripts这个文件夹]…

python拓展包安装 直接安装拓展包默认路径: Unix(Linux)默认路径:/usr/local/lib/pythonX.Y/site-packagesWindows默认路径:C:\PythonXY\Lib\site-packages 测试和升级python拓展安装包pip 查看pip安装时对应的Python版本 which pip /d/python3.4.2/Scripts/pip 更新pip: python -m pip install --upgrade pip 测试python拓…