Scrapy安装: 1,首先进入虚拟环境    2,使用国内豆瓣源进行安装,快! pip install -i https://pypi.douban.com/simple/ scrapy 3,特殊情况出错:缺少c++,解决办法:自己安装了个vs2015 基本命令: scrapy --help Available commands: bench Run quick benchmark test commands fetch Fetch a URL using the Scrapy downloa…

实际上安装scrapy框架时,需要安装很多依赖包,因此建议用pip安装,这里我就直接使用pycharm的安装功能直接搜索scrapy安装好了. 然后进入虚拟环境创建一个scrapy工程: (third_project) bigni@bigni:~/python_file/python_project/pachong$ scr scrapy screendump script scriptreplay (third_project) bigni@bigni:~/python_file/python…

应对反爬虫机制 ①.禁止cookie :有的网站会通过用户的cookie信息对用户进行识别和分析,此时可以通过禁用本地cookies信息让对方网站无法识别我们的会话信息 settings.py里开启禁用cookie # Disable cookies (enabled by default) COOKIES_ENABLED = False ②.设置下载延时:有的网站会对网页的访问频率进行分析,如果爬取过快,会被判断为自动爬取行为 settings.py里设置下载延时 #DOWNLOAD_DELA…

框架简介 核心部分: 引擎.下载器.调度器 自定义部分: spider(自己建的爬虫文件).管道(pipelines.py) 目录结构 firstSpider firstSpider spiders 爬虫目录(写代码位置) __init__.py myspider.py 自己建的爬虫文件,以后的爬虫代码写在这里 __init__.py items.py 定义数据结构地方 middlewares.py 中间件(了解) pipelines.py 管道文件 settings.py 项目配置文件 scr…

好比Django的Debuge 与前端进行交互时的方便,但是Scrapy 不自带,所以我们写一个main文件来debuge 作用:通过cmd 命令启动爬虫 #-*-coding:utf-8 -*- #通过调用命令行进行调试 __author__ = "ruoniao" __date__ = "2017/5/14 16:39" #调用execute这个函数可调用scrapy脚本 from scrapy.cmdline import execute #设置工程命令 im…

这几天了解了一下Yii框架,以简单的博客项目实战入门.大致的实现流程做个记录. 一.Yii 安装与环境检测 从 www.yiiframework.com 获取一份Yii的拷贝,解压到 /wwwroot/yii 目录. 打开浏览器访问 http://127.0.0.1/yii/requirements/index.php,检测本地环境支持. 二.建立项目与目录介绍 在命令行环境,cd命令进入到 Yii 框架核心目录 /wwwroot/yii/framework ,键入命令行: php yiic w…

1.Nginx简介 Nginx(发音同 engine x)是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行.由俄罗斯的程序设计师Igor Sysoev所开发,最初供俄国大型的入口网站及搜寻引擎Rambler(俄文:Рамблер)使用. 其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页伺服器中表现较好.目前中国大陆使用nginx网站用户有:新浪.网易. 腾讯,另外知名的微网志Plurk也使用n…

一.在windows上安装Maven 1.下载 下载地址:http://maven.apache.org/download.html 下载最新版本 maven3.2.5 2.解压 解压地址:F:\Java\soft 3.配置环境变量 MAVEN_HOME : F:\Java\soft\apache-maven-3.2.5     MAVEN : %MAVEN_HOME%\bin     MAVEN_OPTS : -Xms256m -Xmx512m  (配置Maven的运行内存) path加上 %…

一.安装DedeCMS 1.下载DedeCMS安装包,我下载的版本是DedeCMS-V5.7-UTF8-SP1.tar.gz 官方下载地址 2.解压DedeCMS-V5.7-UTF8-SP1.tar.gz 3.将DedeCMS-V5.7-UTF8-SP1\uploads中的所有文件复制到网站程序目录中,我这里存放在C:/php/wamp/www/moban1中 4.在浏览器中输入http://www.moban1.com 看到织梦的安装界面就说明配置成功了 5.安装DedeCMS,安装过程如下…

 1  Weblogic的安装方式有三种: 一.GUI方式安装    (java –jar wls1035_generic.jar [-mode=gui])这是默认的 二.Console方式安装   (java –jar wls1035_generic.jar –mode=console) 三.Silent方式安装(静默方式) :这种方式不需要认为干预,默认安装的,适合作集群的时候使用,需要一个配置文件    (java –jar wls1035_generic.jar –mode=sile…