scrapy的调试和环境安装技巧
1,先在settings中把ROBOTSTXT_OBEY = False
在主目录下面新建main文件
__autor__ = 'zhouli'
__date__ = '2018/11/3 22:39' from scrapy.cmdline import execute # 可以执行scrapy的脚本
import sys
import os sys.path.append(
os.path.dirname(os.path.abspath(__file__))) # os.path.abspath(__file__)获取到main.py的路径,os.path.dirname()获取到父目录
execute(['scrapy', 'crawl', 'project_name']) # 该方法是讲命令的三个字符传递进来
也就是说需要调试什么命令就这样传输即可
单击鼠标右键debug
2,虚拟环境
安装 pip install -i http://pypi.douban.com/simple/ virtualenv (这个是使用豆瓣源安装)
测试安装 virtualenv --version
让虚拟的python环境可以使用系统的python第三方库 virtualenv --always-copy --system-site-packages venv
cd my_project
virtualenv my_project_env
让我们从头捋一遍:
# 1,新建虚拟环境
virtualenv scrapytest
# 2,进入虚拟环境
cd scrapytest
cs Scripts
activate.bat # 运行这个activate.bat文件即可进入虚拟环境(前面有括号的)
deactivate.bat # 退出虚拟环境(前面括号消失)
# 如何选择python版本?
virtualenv -p C:\\*** # -p后面是python的路径
当需要改变python的版本时候需要在虚拟环境下运行!
但是比较蛋疼的是每一次都需要找到路径,然后运行命令,比较繁琐,如何解决呢?
虚拟环境管理包:
pip install virtualenvwrapper
# 安装完成之后使用workon
workon # 列出所有虚拟环境
mkvirtualenv py3scrapy # 新建一个虚拟环境py3scrapy,然后自动进入虚拟环境
# 注意默认位置
workon py3scrapy # 进入虚拟环境py3scrapy
这样就能够保证环境是独立的
scrapy的调试和环境安装技巧的更多相关文章
- scrapy之环境安装
scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用. 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaco ...
- iOS崩溃调试的使用和技巧总结
在iOS开发调试过程中以及上线之后,程序经常会出现崩溃的问题.简单的崩溃还好说,复杂的崩溃就需要我们通过解析Crash文件来分析了,解析Crash文件在iOS开发中是比较常见的. 现在网上有很多关于解 ...
- iOS中崩溃调试的使用和技巧总结 韩俊强的博客
每日更新关注:http://weibo.com/hanjunqiang 新浪微博 在iOS开发调试过程中以及上线之后,程序经常会出现崩溃的问题.简单的崩溃还好说,复杂的崩溃就需要我们通过解析Cras ...
- scrapy爬虫笔记(一)------环境配置
前言: 本系列文章是对爬虫的简单介绍,以及教你如何用简单的方法爬取网站上的内容. 需要阅读者对html语言及python语言有基本的了解. (本系列文章也是我在学习爬虫过程中的学习笔记,随着学习的深入 ...
- Delphi IOS环境安装
RAD Delphi XE/10 Seattle 安装IOS.OSX环境安装,IOS模拟器,MAC X 真机可以调试 http://community.embarcadero.com/blogs/en ...
- 第1章 开发环境安装和配置(二)安装JDK、SDK、NDK
原文 第1章 开发环境安装和配置(二)安装JDK.SDK.NDK 无论是用C#和VS2015开发Androd App还是用Java和Eclipse开发Androd App,都需要先安装JDK和Andr ...
- 《全栈营销之如何制作个人博客》之二:php环境安装及个人博客后台搭建 让你的博客跑起来
上一节我们讲了个人博客用什么开发语言,用什么CMS系统,从这一节我们就开始真正的干货,这一节我们讨论一下PHP环境的安装,及个人博客后台的搭建,让你的博客在正常的PHP环境中运行起来,你就可以进行后台 ...
- Linux 下的各种环境安装
Linux 下的各种环境安装 1.安装 python Centos7 安装 python 2.7 : https://www.cnblogs.com/Jomini/p/10507077.html ...
- python3爬虫_环境安装
一.环境安装 1.python3安装 官网:https://www.python.org/downloads/ 64 位系统可以下载 Windows x86-64 executable install ...
随机推荐
- centos7 操作记录
centos7 firewall 命令查看已经开放的端口firewall-cmd --list-ports查看开放的服务firewall-cmd --list-services开启端口firewall ...
- Maven上传构建到私服
通过Maven发布构建到NEXUS私服上发布构建到私服 --- mvn deployPOM中通过distributionManagement分发本地构建到NEXUS私服上第一步,配置distribut ...
- 递归获取包下的class文件
```java(这个居然隐藏不了) public class TestUrl { public static void main(String[] args) { String pageName = ...
- 批量杀死多个进程 linux kill
批量杀进程 -| “grep -v grep”是在列出的进程中去除含有关键字“grep”的进程. “cut -c 9-15”是截取输入行的第9个字符到第15个字符,而这正好是进程号PID,也有使用aw ...
- js 正则函数初级
1.test :正则匹配字符串,如果成功则返回true,若果失败则返回false 格式:/正则表达式/.test(字符串) 默认吗匹配规则,区分大小写:如果不区分大小写,则加修饰符 i 例子: < ...
- CSS COLOR
CSS COLOR Color Review We've completed our extensive tour of the colors in CSS! Let's review the key ...
- 尚硅谷springboot学习5-主入口类说明
package com.atguigu; import org.springframework.boot.SpringApplication; import org.springframework.b ...
- java-部分精选面试题
JVM的类加载机制是什么?有哪些实现方式? 类加载机制: 类的加载指的是将类的.class文件中的二进制数据读入到内存中,将其放在运行时数据区的方法去内,然后在堆区创建一个java.lang.Clas ...
- 跨域(四)——document.domain
浏览器有一个合法的性质:一个页面可以设置document.domain为当前子域或比当前子域更高级的域.一般顶级就到了根域,如果设置为其他域,浏览器就会报权限错误. 利用这个性质,我们可以通过设置do ...
- jQuery添加添加时间与时间戳相互转换组件
时间与时间戳的格式相互转换(转换主要兼容ie8,ie8不支持new Date()) (function($) { $.extend({ myTime: { CurTime: function () { ...