1,先在settings中把ROBOTSTXT_OBEY = False

在主目录下面新建main文件

  1. __autor__ = 'zhouli'
  2. __date__ = '2018/11/3 22:39'
  3.  
  4. from scrapy.cmdline import execute # 可以执行scrapy的脚本
  5. import sys
  6. import os
  7.  
  8. sys.path.append(
  9. os.path.dirname(os.path.abspath(__file__))) # os.path.abspath(__file__)获取到main.py的路径,os.path.dirname()获取到父目录
  10. execute(['scrapy', 'crawl', 'project_name']) # 该方法是讲命令的三个字符传递进来

也就是说需要调试什么命令就这样传输即可

单击鼠标右键debug

2,虚拟环境

安装 pip install -i http://pypi.douban.com/simple/ virtualenv (这个是使用豆瓣源安装)

测试安装  virtualenv --version

让虚拟的python环境可以使用系统的python第三方库 virtualenv --always-copy --system-site-packages venv

  1. cd my_project
  2. virtualenv my_project_env

让我们从头捋一遍:

  1. # 1,新建虚拟环境
  2. virtualenv scrapytest
  3. # 2,进入虚拟环境
  4. cd scrapytest
  5. cs Scripts
  6. activate.bat # 运行这个activate.bat文件即可进入虚拟环境(前面有括号的)
  7. deactivate.bat # 退出虚拟环境(前面括号消失)
  8. # 如何选择python版本?
  9. virtualenv -p C:\\*** # -p后面是python的路径

当需要改变python的版本时候需要在虚拟环境下运行!

但是比较蛋疼的是每一次都需要找到路径,然后运行命令,比较繁琐,如何解决呢?

虚拟环境管理包:

  1. pip install virtualenvwrapper
  2. # 安装完成之后使用workon
  3. workon # 列出所有虚拟环境
  4. mkvirtualenv py3scrapy # 新建一个虚拟环境py3scrapy,然后自动进入虚拟环境
  5. # 注意默认位置
  6. workon py3scrapy # 进入虚拟环境py3scrapy

这样就能够保证环境是独立的

scrapy的调试和环境安装技巧的更多相关文章

  1. scrapy之环境安装

    scrapy之环境安装 在之前我安装了scrapy,但是在pycharm中却无法使用. 具体情况是: 我的电脑上存在多个python,有python2,python3,anaconda,其中anaco ...

  2. iOS崩溃调试的使用和技巧总结

    在iOS开发调试过程中以及上线之后,程序经常会出现崩溃的问题.简单的崩溃还好说,复杂的崩溃就需要我们通过解析Crash文件来分析了,解析Crash文件在iOS开发中是比较常见的. 现在网上有很多关于解 ...

  3. iOS中崩溃调试的使用和技巧总结 韩俊强的博客

    每日更新关注:http://weibo.com/hanjunqiang  新浪微博 在iOS开发调试过程中以及上线之后,程序经常会出现崩溃的问题.简单的崩溃还好说,复杂的崩溃就需要我们通过解析Cras ...

  4. scrapy爬虫笔记(一)------环境配置

    前言: 本系列文章是对爬虫的简单介绍,以及教你如何用简单的方法爬取网站上的内容. 需要阅读者对html语言及python语言有基本的了解. (本系列文章也是我在学习爬虫过程中的学习笔记,随着学习的深入 ...

  5. Delphi IOS环境安装

    RAD Delphi XE/10 Seattle 安装IOS.OSX环境安装,IOS模拟器,MAC X 真机可以调试 http://community.embarcadero.com/blogs/en ...

  6. 第1章 开发环境安装和配置(二)安装JDK、SDK、NDK

    原文 第1章 开发环境安装和配置(二)安装JDK.SDK.NDK 无论是用C#和VS2015开发Androd App还是用Java和Eclipse开发Androd App,都需要先安装JDK和Andr ...

  7. 《全栈营销之如何制作个人博客》之二:php环境安装及个人博客后台搭建 让你的博客跑起来

    上一节我们讲了个人博客用什么开发语言,用什么CMS系统,从这一节我们就开始真正的干货,这一节我们讨论一下PHP环境的安装,及个人博客后台的搭建,让你的博客在正常的PHP环境中运行起来,你就可以进行后台 ...

  8. Linux 下的各种环境安装

    Linux 下的各种环境安装 1.安装 python Centos7  安装  python 2.7 : https://www.cnblogs.com/Jomini/p/10507077.html ...

  9. python3爬虫_环境安装

    一.环境安装 1.python3安装 官网:https://www.python.org/downloads/ 64 位系统可以下载 Windows x86-64 executable install ...

随机推荐

  1. leetcode解题报告 32. Longest Valid Parentheses 动态规划DP解

    dp[i]表示以s[i]结尾的完全匹配的最大字符串的长度. dp[] = ; ; 开始递推 s[i] = ')' 的情况 先想到了两种情况: 1.s[i-1] = '(' 相邻匹配 这种情况下,dp ...

  2. Servlet基本_Httpリクエスト、レスポンス

    1.リクエスト リクエストは.リクエストライン.メッセージヘッダ.改行.メッセージボディで組まれる. 主なリクエストヘッダは. Accept クライアントが利用可能なデータメディアタイプを指定. Ac ...

  3. 运维中的日志切割操作梳理(Logrotate/python/shell脚本实现)(转)

    对于Linux系统安全来说,日志文件是极其重要的工具.不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天切分Nginx日志之类的CRON脚本,大家似乎遗忘了Logrotate,争相发明自己的轮 ...

  4. 尚硅谷redis学习10-复制

    是什么? 能干嘛? 怎么玩? 1) 初始情况 设置slave 日志查看 主机查看 备机日志 复制状态 觉见问题 1 切入点问题?slave1.slave2是从头开始复制还是从切入点开始复制?比如从k4 ...

  5. 灵活控制 Hibernate 的日志或 SQL 输出,以便于诊断

    我们在使用 Hibernate 时一般只会关注是否显示生成的 SQL 语句,不过有些时候还不够.默认时 Hibernate 执行的 SQL 语句是打印在控制台上的,它也可以配置为输出给 Log4J 或 ...

  6. Hosts

    Hosts "C:\Windows\System32\drivers\etc\hosts" [最新]2018 hosts 持续更新[更新于:2018-11-13] 本页面WordP ...

  7. (Unity4.7)assetbundle 坑爹总结

    使用版本Unity4.7 一.关于依赖打包 1.当一个被打包的资源A引用了其他的资源B,并且没有被打成一个包时,要选用[BuildAssetBundleOptions.CollectDependenc ...

  8. TMG2010安装配置细节设定

    TMG2010最适合的操作系统是Win2008R2,不支持Win2012,可能是因为发布Win2012系统时,微软已经决定废弃TMG改为支持UAG了吧. 在Win2012下安装TMG2010,运行TM ...

  9. git 先建立本地分支,再传给线上库

    cd 进入本地一个文件夹 git  clone 文件下来 进入右下角 develop分支(remote braches) 新建分支 (check out)   a 把新分支 a 传上线上 新建一个对立 ...

  10. Java中String的intern方法,javap&cfr.jar反编译,javap反编译后二进制指令代码详解,Java8常量池的位置

    一个例子 public class TestString{ public static void main(String[] args){ String a = "a"; Stri ...