1. 
您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中(比如否F:/demo),运行下列命令:

scrapy startproject tutorial 
2.在eclipse中创建一个python项目 ,在F:/demo目录下 把刚创建的项目 tutorial 和scrapy.cfg配置文件拷入 eclipse下的python项目中

3.在python项目下tutorial/spiders下创建一个py文件(例如:myblog.py) 
代码:

# -*- coding: utf-8 -*- 
import scrapy                  
from tutorial.items import IteyeItem     #导入item    
from scrapy.selector import HtmlXPathSelector 
                
class MyblogSpider(scrapy.Spider):                              
    name = "myblog"            
    allowed_domains = ["886.iteye.com"]   #服务器       post              
    start_urls = (             
        'http://886.iteye.com/', 
        'http://st4024589553.iteye.com/'                         
    )                          
                               
    def parse(self, response): 
        lis = response.xpath("//div[@class='blog_main']/div[1]/h3") #增加xpath 
        item = IteyeItem()                                                                                                                  
        for li in lis:   
           
            title= li.xpath('a/text()').extract()[0] 
            print li.xpath('a/text()').extract()[0] 
            item['title']=title 
            item['link']=li.xpath('a/@href').extract() 
            yield item 
4.在tutorial下创建 cmdline.py 文件 
代码: 
# coding=utf-8 
''' 
Created on 2017年2月5日

@author: chenkai 
'''  
import scrapy.cmdline  
  
''' 
cmdline.py用于启动scrapy项目,其中argv第三个参数为启动爬虫的名字。如下图 
''' 
if __name__ == '__main__':  
    scrapy.cmdline.execute(argv=['scrapy','crawl','myblog'])  #myblog myblog.py中name

5.         
代码编辑好后,右键cmdline.py -->Debug As -->Run config....  -->右键Python Run-->new 
-->project 选择你创建的python项目 --》Main Module 选择项目下的cmdline.py文件即可 
apply一下

6.编辑tutorial/items.py  文件 
代码: 
# -*- coding: utf-8 -*-

import scrapy

class IteyeItem(scrapy.Item):  
    title = scrapy.Field() 
    link = scrapy.Field()

7. 
(1)现在可以直接运行cmdline.py文件  run  输出信息 
(2)也可以在提示符窗口里运行,cmd -->scrapy crawl myblog 同样可以启动

来自:http://st4024589553.iteye.com/blog/2374115

eclipse创建scrapy项目的更多相关文章

  1. (八)Eclipse创建Maven项目运行mvn命令

    1.Eclipse创建Maven项目 使用Eclipse创建一个Maven项目非常的简单,选择菜单项File>New>Other(也可以在项目结构空白处右击鼠标键),在弹出的对话框中选择M ...

  2. eclipse 创建maven 项目 动态web工程报错

    Eclipse 创建maven 项目 动态web工程 注:Eclipse版本为(Version: Mars.1 Release (4.5.1))maven版本为(apache-maven-3.3.9) ...

  3. Eclipse 创建 Maven 项目、Maven JavaWeb 项目

    Eclipse 创建 Maven 项目         新建一个maven项目          (默认)(如果不行第一个Create a simple ... 也选中) 默认         Jav ...

  4. pycharm创建scrapy项目教程及遇到的坑

    最近学习scrapy爬虫框架,在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间,遇到各种坑,根据网上的各种教程,花费了一晚上的时间,终于成功,其中也踩了一些坑,现在整理 ...

  5. eclipse 创建maven 项目 动态web工程完整示例

    需求表均同springmvc案例 此处只是使用maven 注意,以下所有需要建立在你的eclipse等已经集成配置好了maven了,说白了就是新建项目的时候已经可以找到maven了 没有的话需要安装m ...

  6. eclipse 创建maven 项目 动态web工程完整示例 maven 整合springmvc整合mybatis

    接上一篇: eclipse 创建maven 项目 动态web工程完整示例 eclipse maven工程自动添加依赖设置 maven工程可以在线搜索依赖的jar包,还是非常方便的 但是有的时候可能还需 ...

  7. eclipse 创建springboot项目

    eclipse创建springboot项目的三种方法: 引自:https://blog.csdn.net/mousede/article/details/81285693

  8. Android开发中遇到的问题(三)——eclipse创建android项目无法正常预览布局文件

    一.问题描述 今天使用SDK Manager将Android SDK的版本更新到了Android 5.1的版本,eclipse创建android项目时,预览activity_main.xml文件时提示 ...

  9. eclipse创建web项目web.xml配置文件笔记

    1.使用eclipse创建web项目时,如果直接finish的话就没有默认生成web.xml配置文件,此时在你的项目下是看不到web.xml配置文件的,如果要查看的话可以如下操作: 右键你的项目,然后 ...

随机推荐

  1. HttpClient 302重定向

    CloseableHttpClient是线程安全的,单个实例可用于处理多个HTTP请求,Http Client会自动处理所有的重定向,关闭自动重定向需要设定disableAutomaticRetrie ...

  2. Laravel--Artisan常用命令

    查看所有的Artisan的命令php artisanphp artisan list创建控制器php artisan make:controller StudentController创建模型php ...

  3. 基于前台vue,后台是spring boot的压缩图片上传

    本人是刚毕业的新手,最近公司的一个项目,前后端分离,前端Vue,后端使用spring boot.其中有一个需求是需要做前端上传的图片需要压缩才能上传.为此在网上查找资料,并做了简单的实现. 那么一步来 ...

  4. Photoshop CC安装与破解方法

    下载Photoshop CC与破解补丁 破解补丁就一个文件,amtlib.dll 断网安装Photoshop CC,提示登录选择稍后登录即可 安装成功后将破解补丁安装根目录的amtlib.dll替换即 ...

  5. mysql 函数获取子节点

    DELIMITER $$ USE `topsale`$$ DROP FUNCTION IF EXISTS `getShopIdByUserId`$$ CREATE DEFINER=`root`@`%` ...

  6. View的相关原理(读书笔记)

    View的使用方法相关: 1.setContentView() 2.LayoutInflater.inflate() PS:本质上setContentView()方法最终也是通过LayoutInfla ...

  7. anu小程序快速入门

    众所周知,微信推出小程序以来,可谓火遍大江南北,就像当前互联网兴起时,大家忙着抢域名与开私人博客一样.小程序之所以这么火,是因为微信拥有庞大的用户量,并且腾讯帮你搞定后台问题及众多功能问题(如分享,支 ...

  8. 获得随机N位数不重复数字

    1, 总结下:每个Random实例里面有一个原子性的种子变量用来记录当前的种子的值,当要生成新的随机数时候要根据当前种子计算新的种子并更新回原子变量.多线程下使用单个Random实例生成随机数时候,多 ...

  9. H5页面移动端IOS键盘收起焦点错位

    出现场景:IOS端,在弹出层点击input时调起键盘页面会被顶上去document.body.scrollOffset大于0,收起键盘时scrollOffset不变,造成焦点错位. 注:安卓手机点击时 ...

  10. 5. Go函数

    [定义函数] 直接上一个栗子,Go语言定义函数: func add(a int, b int) int { return a + b } 一目了然,还不太习惯Go语言的命名方式, 类型为什么要写到后面 ...