这次爬取亚马逊网站,用到了scrapy,代理池,和中间件: spiders里面: # -*- coding: utf-8 -*- import scrapy from scrapy.http.request import Request from urllib.parse import urlencode from ..items import AmazonItem class SpiderGoodsSpider(scrapy.Spider): name = 'spider_goods' all
亚马逊的Web Service其实包含了一套云服务.云服务主要分为三种: IaaS: Infrastructure as a service,基础设施即服务. PaaS: Platform as a service, 平台即服务. SaaS: Software as a service, 软件即服务. 而亚马逊提供的云服务至少涵盖了前面两种.以下是亚马逊提供的各种服务. 以上的图中S3.EC2等就属于IaaS,RDS.DynamoDB等就属于PaaS. 今天分享的是亚马逊的CloudFormat