pipelines.py import json from scrapy.conf import settings from pymongo import MongoClient class SunPipeline(object): def open_spider(self,spider): self.file = open('dongguan.json','w') def process_item(self, item, spider): str_data = json.dumps(dict(

九.mongodb保存数据: 1).插入.保存数据:insert:语法db.collectionName.insert({"key":value}),key是字段名,必须是字符串(使用有的工具,可以不加引号):插入数据时,会默认产生_id字段,一般不指定:对于一个使用use创建的新数据库,只有保存了数据以后,使用showdbs才能查看到,如图: 2).保存数据:save:语法db.collectionName.save({});如图: 3).批量插入数据:使用[];要注意mongodb

文档概念 文档的数据结构和JSON基本一样. 所有存储在集合中的数据都是BSON格式. BSON是一种类json的一种二进制形式的存储格式,简称Binary JSON. 插入文档 insert()方法 要将数据插入到 MongoDB 集合中,可以使用 insert() 方法. db.collection_name.insert(document) 其中test为集合名.如果数据库中不存在集合,则MongoDB将创建此集合,并将文档插入到该集合中. 在插入的文档中,如果不指定 _id 参数,Mon

一.数据库创建与删除 查看当前所有的数据库 show das/show databases 查看当前数据库 db 创建数据库 use hopedb db.dropDatabase()  删除当前数据库 二.集合创建与删除 语法 db.createCollection(name, options) name: 要创建的集合名称 options: 可选参数, 指定有关内存大小及索引的选项 options 可以是如下参数: 字段 类型 描述 capped 布尔 (可选)如果为 true,则创建固定集合

用Pymongo保存数据 爬取豆瓣电影top250movie.douban.com/top250的电影数据,并保存在MongoDB中. items.py class DoubanspiderItem(scrapy.Item): # 电影标题 title = scrapy.Field() # 电影评分 score = scrapy.Field() # 电影信息 content = scrapy.Field() # 简介 info = scrapy.Field() spiders/douban.py

文档 概述 文档是MongoDB的核心概念,是数据的基本单元,非常类似于关系数据库中的行.在MongoDB中,文档表示为键值对的一个有序集.MongoDB使用Javascript shell,文档的表示一般使用Javascript里面的对象的样式来标记,如下: {"title":"hello!"} {"title":"hello!","recommend":5} {"title":&qu

回到目录 $unset清除元素 请注意在单个数组元素上使用$unset的结果可能与你设想的不一样.其结果只是将元素的值设置为null,而非删除整个元素.要想彻底删除某个数组元素,可以用$pull 和$pop操作符. $addToSet和$push的区别 该两者的功能都是给数组添加一个值.但是两者之间有区别,$addToSet要添加的值如果不存在才进行添加操作,但是push只添加一个值:例如: tags = [“zzl”,”dudu”] 如果执行db.collection.update({},{$

切换/创建数据库 use yourDB;  当创建一个集合(table)的时候会自动创建当前数据库 完整的命令如下:db.createCollection(name, {capped: <Boolean>, autoIndexId: <Boolean>, size: <number>, max <number>} ) name:集合的名字capped:是否启用集合限制,如果开启需要制定一个限制条件,默认为不启用,这个参数没有实际意义size:限制集合使用空间

 1 固定集合 固定集合值得是事先创建并且大小固定的集合 2 固定集合的特征:固定集合非常像环形队列.假设空间不足,最早文档就会被删除,为新的文档腾出空间.一般来说.固定集合适用于不论什么想要自己主动淘汰过期属性的场景,没有太多的操作限制. 3 创建固定集合使用命令: db.createCollection("collectionName",{capped:true,size:100000,max:100}); size:指定集合大小,单位为KB,max指定文档的数量 当指定文档数

1.MongoDB数据归档的意义 和其他类型的数据库一样,归档对MongoDB同样重要.通过归档,可以保持集合中合适的数据量,对数据库的性能是一种保障,也就是大家常说的数据冷热分离. 同时,归档对数据库的管理也带来了很大方便性,例如日常的备份.灾难恢复等. 在此,不再展开叙述了. 2.集合数据归档流程图 3.归档实现代码 # # The file is used by cron to Archive the data of NeedArchiveColName_Archive collectio

MongoDB语法是原生ORM,根本不存在sql语句 创建数据库:这里和一般的关系型数据库一样,都要先建立一个自己的数据库空间 新建数据库db1 > use db1 switched to db db1 显示当前使用数据库 > db db1 对数据库创建集合(collection) db.<collection> 创建user集合 > db.user db1.user 在user集合插入一条数据(collection) insert() 插入一条或者多条文档,需要带有允许插入

从http://central.maven.org/maven2/org/mongodb/mongo-java-driver/选择一个版本进行下载,这里选择的是3.0.0版本,具体下载以下jar包: mongo-java-driver-3.0.0.jar mongo-java-driver-3.0.0-javadoc.jar mongo-java-driver-3.0.0-sources.jar Mongodb官方提供的Java驱动,保存与读取,需要的者是DBObject对象,这是一个接口,实现

#连接mongos /opt/mongodb/mongodb-linux-x86_64-2.4.8/bin/mongo  127.0.0.1:27017   #使用admin数据库 use admin   #指定testdb分片生效 db.runCommand( { enablesharding :"dbname"});   #指定数据库里需要分片的集合和片键(片键根据实际情况选择) db.runCommand( { shardcollection : "dbname.col

异常信息 repl_test:PRIMARY> db.0917order_totals_b.find()2018-09-28T15:13:03.992+0800 E QUERY [main] SyntaxError: identifier starts immediately after numeric literal @(shell):1:2repl_test:PRIMARY> db.0917order_totals_b.find({})2018-09-28T15:13:13.464+080

安装 1.下载地址 https://fastdl.mongodb.org/win32/mongodb-win32-x86_64-2008plus-ssl-4.0.8-signed.msi 2.如果报没有权限的错,将配置文件的.cfg的最后一行的mp:删除 3.4.0版本已将mongodb加入了系统服务,开机自启 win+R>>>服务>>>mongodb 4.此时没有任何的权限限制,默认是管理员 5.在.cfg文件中修改 security: authorization:

我们知道,在关系型数据库里面有数据库.数据表.表里面是一行一行的数据.而mongodb是非关系型数据库,它有的是数据库.集合.文档,分别对应关系型里面的数据库.数据表.和表里面一行一行的数据.在mongodb里,文档构成集合,集合构成数据库 关系组成: 1.文档 这个文档,可不是平常说的word文档,在mongodb里面,文档指的是集合里面的一行数据.来看一下它的样子. 可以看到,一个文档有三部分组成,id(用来表示一行文档),键名(一个文档中不可出现重复的键名,且区分大小写)和键值,一行文档中

一.设计DB分片与Collection分片 #连接mongos /opt/mongodb/mongodb-linux-x86_64-2.4.8/bin/mongo  127.0.0.1:27017   #使用admin数据库 use admin   #指定testdb分片生效 db.runCommand( { enablesharding :"dbname"});   #指定数据库里需要分片的集合和片键(片键根据实际情况选择) db.runCommand( { shardcollect

数据库操作: //查看有哪些数据库 > show dbs local  0.078GB mydb   0.078GB //use操作将切换到一个数据库 如果数据库存在将直接切换 如果不存在 那么会在切换之后,第一次执行新增修改操作的时候去创建这个数据库 > use newdb switched to db newdb //此时还没有创建 > show dbs local  0.078GB mydb   0.078GB > db.persion.insert({age:10}) Wr

db.createCollection(name, {capped: true, autoIndexId: true, size: 1000, max :100} ) name:集合的名字 capped:true 是否启用集合限制 autoIndex:true(默认是true) 是否使用_id作为索引 size:1000000 限制集合使用的空间的大小,默认没有限制 max:100000 集合中最大条数显示,默认没有限制(max的优先级低于size) 我们创建集合 db.createCollec

1.查询数据库,查询表: show dbs //查询所有的数据库show collections //查询所有的集合(表) 2.创建数据库或切换到数据库(存在就切换,不存在就创建) use spider //数据库名 3.删除数据库 在进入到当前数据库之后: db.dropDatabase() //删除当前数据库 4.创建集合,删除集合(一般可以不用创造集合,在插入数据时自动可以创建集合): > db.createCollection('student') //创建集合{"ok"

scrapy+selenium+Chrome+微信公众号爬虫 概述 1.微信公众号爬虫思路: 参考:记一次微信公众号爬虫的经历 2.scrapy框架图 3.scrapy经典教程 参考: python 爬虫 Python爬虫系列 Scrapy Settings Scrapy源码分析(一)架构概览 4.其它 参考: 爬虫工程师劝退文 实践 1.环境的安装 selenium安装(pip install selenium) chromedriver安装(注意与chrome版本兼容问题) beautifu