2019-05-25 Python之Mongodb的使用
Mongodb学习总结:
one.插入数据pass
two.查看数据pass
three.修改数据pass
four.数据排序pass
five.删除数据pass
一.安装Mongodb
https://www.cnblogs.com/ymzm204/p/10947055.html
二.测试Mongodb
(1)引入相关库
import pymongo
(2)连接数据库
client = pymongo.MongoClient(host='localhost', port=27017
(3)写入数据并且输出
import pymongo myclient = pymongo.MongoClient(host='localhost', port=27017) #连接
my_set1 = myclient.University.test #连接University,如果没有则创建一个数据库
my_set2 = myclient.University.test2 #连接University,如果没有则创建一个数据库
dblist = myclient.list_database_names() #所有的数据库名字列表
print(dblist) #查看已有的数据库
my_set1.insert_one({"name":"zhangsan"}) #插入一个数据
my_set2.insert_one({"name":"zhangsan"})
for i in my_set1.find():
print(i) #输出
(4)结果
三.实例运用——爬取中国大学排名并写入数据库,外加查询and创新
(1)爬取过程中到的数据写入数据库
from bs4 import BeautifulSoup
import requests
import pandas as pd
import pymongo def client_Mongodb(port, path):
myclient = pymongo.MongoClient(host='localhost', port=port) # 连接
my_set = myclient.path # 连接path,如果没有则创建一个数据库
return my_set def save_mongo(result):
myclient = pymongo.MongoClient(host='localhost', port=27017)
my_set = myclient.University.ranking
try:
if my_set.product.insert_one(result): #如果保存成功
pass#print("数据保存成功")
except Exception:
print("数据保存失败") def save_list_to_Mongodb(lists):
my_set = client_Mongodb(27017, 'University.ranking')
product = {
'排名': lists[0],
'学校名称': lists[1],
'省份': lists[2],
'总分': lists[3],
'生源质量(新生高考成绩得分)': lists[4],
'培养结果(毕业生就业率': lists[5],
'社会声誉(社会捐赠收入·千元': lists[6],
'科研规模(论文数量·篇)': lists[7],
'科研质量(论文质量·FWCI)': lists[8],
'顶尖成果(高被引论文·篇)': lists[9],
'顶尖人才(高被引学者·人)': lists[10],
'科技服务(企业科研经费·千元': lists[11],
'成果转化(技术转让收入·千元)': lists[12],
'学生国际化(留学生比例)': lists[13],
} # 字典类型数据
save_mongo(product) def getHTMLText(url):
try:
r = requests.get(url, timeout=10)
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
return "" def filUnivList(soup):
data = soup.find_all('tr')
for tr in data:
ltd = tr.find_all('td')
if len(ltd) == 0:
continue
singleUniv = []
for td in ltd:
singleUniv.append(td.string)
save_list_to_Mongodb(singleUniv) def main():
url = 'http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
html = getHTMLText(url)
soup = BeautifulSoup(html, "html.parser")
filUnivList(soup)
print("完成")
for i in pymongo.MongoClient(host='localhost', port=27017).University.ranking.product.find():
print(i) # 输出
main()
结果:
(2)csv格式文件写入到Mongodb数据库中
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2018/10/21 11:31
# @Author : deli Guo
# @Site :
# @File : csv文件存入mongoDB.py
# @Software : PyCharm # 导包
import pymongo
import csv # 创建连接MongoDB数据库函数
def connection():
# 1:连接本地MongoDB数据库服务
myclient = pymongo.MongoClient("localhost")
# 2:连接本地数据库(guazidata)。没有时会自动创建
db = myclient.University
# 3:创建集合
my_set = db.ranking.product_test
# 4:看情况是否选择清空
my_set.delete_many({})
return my_set #返回集合 def insertToMongoDB(my_set):
# 打开文件guazi.csv
with open("E://testcsv.csv", 'r') as csvfile:
# 调用csv中的DictReader函数直接获取数据为字典形式
reader = csv.DictReader(csvfile)
# 创建一个counts计数一下 看自己一共添加了了多少条数据
counts = 0
for each in reader:
# 将数据中需要转换类型的数据转换类型。原本全是字符串(string)。
'''each['index']=int(each['index'])
each['价格']=float(each['价格'])
each['原价']=float(each['原价'])
each['上牌时间']=int(each['上牌时间'])
each['表显里程']=float(each['表显里程'])
each['排量']=float(each['排量'])
each['过户数量']=int(each['过户数量'])
'''
my_set.insert_one(each)
counts += 1
print('成功添加了'+str(counts)+'条数据 ')
# 创建主函数
def main():
my_set = connection()
insertToMongoDB(my_set)
# 判断是不是调用的main函数。这样以后调用的时候就可以防止不会多次调用 或者函数调用错误
if __name__=='__main__':
main()
(3)查询某大学排名,查询某省份所有大学,排序X条件的大学
(one)
import pymongo myclient = pymongo.MongoClient(host='localhost', port=27017)#连接
mydb = myclient.University #数据库
mycol = mydb.ranking.product_test #集合 myquery = {"学校名称": "广东技术师范大学"}
for i in mycol.find(myquery):
print(i)
输出结果:{'_id': ObjectId('5cea018c8aac013e249fe115'), '': '286', '排名': '287', '学校名称': '广东技术师范大学', '省份': '广东',..........................省略..}
(two)
myquery = {"省份": "广东"}
输出结果:
(three)降序,条件为省份为 广 字开头
myquery = {"省份": { "$regex": "广"}}
for i in mycol.find(myquery).sort("排名", -1):
print(i)
输出:可以发现 降序指按第一个数字为准,猜测原因:“排名”数据保存到数据库时候是以 str 形式保存的,为此,修改为int可能会有效 下面为已经更改类型后的测试
(4)综合算法得出新排名并保存为一个新表
思路:添加新字段,同时根据算法添加新数据。
import pymongo
import re myclient = pymongo.MongoClient(host='localhost', port=27017)
my_set = myclient.University
my_doc = my_set.ranking.product_test
#my_doc.insert_one({"name": "{}"}) weight = [0.9, 0.9, 0.8, 0.0001, 0.001, 1, 0.01, 1, 0.00001, 0.0001, 1] #权重 注意不要是str
i = 0
my_set.ranking.product_new = my_doc for c in my_doc.find(): #所有的数据,分行获取,处理
temp_data_list = []
k = 0 # 设置k的初始值
for b in c.values(): #字典里所有的值
temp_data_list.append(b) #把值加入到列表
temp_data_list2 = temp_data_list[5:16] #获取列表里面有用数据 第 6-15 个 for data in range(len(temp_data_list2)): #进一步数据处理
if temp_data_list2[data] == '': #把 None 补为0
temp_data_list2[data] = '' #这里有个小坑,不能赋值 为0 因为下面要去除 %和其他符号,提取数字,0为int,不是str,会有错误
temp_data_list2[data] = float(re.sub("[^\d.]", "", temp_data_list2[data])) #正则表达式中'[^\d.]'表示除了数字和.),并用""替换,然后返回的就是只剩下数字的字符串 去除有 > 号的干扰,并转换为float
k += temp_data_list2[data] * weight[data] #算法
b = '%.2f' % k #改为小数点后两位
#my_doc.update_one({}, {'$unset': {'新排名': ''}})
my_doc.update_one({'_id': c['_id']}, {'$set': {'新总分': b}})
i += 1
print("已更新{}条数据".format(i))
存在的小问题:部分值为空,在使用算法时候需要注意
1.部分value竟然不是str, (124 中央民族大学)
2.存在>号,需要处理
2019-05-25 Python之Mongodb的使用的更多相关文章
- python爬虫27 | 当Python遇到MongoDB的时候,存储av女优的数据变得如此顺滑爽~
上次 我们知道了怎么操作 MySQL 数据库 python爬虫26 | 把数据爬取下来之后就存储到你的MySQL数据库. MySQL 有些年头了 开源又成熟又牛逼 所以现在很多企业都在使用 MySQL ...
- Python 操作 mongodb 数据库
原文地址:https://serholiu.com/python-mongodb 这几天在学习Python Web开发,于 是做准备做一个博客来练练手,当然,只是练手的,博客界有WordPress这样 ...
- python 连 mongodb
这几天在学习Python Web开发,于是做准备做一个博客来练练手,当然,只是练手的,博客界有WordPress这样的好玩意儿,何必还自己造车呢?决定使用Tornado这个框架,然后数据库方面决定顺便 ...
- python操作三大主流数据库(10)python操作mongodb数据库④mongodb新闻项目实战
python操作mongodb数据库④mongodb新闻项目实战 参考文档:http://flask-mongoengine.readthedocs.io/en/latest/ 目录: [root@n ...
- 爬虫入门【8】Python连接MongoDB的用法简介
MongoDB的连接和数据存取 MongoDB是一种跨平台,面向文档的NoSQL数据库,提供高性能,高可用性并且易于扩展. 包含数据库,集合,文档等几个重要概念. 我们在这里不介绍MongoDB的特点 ...
- 【转】Python操作MongoDB
Python 操作 MongoDB 请给作者点赞--> 原文链接 这篇文章主要介绍了使用Python脚本操作MongoDB的教程,MongoDB作为非关系型数据库得到了很大的宣传力度,而市面 ...
- Python与Mongodb交互
MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统 MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案 MongoDB 将数据存储为一个文档,数据结构由键值 ...
- python操作mongodb
# python操作mongodb # 首先,引入第三方模块pymongo,该模块是python用来操作mongodb的 import pymongo # 第二步,设置ip地址,以及表格名称,表格名字 ...
- [2019.03.25]Linux中的查找
TMUX天下第一 全世界所有用CLI Linux的人都应该用TMUX,我爱它! ======================== 以下是正文 ======================== Linu ...
- 使用Python操作MongoDB
MongoDB简介(摘自:http://www.runoob.com/mongodb/mongodb-intro.html) MongoDB 由C++语言编写,是一个基于分布式文件存储的开源数据库系统 ...
随机推荐
- mysql8 修改root密码
Navicat工具里选中mysql数据库 执行: ALTER user 'root'@'localhost' IDENTIFIED BY 'newpassward'; //newpassward 新密 ...
- iframe框架及优缺点
iframe框架及优缺点 HTML5不再支持使用frame,关于frame与iframe的区别,可以参阅 iframe与frame的区别 基本使用 src:规定在iframe中显示的文档的URL. f ...
- Vue中使用echarts,ajax请求的远程数据赋值给图表不刷新的问题和解决办法
问题: vue-cli搭建的项目,在mounted钩子函数里面创建echarts图表,本地模拟数据可以正常显示,但是当将ajax请求的远程数据赋值给图表时,图表并不会刷新. 解决办法: 刚开始以为是v ...
- [dfs] HDU 2019 Multi-University Training Contest 10 - Block Breaker
Block Breaker Time Limit: 2000/2000 MS (Java/Others) Memory Limit: 524288/524288 K (Java/Others)T ...
- Colab笔记本能用英伟达Tesla T4了,谷歌的羊毛薅到酸爽
谷歌出品的Colab笔记本,机器学习界薅羊毛神器,如今又有了新福利: 连英伟达最新一代机器学习GPU:Tesla T4都能免费蹭,穷苦羊毛党也顿时高端了起来. 英伟达的Tesla T4,是去年秋天才发 ...
- 超越Mask-RCNN:谷歌大脑的AI,自己写了个目标检测AI
这是一只AI生出的小AI. 谷歌大脑的Quoc Le团队,用神经网络架构搜索 (NAS) ,发现了一个目标检测模型.长这样: △ 看不清请把手机横过来 它的准确率和速度都超过了大前辈Mask-RCNN ...
- JVM 常见参数配置
-XX:+PrintGC 每次触发GC的时候打印相关日志 -XX:+PrintGCDetails 每次触发GC的时候更详细的相关日志 -XX:+UseSerialGC 串行回收 -Xms 堆初始值( ...
- 15.自动部署web工程
用maven自动部署web工程 在pom.xml中写入以下: <build> <!--最终名称,进入网页时有http://localhost:8080/xxx/--> < ...
- Java系列之数组
原文首发于微信公众号:jzman-blog,欢迎关注交流! 本来打算温习一下注解方面的内容作为今天的推送,但是来不及写了,那就一起来看一下数组,数组是用来存放一组具有相同类型数据的数据结构,通过下标来 ...
- js函数基础回顾
回头又跑去看了下尚硅谷的js基础视频 https://www.bilibili.com/video/av22958172/?p=51. 便做了如下笔记: 1.函数也是一个对象 2.函数可以封装一些功能 ...