python爬虫之MongoDB测试环境安装
一. 下载
从http://www.mongodb.org/downloads地址中下载:mongodb-linux-x86_64-2.4.11.tar
二. 安装
1>设置mongoDB目录
[root@vm13
home]#cd /home/apps
附:centOS下创建目录命令 [root@vm13 home]#mkdir -p /home/apps
2>将文件mongodb-linux-x86_64-2.4.11.tar上传至/home/apps目录
3>解压缩文件
[root@vm13
apps]#tar xzf mongodb-linux-x86_64-2.4.11.tar
文件夹重命名
[root@vm13
apps]#mv mongodb-linux-x86_64-2.4.11 mongodb
4>创建目录与文件
[root@vm13
apps]# mkdir -p mongodb/data/db
[root@vm13
apps]# mkdir -p mongodb/logs
[root@vm13
apps]# touch mongodb/logs/mongodb.logs
5>启动服务
[root@vm13
apps]#./mongodb/bin/mongod -dbpath=/home/apps/mongodb/data/db
-logpath=/home/apps/mongodb/logs/mongodb.logs
all output going
to: /home/apps/mongodb/logs/mongodb.logs
6>将mongoDB服务加入随机启动
[root@vm13
apps]#vi /etc/rc.local
使用vi编辑器打开配置文件,并在其中加入下面一行代码
[root@vm13
apps]#/home/apps/mongodb/bin/mongod --dbpath /home/apps/mongodb/data/db --port
27017 --logpath /home/apps/mongodb/logs/mongodb.logs --logappend
7>连接mongoDB(注意不要关闭之前的界面,需要重新打开一个窗口连接)
[root@vm13
apps]# ./home/apps/mongodb/bin/mongo DBName
MongoDB shell
version: 2.4.11
connecting to:
DBName
Welcome to the
MongoDB shell.
For interactive
help, type "help".
For more
comprehensive documentation, see
http://docs.mongodb.org/
Questions? Try
the support group
http://groups.google.com/group/mongodb-user
出现以上界面表示连接成功。
三.
局域网连接mongoDB
按照上面的操作,mongoDB的在Linux下安装已完成,本地连接mongoDB也已成功。这时我们就要考虑到另外一个问题了,局域网如何来连接mongoDB呢?局域网中windows机器如何来连接Linux机器中的mongoDB呢?其实做法一样很简单:
[root@vm13 apps]#./mongodb/bin/mongo 192.168.5.100/DBName
不过此处就需要注意了,我们需要在centOS上打开mongoDB的端口号,接下来讲讲如何在centOS上打开指定端口。先来查看下此端口是否被占用:
[root@vm13 apps]#netstat -anp |grep 27017
如若此端口未使用,再来打开配置文件[root@vm13 apps]# vi
/etc/sysconfig/iptables,在该文件中添加如下内容:
# Firewall configuration written by
system-config-securitylevel
# Manual
customization of this file is not recommended.
*filter
:INPUT ACCEPT
[0:0]
:FORWARD ACCEPT
[0:0]
:OUTPUT ACCEPT
[0:0]
:RH-Firewall-1-INPUT
- [0:0]
-A
RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 27017 -j ACCEPT
COMMIT
然后重启服务.
[root@vm13 apps]#service iptables
restart
此时,你已可以开始通过局域网来访问centOS上部署的mongoDB.
在本地浏览器中输入http://192.168.5.100:27017/,若出现以下:
You are trying to access MongoDB on the
native driver port. For http diagnostic access, add 1000 to the port number
表示连接成功。
四. 安装过程中遇到的问题
1. Error: couldn't connect to server 127.0.0.1:27017
src/mongo/shell/mongo.js:91
三、解决办法:执行以下语句
[root@vm13 mongodb]# ./bin/mongod
-dbpath=data/db
2.重启防火墙时报错:
解决方法:在最后添加COMMIT.
五、
语法使用
client = pymongo.MongoClient("192.168.1.252",27017)
#content代表是ceshi这个数据库,没有就新建
content = client["ceshi"]
#wb_data变量的值content_links是在测试这个库里面的表名
wb_data = content["content_links"]
1、 写入数据库。
#data指的是爬虫程序已经生成的一个一个字典类型的数据
wb_data.insert_one(data)
2、 读取数据库。
wb_data.find是查找所有数据,这里面可以筛选,例如:查找name=张三
for data in wb_data.find({‘name’:’zhangsan’}):
print(data)
例如二:查找年龄小于22岁:
for data in wb_data.find({‘age’:{‘$lt’:‘22’}}):
print(data)
例如三:查找这个表的所有数据:
for data in wb_data.find():
print(data)
$lt=小于
$lte=小于等于
$gt=大于
$gte=大于等于
$ne=不等于
python爬虫之MongoDB测试环境安装的更多相关文章
- Python爬虫进阶之Scrapy框架安装配置
Python爬虫进阶之Scrapy框架安装配置 初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此 ...
- [转载]SharePoint 2013测试环境安装配置指南
软件版本 Windows Server 2012 标准版 SQL Server 2012 标准版 SharePoint Server 2013 企业版 Office Web Apps 2013 备注: ...
- Python爬虫入门教程 47-100 mitmproxy安装与安卓模拟器的配合使用-手机APP爬虫部分
1. 准备下载软件 介绍一款爬虫辅助工具mitmproxy ,mitmproxy 就是用于MITM的proxy,MITM中间人攻击.说白了就是服务器和客户机中间通讯多增加了一层.跟Fiddler和Ch ...
- 芝麻HTTP:Python爬虫进阶之Scrapy框架安装配置
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下. Windows 平台: 我的系统是 ...
- tidb测试环境安装,离线部署
1.环境以及规划 机器:centos7.5 ; 文件系统为ext4:内存16g:cpu8核,共三个节点: ip hostname roles --- tidb tipd tikv --- tidb t ...
- MongoDB Windows环境安装及配置
MongoDB一般安装 1.首先到官网(http://www.mongodb.org/downloads )下载合适的安装包,目前的最新版本为2.6 安装包有zip和msi格式的,这里推荐下载zip格 ...
- AlwaysOn可用性组测试环境安装与配置(一)--SQL群集环境搭建
一.测试环境介绍 1. 宿主使用工作站(HYPR-V)基本配置如下: 处理器:Intel(R) Core(TM) i5-4470 CPU @ 3.20GHz 3.20GHz 内存(RAM):8.00G ...
- 利用docker搭建测试环境--安装
软件测试过程中,总会碰到测试环境不够用的尴尬情况.即时有了机器还要经历装系统,配置环境,调试等一系列繁琐的问题.虽然市面上也有一些批处理话的工具(如salt,fabric等),但是还是需要实体机器作为 ...
- Python Unittest - 根据不同测试环境跳过用例详解
本文章会讲述以下几个内容: 1.Unittest 如何跳过用例 2.如何使用sys.argv 3.自动化测试项目中如何一套代码多套环境运行 一.Unittest跳过用例 @unittest.skip( ...
随机推荐
- 小a与黄金街道 (欧拉函数)
题意:a, b两个人在长度为n的一维数轴上(从1开始).a在1,b在n.每个人以1m/s的速度相向而行,则每一时刻存在坐标x,y,当cgd(n, x)==1,gcd(n, y)==1时,t1=k^x, ...
- Bean named '*' must be of type [*], but was actually of type []
本地Service 名字和调用别的maven项目Service重名
- 从String.valueOf(null)说起
同学在群问String.valueOf(null)返回啥,我看了下源码,返回"null"啊, public static String valueOf(Object obj) ...
- HTTP协议、HTTP请求方法、常见状态码、HTTP消息
HTTP协议 客户端请求,服务端响应.浏览器与服务器不建立持久连接,响应后连接失效. HTTP请求方法 一.GET GET方法用于获取请求页面的指定信息. 二.HEAD 除了服务器不能在响应里返回消息 ...
- Luogu5221 Product
Luogu5221 Product 求 \(\displaystyle\prod_{i=1}^n\prod_{j=1}^n{\frac{\operatorname{lcm}(i,\ j)}{\gcd( ...
- My ajaxwrapper tool
Until recently, when I write ajax call, always write like below: $.ajax({ type: "post", da ...
- 使用Python的http.server实现一个简易的Web Api对外提供HanLP拼音转换服务
由于采集省市区镇数据需要对地名进行拼音转换,由于第三方高准确度接口对IP进行了限制,处理大量数据变得异常缓慢. 使用了一个折中的办法,省市区 3级(3千+)用高准确度接口(几乎没有拼错的地名),镇级( ...
- 并发连接MySQL
先吐槽一下libmysqlclientAPI的设计, 多个线程同时去connect居然会core掉. 后来Google了一番, 才发现mysql_real_connect不是线程安全的, 需要一些额外 ...
- python三:循环语句练习--小白博客
# 打印0-10去掉5 count = - : count += : continue print(count) # 打印0-10的偶数 count = : print(count) count+= ...
- H5 68-伪元素选择器
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...