编程不会操作数据库,就像男人做做了太监,人生不完整,我不想人生不完整,写下pymysql的使用总结 先做下准备工作,准备下数据表,由于是练习操作,所以先做个简单的数据表: 创建单独的一个库:再创建表 创建数据表,图中红圈必须引用回滚事件,以保持数据的完整性 下面开始编写python代码: 创建连接对象: 连接到数据库,连接到数据库example, 定义conn数据库连接对象 创建游标对象cursor: 使用游标对象向表里添加数据 向表里提交数据 用conn数据库对象提交(此处为重点不要弄混) 关…

一般爬虫都是用urllib包,requests包 配合正则.beautifulsoup等包混合使用,达到爬虫效果,不过有框架谁还用原生啊,现在我们来谈谈SCRAPY框架爬虫, 现在python3的兼容性上来了,SCRAPY不光支持python2版本了,有新的不用旧的,现在说一下让很多人望而止步的安装问题,很多人开始都安装不明白, 当前使用的版本是PYTHON3.5,安装时用PIP3 安装步骤: 1 安装wheel pip3 install wheel 2 安装twisted pip3 insta…

在上卷中我说出两种方法进行数据去重自增,第一种就是在数据库的字段中设置唯一字段,二是在脚本语言中设置重复判断再添加(建议,二者同时使用,真正开发中就会用到) 话不多说先上代码 第一步: 确定那一字段的数据为不可重复数据,我在这个测试表中希望worknum的数据为不可重复数据,现在看下表中数据: 第二步: 测试查询语句: 可以看出查询语句以字符串的形式存在于方法中结果如下: 可以看出数据可以正常查询 第三步: 模拟数据演练,进行判断 我在1处做了组测试数据,可以看到list1里的worknum数据…

上一卷讲述的是单条插入数据,现在要多条插入数据: 随意定义了一批数据 去数据库查询一下: 下面试一下查询语句: 获取游标里的数据,结果如下: 下面更改下返回数据类型,如果想用字典类型: 结果如下: 在这里用的是fetch函数找到了所有满足条件的数据,用fetchone顾名思义查找第一条满足条件的数据 好现在可以查询数据了. 现在在爬虫上有一个特别重要的需求就是做爬虫数据自增,含义就是爬取过的数据不再重复存储,只存储为存储过的数据: 现在我有两个方法 一个是在数据表里直接将数据的字头属性设为uni…

Python3.x使用PyMysql连接MySQL数据库 由于Python3.x不向前兼容,导致Python2.x中的很多库在Python3.x中无法使用,例如Mysqldb,我前几天写了一篇博客Python2.x连接Mysql实现对一张表的增删改查,也提到过MysqlDb不支持Python3.x python2.x使用mydqldb连接数据的博客地址如下: http://blog.csdn.net/cuixiaobo521/article/details/73824926 1.pymysql安…

1.安装pymysql pip install pymysql 有一点需要注意,有的系统(比如ubuntu16.04)同时安装了python2和python3,而比较新的django需要在python3下运行,所以在安装pymysql时可能要使用命令 pip3 install pymysql 进行安装. 2.修改项目settings.py 找到并修改DATABASES为如下形式: DATABASES = { 'default': { 'ENGINE': 'django.db.backends.m…

原因:python2下是使用的MySQLdb,python3下用的是pymysql 安装 pip install pymysql…

python3只支持pymysql(cpython >= 2.6 or >= 3.3,mysql >= 4.1),python2支持mysqldb. 两个例子: import pymysql db = pymysql.connect('localhost', 'root', '123456', 'crawlsql') cursor = db.cursor() try: create_table_sql = "CREATE TABLE IF NOT EXISTS `table`…

Python3中使用PyMySQL连接Mysql 在Python2中连接Mysql数据库用的是MySQLdb,在Python3中连接Mysql数据库用的是PyMySQL,因为MySQLdb不支持Python3.因为web.py与Django中连接数据库默认是用MySQLdb,所以在Python3中连接数据库会报错:No module named 'MySQLdb'.这时候怎么处理呢? 针对web.py来说,在.py文件中增加两行代码:import pymysqlpymysql.install_a…

map函数是Python里面比较重要的函数,设计灵感来自于函数式编程.Python官方文档中是这样解释map函数的: map(function, iterable, ...) Return an iterator that applies function to every item of iterable, yielding the results. If additional iterable arguments are passed, function must take that man…