python 学习笔记十一 SQLALchemy ORM(进阶篇)
SqlAlchemy ORM
SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简言之便是：将对象转换成SQL，然后使用数据API执行SQL并获取执行结果.
Python MySQL API (DBAPI)
通过 pymysql 连接管理mysql
create table students
(
id int not null auto_increment primary key,
name char() not null,
sex char() not null,
age tinyint unsigned not null,
tel char() null default "-"
);
创建表
1.插入数据
import pymysql
conn = pymysql.connect("127.0.0.1",user='root',db='test')
cur = conn.cursor()
recount = cur.execute("insert into students(name,sex,age,tel) values('koka','man',18,'10000')")
recount2 = cur.execute("insert into students(name,sex,age,tel) values('akok','man',20,'10010')")
li = [ ("hehe","man",11,"110"), ("xixi","falme",12,"112")]
recount3 = cur.executemany("insert into students(name,sex,age,tel) values(%s,%s,%s,%s)",li)
conn.commit()
cur.close()
conn.close()
print(recount, recount2, recount3)
2.删除数据
import pymysql
conn = pymysql.connect("127.0.0.1",user='root',db='test')
cur = conn.cursor()
recount = cur.execute("delete from students where name='akok';")
conn.commit()
cur.close()
conn.close()
3.修改数据
import pymysql
conn = pymysql.connect("127.0.0.1",user='root',db='test')
cur = conn.cursor()
recount = cur.execute("update students set age=24 where name='alex';")
conn.commit()
cur.close()
conn.close()
4.查数据
import pymysql
conn = pymysql.connect("127.0.0.1",user='root',db='test')
cur = conn.cursor()
recount = cur.execute("update students set age=24 where name='alex';")
recount = cur.execute("select * from students;")
print(cur.fetchone()) #匹配一条
print(cur.fetchone())
#cur.scroll(-1,mode="relative") #回退一条
print(cur.fetchone())
print(cur.fetchone())
cur.scroll(0,mode='absolute')#重置
print(cur.fetchone())
print(cur.fetchone())
conn.commit()
cur.close()
conn.close()############################## fetchall ##############################import pymysql conn = pymysql.connect("127.0.0.1",user='root',db='test')
cur = conn.cursor()
recount = cur.execute("select * from user;")
nret = cur.fetchall() #所有查询到的数据以元组返回
conn.commit()
cur.close()
conn.close()
print(nret)
for i in nret:
print(i[0],i[1])
Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作，如：
MySQL-Python
mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname> pymysql
mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>] MySQL-Connector
mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname> cx_Oracle
oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...] 更多详见：http://docs.sqlalchemy.org/en/latest/dialects/index.html
步骤一：
使用 Engine/ConnectionPooling/Dialect 进行数据库操作，Engine使用ConnectionPooling连接数据库，然后再通过Dialect执行SQL语句。
from sqlalchemy import create_engine
import pymysql engine = create_engine("mysql+pymysql://root@127.0.0.1:3306/test",max_overflow=) engine.execute(
"INSERT INTO hosts (hostname,ip_addr,port,group_id) VALUES ('web4','4.4.4.4',22,3)"
) result = engine.execute("select * from hosts") result.fetchall()
步骤二：
使用 Schema Type/SQL Expression Language/Engine/ConnectionPooling/Dialect 进行数据库操作。Engine使用Schema Type创建一个特定的结构对象，之后通过SQL Expression Language将该对象转换成SQL语句，然后通过 ConnectionPooling 连接数据库，再然后通过 Dialect 执行SQL，并获取结果。
from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKey, select
import pymysql #生成metadata类
metadata = MetaData() #创建user表，继承metadata类
#Engine使用Schama Type创建一个特定的结构对象
user = Table("user", metadata,
Column("id", Integer, primary_key=True),
Column("name", String())) color = Table("color", metadata,
Column("id", Integer, primary_key=True),
Column("name", String())) #通过ConnectionPooling 连接数据库
engine = create_engine("mysql+pymysql://root@127.0.0.1:3306/test", max_overflow=,echo=True)
#通过Dialect执行SQL
#metadata.create_all(engine) #创建表结构
增删改查操作
""""增删改查"""""
conn = engine.connect() #conn.execute(user.insert(),{'id':,"name":"koka"})
#conn.close() #sql = user.insert().values(id=, name='akok')
#conn.execute(sql)
#conn.close() #sql = user.delete().where(user.c.id >)
#conn.execute(sql)
#conn.close() #sql = user.update().values(fullname=user.c.name)
#sql = user.update().where(user.c.name == "koka").values(name="okak")
#conn.execute(sql)
#conn.close() #sql = select([user, ]) => selct * from user #sql = select([user.c.id, ])=> select id from user #sql = select([user.c.name,color.c.name]).where(user.c.id==color.c.id) =>
#SELECT user.name, color.name FROM user, color WHERE user.id = color.id #sql = select([user.c.name]).order_by(user.c.name) =>
#SELECT user.name FROM user ORDER BY user.name #sql = select([user, ]).group_by(user.c.name) =>
#SELECT user.id, user.name FROM user GROUP BY user.name #conn.execute(sql)
#conn.close()
实例：
from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
from sqlalchemy.orm import sessionmaker
import pymysql Base = declarative_base() #生成一个SQLORM基类 engine = create_engine("mysql+pymysql://root@127.0.0.1:3306/test",echo=True) class Host(Base):
__tablename__ = "hosts"
id = Column(Integer, primary_key=True, autoincrement=True)
hostname = Column(String(), unique=True, nullable=False)
ip_addr = Column(String(), unique=True, nullable=False)
port = Column(Integer, default=)
def __repr__(self):
return "<Host(hostname='%s',ip_addr='%s')>" % (self.hostname,self.ip_addr) """
# 无法删除之前创建的hosts表，
# 这可能是MySQL在InnoDB中设置了foreign key关联，造成无法更新或删除数据。
# 可以通过设置FOREIGN_KEY_CHECKS变量来避免这种情况。
# SET FOREIGN_KEY_CHECKS = 0; CREATE TABLE hosts (
id INTEGER NOT NULL AUTO_INCREMENT,
hostname VARCHAR() NOT NULL,
ip_addr VARCHAR() NOT NULL,
port INTEGER,
PRIMARY KEY (id),
UNIQUE (hostname),
UNIQUE (ip_addr)
)
""" #Base.metadata.create_all(engine) #创建所有表结构 metadata.create_all(engine) if __name__ == "__main__":
SessionCls = sessionmaker(bind=engine)
session = SessionCls()
#h1 = Host(hostname="localhost", ip_addr="127.0.0.1")
#h2 = Host(hostname="mysql", ip_addr="1.1.1.1", port=)
#h3 = Host(hostname="web", ip_addr="10.0.0.10", port=)
#session.add(h1)
#h2.hostname = "mysqldb" #只要没提交,此时修改也没问题
#session.add_all([h1, h2, h3])
#session.rollback()
#session.commit() res = session.query(Host).filter(Host.hostname.in_(["localhost", "mysqldb"])).all()
print(res)
"""
[<Host(hostname='localhost',ip_addr='127.0.0.1')>, <Host(hostname='mysqldb',ip_addr='1.1.1.1')>]
"""
更多内容详见：
http://www.jianshu.com/p/e6bba189fcbd
http://docs.sqlalchemy.org/en/latest/core/expression_api.html
注：SQLAlchemy无法修改表结构，如果需要可以使用SQLAlchemy开发者开源的另外一个软件Alembic来完成.
步骤三：
使用 ORM/Schema Type/SQL Expression Language/Engine/ConnectionPooling/Dialect 所有组件对数据进行操作。根据类创建对象，对象转换成SQL，执行SQL。
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String
from sqlalchemy.orm import sessionmaker
from sqlalchemy import create_engine
import pymysql engine = create_engine("mysql+pymysql://root@127.0.0.1:3306/test", max_overflow=, echo=True) #echo显示sql语句创建过程 Base = declarative_base() #生成一个SQLORM基类
#创建表
class User(Base):
__tablename__ = "users"
id = Column(Integer, primary_key=True)
name = Column(String())
def __repr__(self):
return "<User(id='%s',name='%s')>" % (self.id,self.name) # 寻找Base的所有子类，按照子类的结构在数据库中生成对应的数据表信息
#Base.metadata.create_all(engine) if __name__ == "__main__":
Session = sessionmaker(bind=engine)
session = Session()
#增
#sql1 = User(id=,name="haha")
#sql2 = User(id=,name="hehe")
#session.add(sql1)
#session.add_all([sql1, sql2])
#session.commit()
#改
#session.query(User).filter(User.id >).update({"name":"xixi"})
#session.commit()
#删
#session.query(User).filter(User.id == ).delete()
#session.commit()
#查
r1 = session.query(User).filter_by(name="xixi").first()
r2 = session.query(User).filter_by(name="xixi").all()
r3 = session.query(User).filter(User.name.in_(["haha", "hehe", "xixi"])).all()
r4 = session.query(User.name.label("name_label")).all()
#SELECT users.name AS name_label FROM users r5 = session.query(User).order_by(User.id).all()
#SELECT users.id AS users_id, users.name AS users_name FROM users ORDER BY users.id
r6 = session.query(User).order_by(User.id)[:]
#SELECT users.id AS users_id, users.name AS users_name FROM users ORDER BY users.id LIMIT ,2 print(r1, r2, r3, r4, r5, r6)
session.commit()
外键关联
- FOREIGN KEY 约束是大多数(但不是所有)的关系型数据库中可以链接到主键列，或者拥有UNIQUE约束的列。
- FOREIGN KEY 能够引用多重列主键，并且其自身拥有多重列，被称为“复合外键”(composite foreign key)。其也能够引用这些列的子集(subset)。
- FOREIGN KEY 列作为对于其引用的列或者行的变化的响应能够自动更新其自。
- FOREIGN KEY 能够引用其自身的表，这个就涉及到“自引用”(self-referential)的外键了。
一多对关系表，一个主机属于一个组，一个组可以拥有多个主机
from sqlalchemy import Table, Column, Integer, ForeignKey, create_engine, String
from sqlalchemy.orm import relationship,sessionmaker
from sqlalchemy.ext.declarative import declarative_base
import pymysql engine = create_engine("mysql+pymysql://root@127.0.0.1:3306/test", max_overflow=) Base = declarative_base() class Host(Base):
__tablename__ = 'host1'
id = Column(Integer,primary_key=True,autoincrement=True)
hostname = Column(String(),unique=True,nullable=False)
ip_addr = Column(String(),unique=True,nullable=False)
port = Column(Integer,default=)
group_id = Column(Integer, ForeignKey("group1.id")) #主机关联组id
#表示在group表中可以通过host_list查看host表内容，在host表中可以通过group查看group表内容
group = relationship("Group", backref="host")
#group_list = relationship("Group",back_populates="host_list") #使用populates两边名称要一致
class Group(Base):
__tablename__ = "group1"
id = Column(Integer, primary_key=True)
name = Column(String(),unique=True, nullable=False)
#host_id = Column(Integer, ForeignKey("hosts.id")) #创建一个组就要指定一个主机id变成一对一的关系
#host_list = relationship("Host",back_populates="group_list") #使用populates两边名称要一致,两个表对应设置名称group_list和host_list
#Base.metadata.create_all(engine) #构建表 if __name__ == "__main__":
SessionCls = sessionmaker(bind=engine)
session = SessionCls()
#建组
g1 = Group(name="g1")
g2 = Group(name="g2")
g3 = Group(name="g3")
#建主机,关联组
h1 = Host(hostname="localhost1", ip_addr="127.0.0.1",group_id="")
h2 = Host(hostname="web2", ip_addr="192.168.1.10",group_id="")
h3 = Host(hostname="agent2", ip_addr="192.168.1.20",group_id="")
session.add_all([g1, g2, g3])
session.add_all([h1, h2, h3])
session.commit()
#两个表relationshap后，通过host表查询h1记录再通过group_id查找group表中对应的name
h = session.query(Host).filter(Host.id == 1).first()
print("h1:"h.group.name)
session.commit()
映射关系
更多内容详见：http://www.xker.com/page/e2015/04/179550.html
多对多关系表，需要第三张表关联两张表
from sqlalchemy import Table, Column, Integer, ForeignKey, and_, or_, func, create_engine, String
from sqlalchemy.orm import relationship, sessionmaker
from sqlalchemy.ext.declarative import declarative_base
import pymysql Base = declarative_base()
engine = create_engine("mysql+pymysql://root@127.0.0.1:3306/test", max_overflow=, echo=True) Host2Group = Table("host_2_group",Base.metadata,
Column("host_id", ForeignKey("host.id"),primary_key=True),
Column("group_id", ForeignKey("group.id"),primary_key=True)
) class Host(Base):
__tablename__ = "host"
id = Column(Integer, primary_key=True, autoincrement=True)
hostname = Column(String(), unique=True, nullable=False)
ip_addr = Column(String(), unique=True, nullable=False)
port = Column(Integer, default=)
groups = relationship("Group",
secondary=Host2Group,
backref="host_list")
#用于显示查询结果
def __repr__(self):
return "<id=%s, hostame=%s, ip_addr=%s>" %(self.id,
self.hostname,
self.ip_addr) class Group(Base):
__tablename__ = "group"
id = Column(Integer, primary_key=True)
name = Column(String(),unique=True,nullable=False) def __repr__(self):
return "<id=%s, name=%s>" % (self.id, self.name) #Base.metadata.create_all(engine) #创建数据结构 if __name__ == "__main__":
SessionCls = sessionmaker(bind=engine)
session = SessionCls()
#创建组
#h1 = Host(hostname="localhost",ip_addr="127.0.0.1")
#h2 = Host(hostname="roomsvr",ip_addr="10.10.10.10")
#session.add(h1)
#session.add_all([h1, h2]) #创建主机
#g1 = Group(name='g1')
#g2 = Group(name='g2')
#g3 = Group(name='g3')
#g4 = Group(name='g4')
#session.add_all([g1,g2,g3,g4])
#session.commit() #组和主机关联
groups = session.query(Group).all()
g1 = session.query(Group).first()
g2 = session.query(Group).filter(Group.name=="g2").first()
h2 = session.query(Host).filter(Host.hostname=="localhost").first()
h2.groups = groups #将主机同主机组关联
#h2.groups.append(groups)
session.commit() #关联表查询
print("=====>",h2.groups)
print("=====g1>",g1.host_list)
print("=====g2>",g2.host_list)
#h2.groups.pop()
session.commit()
join
几个Join的区别 http://stackoverflow.com/questions/38549/difference-between-inner-and-outer-joins
- left join(左联接) 返回包括左表中的所有记录和右表中交集的记录
- right join(右联接) 返回包括右表中的所有记录和左表中交集的记录
- inner join(等值连接) 只返回两个表中的交集字段
#join 接上例代码
objs = session.query(Host).join(Host.groups).group_by(Group.name).all()#取两个表的交集，按组名排序
#SELECT * FROM host INNER JOIN host_2_group ON host.id = host_2_group.host_id
#INNER JOIN `group` ON `group`.id = host_2_group.group_id GROUP BY `group`.id
#count
objs = session.query(Host, func.count(Host.hostname)).group_by(Host.id).all()
#SELECT * count(host.hostname) FROM host GROUP BY host.id
objs = session.query(Host,func.count(Group.name)).\
join(Host.groups).group_by(Group.name).all()
#SELECT host.id,host.hostname,host.ip_addr,host.port,count(`group`.name) as count_1 FROM host\
#INNER JOIN host_2_group ON host.id = host_2_group.host_id INNER JOIN `group` ON `group`.id = \
#host_2_group.group_id GROUP BY `group`.name
#print(objs)
session.commit()
更多ORM内容:
http://files.cnblogs.com/files/wupeiqi/sqlalchemy.pdf.zip
python 学习笔记十一 SQLALchemy ORM(进阶篇)的更多相关文章
- python学习笔记七 初识socket(进阶篇)
socket socket通常也称作"套接字",用于描述IP地址和端口,是一个通信链的句柄,应用程序通常通过"套接字"向网络发出请求或者应答网络请求. sock ...
- python学习第十六天 --继承进阶篇
这一章节主要讲解面向对象高级编程->继承进阶篇,包括类多继承介绍和继承经典类和新式类属性的查找顺序不同之处. 多继承 上一章节我们讲到继承,子类继承父类,可以拥有父类的属性和方法,也可以进行扩展 ...
- Python学习笔记八：ORM框架SQLAlchemy
一:SQLAlchemy使用 1:实体类的创建 ORM中的实体类与一般的Python类不同,在其中,使用 __tablename__=""指明该类与数据库中某个表相对应,然后定义一 ...
- python学习之路-5 基础进阶篇
本篇涉及内容 双层装饰器字符串格式化 双层装饰器 装饰器基础请点我 有时候一个功能需要有2次认证的时候就需要用到双层装饰器了,下面我们来通过一个案例详细介绍一下双层装饰器: 执行顺序:自上而下 解释顺 ...
- python学习笔记（sqlalchemy安装失败）
博主今天折腾了一天sqlalchemy安装问题 下面是失败的截图 直接重新安装python2.7仍未解决此问题 最终在一国外论坛中找到解决的方法: 安装VC++对python的支持文件 VCForPy ...
- Python学习笔记【第十五篇】：Python网络编程三ftp案例练习--断点续传
开发一个支持多用户在线的FTP程序-------------------主要是学习思路 实现功能点 1:用户登陆验证(用户名.密码) 2:实现多用户登陆 3:实现简单的cmd命令操作 4:文件的上传( ...
- python学习笔记二 数据类型（基础篇）
Python基础 对于Python,一切事物都是对象,对象基于类创建 不同类型的类可以创造出字符串,数字,列表这样的对象,比如"koka".24.['北京', '上 ...
- Python学习笔记【第十四篇】：Python网络编程二黏包问题、socketserver、验证合法性
TCP/IP网络通讯粘包问题 案例:模拟执行shell命令,服务器返回相应的类容.发送指令的客户端容错率暂无考虑,按照正确的指令发送即可. 服务端代码 # -*- coding: utf- -*- # ...
- Python学习笔记【第十二篇】：Python异常处理
什么是异常 异常就是程序运行时发生错误的信号,在python中,错误触发的异常如下 错误类型分为两种:语法错误和业务逻辑错. 异常的类型 AttributeError 试图访问一个对象没有的树形,比如 ...
随机推荐
- github标记
<template> <a href="https://github.com/lmk123/Runner" class="github-corner&q ...
- PHP中文函数顺序排列一数组且其序数不变
函数Abs() 描述: mixed abs (mixed number); Returns the absolute value of number. If the argument number i ...
- 为Eclipse安装主题插件
方法2:通过站点更新 eclipse:Help->Install New Software->Work with:Update Site -http://eclipse-color-the ...
- CSS权威指南 - 基础视觉格式化 3
行内替换元素 替换元素比如图片的高度比line-height大,并不会影响整个文字段落的line-height,会让有图片那一行框的高度可以容纳这个图片. 这个图片依然有一个line-height,和 ...
- Nginx + php-fpm 执行 PHP 脚本超时 报错 502 Bad Gateway + 504 Gateway Time-out 的解决办法
上周写好的发送邮件的计划任务只发送了一部分,检查计划任务日志,发现 502 Bad Gateway 的错误(已经在脚本中设置了 set_time_limit(0)). 后来在网上查找资料,可以通过以下 ...
- Wordpress 标题设置
使用标题格式:首页(网站标题 - 网站副标题),其他页面(页面标题 | 网站标题) 在后台找到头部文件head.php <?php wp_title('|', true, 'right'); e ...
- Java学习-046-日志抓取合并后排序问题解决方案之 --- log4j 二次定制，实现日志输出添加延时10ms
自3月25至今,已经好久没有写学习日志了,今天在写日志抓取合并的小方法,发现抓取后的日志并米有依据系统执行的日志顺序排序.日志抓取排列逻辑如下: 通过日志标识,从各个日志文件(例如 use.log,e ...
- Asp.net mvc web api 在项目中的实际应用
Asp.net mvc web api 在项目中的实际应用 前言:以下只是记录本人在项目中的应用,而web api在数据传输方面有多种实现方式,具体可根据实际情况而定! 1:数据传输前的加密,以下用到 ...
- iOS:命令行方式使用OSChina托管私有代码
一.介绍 在项目开发中,使用版本控制工具是必不可少的开发工具,它可以帮助我们程序员写完代码后及时提交备份,防止因个人操作导致代码被误删除了或者丢失了,安全可靠.同时,使用版本控制器工具也可以很方便的进 ...
- SecureCRT工具配色方案
一.配色后的效果图 二.设置背景颜色 1.选项(Options)==>会话选项(Sessions options)==>终端(Terminal)==>仿真(Emulation) 2. ...