pymysql使用心得记录
-----------更新日志 16.7.29-------------
(该记录对应文章《豆瓣电影Top250基本信息抓取 》)
折腾了将近两天才把mysql数据库功能给实现了。
经过这两天的实践,发现了自己的很多知识点漏洞。尤其是数据编码类型。每次要想实现把数据存入txt或其他文本文件,都要花费好长时间,虽然大致实现思路很清晰,但是总是会遇到很多细枝末节的障碍,基础不牢啊。
说说从昨天到现在一直折腾pymysql的经历吧。(脑袋很混乱。估计下文会更紊乱。。。。)。不过如果你能坚持看完,绝对会有收获,没有的话你来找我(反正你也找不到)
BUG 1
首先是最简单的pymysql.connect()语句的实现就耗了我大半天的时间。
- db = pymysql.connect(host="localhost",user="root",password="123456",db="doubanmovie",charset="utf8")
就是这么简单的一行代码。。。简直蠢哭了
我一直以为 user 和 password 两项是随便填的。。随便。。填。。的。。。
所以我付出了惨痛代价,mysql软件安装了三四次,电脑重启无数次。。。最后才慢慢悟出了真理,原来他们是我在安装mysql的时候自己设置的。
另外我要提醒一下小伙伴们,如果你安装mysql只是为了学习的话,建议密码不要太复杂,否则你会后悔的,相信我,恩。
BUG 2
第二个遇到的障碍就是数据库和数据表的创建。
- db = pymysql.connect(host="localhost",user="root",password="123456",db="doubanmovie",charset="utf8")
上面这行代码中申明了数据库是doubanmovie,能这么写的前提是你已经提前创建了这个名为doubanmovie的数据库,否则。。。崩。。报错,别问我是怎么知道的。
好了,数据库的创建问题已经解决,那么接下来就是数据表的创建了。代码很简单,我轻轻松松的就写出来了(傲娇脸)
- cursor.execute("create table movie(name text, star text, quote text, info text)")
但就是这么简单的语句也有很多坑。这并不是说这个语句有错,而是它对后面程序的调试很麻烦。因为这个语句执行一次后,如果再执行显然就会报错。你问为什么?因为已经存在名为movie的数据表了啊。所以我为了测试数据,就得反反复复的把这个语句注释掉。
后来google,百度查了一下,得到了下面的解决办法,加上"if not exists"就可以啦。代码如下:
- cursor.execute("create table if not exists movie(name text, star text, quote text, info text)")
具体为什么就不解释了,实在不明白就百度翻译一下,因为太显而易见了~~~
BUG 3
第三个bug就是数据插入操作。
这是浪费时间最长的过程,中途差点想放弃了,不过幸好坚持住了~~
具体的原因牵扯到代码,源头很长就不解释了,不过有兴趣的可以看看代码。
值得一提的是在这个过程中学到了一个很棒的用法(在牛人看来肯定很一般,但是这个办法确实解决了我的问题)。
就是插入语句,我们都知道插入语句是
- insert into 表名(变量名 数据类型) values(......);
我要插入的内容存放在字典中,所以最开始的办法超级原始,但不知道为什么就是不行(明明逻辑是对的).废话不多说看栗子:
假如我的数据存放在movies列表(list)里,数据存放在字典(dict)里
- movies = [
- {
- "name":"肖申克的救赎",
- "star":"9.6",
- "info":"电影介绍",
- "quote":"电影名句"
- },
- {
- ....
- }
- ]
数据处理,执行插入操作
为行文方便,代码有所简略
- db = pymysql.connect(host="localhost",user="root",password="123456",db="doubanmovie",charset="utf8")
- cursor = db.cursor()
- for movie in sort_movies:
- star = movie["star"]
- name = movie["name"]
- info = movie["info"]
- quote = movie["quote"]
- sql = "insert into movie(star,name,info,quote) values('%s', '%s', '%s', '%s');" % (star, name, info, quote)
- try:
- cursor.execute(sql)
- db.commit()
- print("数据插入成功\n*************\n")
- except Exception as e:
- raise e
- db.close()
以前的原始方法是
- sql = "insert into movie(star,name,info,quote) values(" + r'"' + star + r'","' + name + r'","'+ info + r'","'+ quote + r'",")'
经查stackoverflow,得到如下解决办法(上面代码中已呈现)
- sql = "insert into movie(star,name,info,quote) values('%s', '%s', '%s', '%s');" % (star, name, info, quote)
这个可以很好的生成mysql执行语句。
stackoverflow的回答中有的人建议把上面代码中的 % 改为 ,,具体啥原因参见stackoverflow Python MySQL Statement returning Error
还有得记得加上这行代码
- db.commit()
往后版本希望扩展的功能:
将数据项增加“年份”,即电影的上映年份
电影数据分析
评分情况
前100名中各国家所占比例
各种电影类型所占比例
可视化数据
干巴爹!!!!!
当然如果有什么可以完善的也欢迎大家提出修改意见,希望与大家一起学习,进步
大家也可以在我的博客中给我留言哈,很高兴能和大家交流沟通
pymysql使用心得记录的更多相关文章
- 会议管理心得记录(非markdown版)
前提 本文说的会议特指有开发团队成员参与的会议, 包括但不限于开发.设计.测试.运维.管理岗位的成员. 因为不同工种和行业都有其特殊性,我是一名程序员,并不太了解其他工种和行业的具体情况,不敢妄言. ...
- ANE接入平台心得记录(安卓)
开发环境:FlashBuilder4.7 AIR13.0 Eclipse 由于我懒得陪安卓的开发环境所以我下载了包含安卓SDK Manager的Eclipse,其实直接用FlashBuilder开发A ...
- iOS关于TableViewController和CollectionViewController中self.view心得记录
之前写代码,不喜欢记录,导致很多做过的功能,时间久了都遗忘了. 以后要勤记录~~~ 一丶首先说一下TableViewController 大家都知道,如果直接创建一个继承于TableViewContr ...
- fiddler使用心得记录
fiddler是一款非常好用的软件,通过监听8888端口来修改http,https等请求和响应,是抓包神器. 最近正在学习如何使用,现在记录下学习的一些技巧 如何支持https 点击菜单项tools, ...
- sqlserver 2008 R2 安装教程(心得记录)
在这里简单的记录下自己安装sqlserver的过程吧(本人以前安装失败过,然后卸载了,就一直没用,现在由于工具原因,重新安装,过程相对第一次安装会复杂点) 1.首先,把以前安装的注册表的对应c盘的文件 ...
- java Clone 的心得记录
我看有些类并没有实现Cloneable接口,这种情况下调用clone()方法也不try catch也不throws: 但是如果我自己这样搞,也不实现Cloneable,接口,直接调用clone()方法 ...
- SpringBoot使用的心得记录
security配置 import com.yineng.corpsysland.security.*; import com.yineng.corpsysland.web.filter.Author ...
- C# addin 开发心得记录
1.环境 2012 新建项目-2010外接程序 2.新建项-功能区 创建菜单等 发布: 1.InstallShield 2015 2.打包 说明按地址-https://msdn.microsoft ...
- 学习心得记录:[一]sql安装与配置
时间:2015年9月13日 02:43:09 科目:mysql的安装 笔记: 准备: 1.首先下载解压版的mysql 2.将下载好的文件放到c:\Program Files\MYSQL下(mysql文 ...
随机推荐
- 使用Hugo搭建GitHub个人博客
主题概况 Hugo 是一个用 Go 语言编写的静态网站生成器.类似的静态网站生成器还有Jekyll.hexo等等.以上生成器都使用过,但感觉要么环境麻烦,要么生成静态页面步骤繁琐以及生成缓慢.如果你正 ...
- 社交媒体(朋友圈、微博、QQ空间)开发一网打尽,PC端移动端都有!——源码来袭!
一.应用场景 曾几何时,社交媒体已经驻扎到了几乎每个人的生活中.看看你身边的朋友,有几个不玩朋友圈的?就算他不玩朋友圈,那也得玩微博吧.再没有底线,也得玩QQ空间. 不过,作为程序员的我们,没事还是少 ...
- java 解析json
例<解析评论> //post方式请求 String url=“http://product.dangdang.com/comment/comment.php?product_id=6056 ...
- 解决HTML导出Excel表数字变成科学计数法
- js 中导出excel 较长数字串会变成科学计数法 在做项目中,碰到如题的问题.比如要将居民的信息导出到excel中,居民的身份证号码因为长度过长(大于10位),excel会自动的将过长的数字串转 ...
- 线程协作方法sleep、yield、wait、join
sleep(休眠) 当t线程调用Thread.sleep()时,会让线程t休眠指定时间 Thread.sleep() 和 Thread.currentThread().sleep() 效果 ...
- 原来JS是这样的 - 提升, 作用域 与 闭包
引子 长久以来一直都没有专门学过 JS ,因为之前有自己啃过 C++ ,又打过一段时间的算法竞赛(写得一手好意大利面条),于是自己折腾自己的网站的时候,一直都把 JS 当 C 写.但写的时候总会遇到一 ...
- keepalived 安装配置
keepalived介绍 1. keepalived 是lvs 的扩展项目,因此它们之间具备良好的兼容性. 2. 通过对服务器池对象的健康检查,实现对失效机器/服务的故障隔离. 3. 负载均衡器之间的 ...
- WPF DataGrid Drag
自己实现的功能.代码比较简单的DataGrid的Drag处理,着重处理DataGrid里的拖动排序. using System; using System.Collections.Generic; u ...
- Hibernate 迫切连接和普通连接的区别
package com.baidu.test; import java.util.ArrayList;import java.util.LinkedHashSet;import java.util.L ...
- bash之重定向
标准输入 stdin:代码为0,使用< 或 <& ...