Mysql加载本地CSV文件
Mysql加载本地CSV文件
1.系统环境
- 系统版本:Win10 64位
- Mysql版本: 8.0.15 MySQL Community Server - GPL
- Mysql Workbench版本:Version 8.0.15 build(64bits) Community
2.准备工作
不管是使用Workbench还是命令行来加载本地数据,都可以先使用Workbench进行数据库、表的创建工作。
3.使用Workbench进行加载
- 当数据量不是很大时(万级以内)时,可以使用Workbench进行加载,优点是可以根据引导一步一步操作。
- 操作过程中碰到的问题:进入引导界面并选择待加载的文件后,软件提示Unhandled exception:("Incorrect database name"",1102),直接指示数据库名为空,并且报错。原因是将需要将当前数据库设置为默认数据库(右键当前数据库然后选择Set as Default Scheme),不然Workbench会找不到默认数据库,从而报一个数据库名为空的错误。
- 剩下的步骤根据指示完成即可。
4.使用命令行进行加载
4.1 命令语法
LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name.txt'
[REPLACE | IGNORE]
INTO TABLE tbl_name
[FIELDS
[TERMINATED BY 'string']
[[OPTIONALLY] ENCLOSED BY 'char']
[ESCAPED BY 'char' ]
]
[LINES
[STARTING BY 'string']
[TERMINATED BY 'string']
]
[IGNORE number LINES]
[(col_name_or_user_var,...)]
[SET col_name = expr,...)]
load data infile语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前,mysqld进程(服务)必须已经在运行。由于安全原因,当读取位于服务器上的文件时,文件必须处于数据库目录或可被所有人读取。另外,为了对服务器上文件使用load data infile,在服务器主机上必须有file的权限。
- 如果指定关键词low_priority,那么MySQL将会等到没有其他人读这个表的时候,才把数据插入。可以使用如下的命令:
load data low_priority infile "/home/mark/data sql" into table Orders;
- 如果指定local关键词,则表明从客户主机读文件。如果local没指定,文件必须位于服务器上。
- replace和ignore关键词控制对现有的唯一键记录的重复的处理。如果你指定replace,新行将代替有相同的唯一键值的现有行。如果你指定ignore,跳过有唯一键的现有行的重复行的输入。如果你不指定任何一个选项,当找到重复键时,出现一个错误,并且文本文件的余下部分被忽略。例如:
load data low_priority infile "/home/mark/data sql" replace into table Orders;
- 分隔符:
- fields关键字指定了文件字段的分割格式,如果用到这个关键字,MySQL剖析器希望看到至少有下面的一个选项:
- terminated by:以什么字符作为分隔符
- enclosed by:字段闭合标签
- escaped by:转义字符
- terminated by:描述字段的分隔符,默认情况下是tab字符(\t)
- enclosed by:描述的是字段的括起字符
- escaped by:描述的转义字符。默认的是反斜杠(backslash:\ )
- lines 关键字指定了每条记录的分隔符默认为'\n'即为换行符:
- 如果两个字段都指定了,那fields必须在lines之前。如果不指定fields关键字,缺省值与这样写相同:fields terminated by'\t' enclosed by ’ '' ‘ escaped by'\\'
- 如果你不指定一个lines子句,缺省值与这样写的相同: lines terminated by'\n'
- [IGNORE number LINES] 忽略特定行数,CSV文件可以忽略掉第一行标题
- fields关键字指定了文件字段的分割格式,如果用到这个关键字,MySQL剖析器希望看到至少有下面的一个选项:
4.2 操作过程中的问题
运行如下代码:
mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';
出现如下错误:
ERROR 1148 (42000): The used command is not allowed with this MySQL version
原因是服务器端,local_infile默认开启;客户端,local_infile默认关闭,因此用的时候需要打开。
查看local_infile变量的状态:
mysql> show global variables like 'local_infile';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| local_infile | OFF |
+---------------+-------+
显示为关闭状态,使用如下命令打开:
mysql> set global local_infile = 'ON';
并再次查看:
mysql> show global variables like 'local_infile';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| local_infile | ON |
+---------------+-------+
然后再进行导入工作:
mysql> LOAD DATA LOCAL INFILE 'D:/XXX.csv' INTO TABLE database.tablename FIELDS TERMINATED BY ',';
仍然报同样的错误:
ERROR 1148 (42000): The used command is not allowed with this MySQL version
退出mysql,用如下命令进行登陆:
$ mysql --local-infile=1 -u root -p
然后就能够正常进行正常加载了:
mysql> load data local infile 'E:/Documents/user_utf.csv' into table data.user fields terminated by ',';
Query OK, 101535 rows affected, 65535 warnings (1.08 sec)
Records: 101535 Deleted: 0 Skipped: 0 Warnings: 69457
5.参考资料
- load data infile语法详解
- load data infile参数详解
- windows下MySQL8中LOAD DATA INFILE出现The used command is not allowed with this MySQL version问题
Mysql加载本地CSV文件的更多相关文章
- UIWebView加载本地html文件
UIWebView *webView = [[UIWebView alloc] initWithFrame:CGRectMake(, , KScreenWidth, KScreenHeight-)]; ...
- 360chrome,google chrome浏览器使用jquery.ajax加载本地html文件
使用360chrome和google chrome浏览器加载本地html文件时,会报错,提示: XMLHttpRequest cannot load file:///Y:/jswg/code/html ...
- WebView加载本地Html文件并实现点击效果
Webview是用来与前端交互的纽,可以加载本地Html文件,和网页并实现交互的功能. WebView通过WebSetting可以使用Android原生的JavascriptInterface来进行j ...
- @vue/cli 3.0 使用 svg-sprite-loader 加载本地 SVG 文件
目录 @vue/cli 3.0 使用 svg-sprite-loader 加载本地 SVG 文件 运行 使用 配置 svg-sprite-loader 调用当前环境下的颜色 props @vue/cl ...
- ajax加载本地html文件出现 XMLHttpRequest cannot load的问题
谷歌浏览器ajax加载本地html文件出现 XMLHttpRequest cannot load的问题(火狐中不会出现这问题) Cross origin requests are only suppo ...
- easyui 加载本地json 文件的方法
easyui 加载本地json 文件的方法 2017年12月15日 17:18:07 vivian_hnd 阅读数 2155 https://blog.csdn.net/vivian_wang07/a ...
- XMLHttpRequest cannot load file浏览器无法异步加载本地file文件
原因:Chrome不支持本地Ajax请求,在.html文件中访问.json文件时就会出现这个问题,就是说这个时候不能加载这个.html文件. 解决方式 打开Chrome快捷方式的属性中设置: 右击Ch ...
- Android GIS开发系列-- 入门季(5) FeatureLayer加载本地shp文件与要素查询
FeatureLayer是要素图层,也是Arcgis的主要图层.用这个图层可以加载本地的shp文件.下面我们看怎样加载shp文件到MapView中.查看ArcGis API可知FeatureLayer ...
- Remix本地化,加载本地合约文件,本地链接Remix
智能合约IDE,在线的比较卡,而且切换网络面临文件丢失的风险,选择本地搭建Solidity本地编辑环境,Remix-IDE + Remixd组合,加载本地合约代码.这里用到两个工具: Remix ID ...
随机推荐
- net start mongodb发生系统错误2 系统找不到指定的文件
安装mongodb时, 将mongodb 作为系统服务启动 net start mongodb,报错发生系统错误2 系统找不到指定的文件 . 查找原因是因为,系统服务的可执行文件地址有误. 修改服务地 ...
- 安装FreePBX的ISO版本
下载地址:http://schmoozecom.com/distro-download.php 这个相当于系统了,第一步:安装程序会提示选择你想安装Asterisk的版本:现在出现了11版本,这个根据 ...
- jQuery笔记——插件
验证插件 验证插件(validate.js),是一款验证常规表单数据合法性的插件.使用它,极大的解 放了在表单上繁杂的验证过程,并且错误提示显示的完善也增加了用户体验 插件都可以在JQueryUI 的 ...
- PKU1988磁铁
Cube Stacking Time Limit: 2000MS Memory Limit: 30000K Total Submissions: 16258 Accepted: 5579 Ca ...
- OD 实验(七) - 对一个程序的破解和去广告
程序: 这里有很多的动态链接库 双击运行程序 这个程序有次数限制 按钮也在隐藏处 主界面 退出程序,会弹出一个广告 目的: 让程序的使用次数不受限制,且没有显示次数的窗口 去除程序关闭时候的广告 逆向 ...
- 微信浏览器清缓存、cookie等
微信浏览器访问:http://debugx5.qq.com
- 04_java之基本语法02
01switch语句解构 * A:switch语句解构 a:switch只能针对某个表达式的值作出判断,从而决定程序执行哪一段代码. b:格式如下: swtich(表达式){ case 常量1 : 要 ...
- 实验楼HTML基础入门学习
HTML基本介绍 HTML,一种描述网页的语言 结构 html head title script body ... 文档 <html> <head> <title> ...
- Delegate(代理)异常:该委托必须有一个目标
转自 Delegate(代理)异常:该委托必须有一个目标 在代理调用BeginInvoke(new AsyncCallback(callBack), null);时,会抛这个异常的原因是该代理变量代理 ...
- leetcode671
class Solution { public: vector<int> V; void postTree(TreeNode* node) { if (node != NULL) { V. ...