命令如下: curl -s -XPOST http://localhost:9200/_bulk --data-binary @data.json 如果上传的data.json文件较大,可以将其切分为多个小文件,在批量上传,shell脚本如下: #!/bin/bash split -l 100000 -a 10 data.json ./tmp/carrier_bulk BULK_FILES=./tmp/carrier_bulk* for f in $BULK_FILES; do curl -s…

在使用Elasticsearch的时候,一定会遇到这种场景--希望批量的导入数据,而不是一条一条的手动导入.那么此时,就一定会需要bulk命令! 更多内容参考我整理的Elk教程 bulk批量导入 批量导入可以合并多个操作,比如index,delete,update,create等等.也可以帮助从一个索引导入到另一个索引. 语法大致如下: action_and_meta_data\n optional_source\n action_and_meta_data\n optional_source\…

引子 大文件拆分问题涉及到io处理.并发编程.生产者/消费者模式的理解,是一个很好的综合应用场景,为此,花点时间做一些实践,对相关的知识做一次梳理和集成,总结一些共性的处理方案和思路,以供后续工作中借鉴. 本文将尝试由浅入深的方式表述大文件拆分的问题及不同解决方案,给出的方案不一定是最优解,也并非线上环境论证过的靠谱方式,目的只是在于通过该问题融会贯通io.多线程等基础知识理论.生产环境请慎用. 本文不会逐行讲解代码实现,而注重在方案设计及思路探讨上,但会在文末附上源码demo git地址. 问…

结合最近Disruptor的学习,和之前一直思考解决的大文件拆分问题,想到是否可以使用Disruptor作为生产者/消费者传递数据的通道呢?借助其高效的传递,理论上应当可以提升性能.此文便是此想法的落地实现. 问题描述 将大文件按照指定大小拆分为若干小文件.具体可参考:大文件拆分方案的java实践(附源码). 方案设计 设计简图 如下: 核心组件 FileReadTask —— Disruptor的生产者线程,负责读取源文件,: Disruptor —— FileReadTask和FileLin…

引子 大文件拆分问题涉及到io处理.并发编程.生产者/消费者模式的理解,是一个很好的综合应用场景,为此,花点时间做一些实践,对相关的知识做一次梳理和集成,总结一些共性的处理方案和思路,以供后续工作中借鉴. 本文将尝试由浅入深的方式表述大文件拆分的问题及不同解决方案,给出的方案不一定是最优解,也并非线上环境论证过的靠谱方式,目的只是在于通过该问题融会贯通io.多线程等基础知识理论.生产环境请慎用. 本文不会逐行讲解代码实现,而注重在方案设计及思路探讨上,但会在文末附上源码demo git地址. 问…

java大文件拆分工具(过滤掉表头) import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; public class SplitTools { public static void main(String[] args) throws IOException { /…

package com.practice.util; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.io.InputStream; import java.text.DecimalFormat; import java.text.SimpleDateFormat; import ja…

背景:有时候在两个数据库之间导入导出数据,不可避免的需要进行sql文件的批量导入,一个个导入效率太低,所以可以考虑批量导入的办法进行导入. 操作步骤 1.假设有三个sql脚本,分别为aa.sql,bb.sql和cc.sql,这三个脚本需要导入数据库 ,它们的路径分别为C:\aa.sql  D:\bb.sql 和E:\cc.sq 2.创建一个all.sql文件,可以用记事本打开.在里面写上每个sql脚本的路径,并且在路径前加上@,具体如下: @C:\aa.sql @D:\bb.sql @E:\cc…

前提: 每个csv文件第一行为字段名 创建的数据库字段名同csv 文件的字段名 1. 批量导入 多个 csv 文件 for file in ./*.csv;do mv $file tablename.csv;mysqlimport --local --fields-terminated-by="," -uusename -ppassword databasename tablename.csv;rm tablename.csv;done (改脚本在导入数据的同时会删除文件 别忘记在导入…

情景:我需要导入一张1.03GB的数据表,但是phpmyadmin导入文件默认为不能超过2M.因此需要修改phpmyadmin导入文件的大小限制. 1.phpmyadmin的导入也就是php完成文件上传的过程,因此先修改配置文件php.ini的上传相关参数: 1.1修改上传文件大小 upload_max_filesize   最大上传文件大小参数,默认为2M.修改成1500M,即upload_max_filesize = 1500M post_max_size     允许POST的数据最大字节…

有时候需要在本地导入一些stage环境的数据到本地mysql,面对1000+的sql文件(包含表结构和数据,放在同一个文件夹下),使用navicat一个一个导入sql文件显然有点太慢了,于是考虑使用source命令批量来实现.网上看了很多人遇到这个高频的数据库sql导入问题,但是没有特别具体的解决方案,只有个大概的思路,我就抛砖引玉,作为一个详细的记录,渡人渡己. 先复习一下source的使用方法,首先要用命令行方式连接到MySQL数据库,然后使用下面的命令: use database_name…

我们平时经常做的是上传文件,上传文件夹与上传文件类似,但也有一些不同之处,这次做了上传文件夹就记录下以备后用. 这次项目的需求: 支持大文件的上传和续传,要求续传支持所有浏览器,包括ie6,ie7,ie8,ie9,Chrome,Firefox,360安全浏览器,并且刷新浏览器后仍然能够续传,重启浏览器(关闭浏览器后再打开)仍然能够继续上传,重启电脑后仍然能够上传 支持文件夹的上传,要求服务端能够保留层级结构,并且能够续传.需要支持10万个以上的文件夹上传. 支持低版本的系统和浏览器,因为这个项目…

备份mysqldump mysqldump -u root -p ao2012 > /mnt/www/zq_ao2012/backup.sql 然后数据库密码 导入 mysql -h localhost -u root -p 输入密码 use 数据库 source sql文件路径…

先进入你的mysql bin目录 cd D:/php/mysql/bin 输入命令 mysql -u 用户名 -p 密码 数据库名 < 文件路径                           <为导入   >为导出 mysql -u root -p root eee < d:/eee.sql 如若出现以下错误 MySql server has gone away 请修改mysql下的配置文件my.ini   30M为你的文件大小. max_allowed_packet = 3…

注意编码一致性,如:我的数据库是utf-8编码,csv文档的编码也是utf-8. 导入使用 LOAD DATA LOCAL INFILE 详细用法请参看文档或者书籍. mysql  user表结构: +----------+-------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +----------+-------------+------+--…

一.新建MATLAB script(.m文件):readall_mat.m 二.代码如下: function data = readall_mat(path) % READALL_MAT 读取所有文件 % DATA = READALL_MAT(PATH)读取路径PATH下的所有mat文件中的数据赋给data % mat文件中含有多个数据项 % 输出cell格式以免各数据项长度不同 % 输出data后若要使用data中的内容请使用data{index}访问 % % 原始版本:V1.0 作者:贾郑磊…

这个方法在windows上或者linux上都可以使用 多数人习惯使用phpmyadmin或者一些客户端比如workbench,navicat 但是最有效的是原生的php工具 命令都差不多 请在cmd的管理员权限下运行 C:\wamp\bin\mysql\mysql5.5.20\bin\mysql -u root -p --default-character-set=utf8 tt < C:\22.sql 上面是windows,请记住一定要设置编码格式 tt 是数据库名称 linux导出命令/us…

前言 我们在导入mysql数据时候,mysql客户端突然报错:MySQL server has gone away(error 2006) 类似这种情况,处理思路为:调节mysql允许导入包的大小即可. 有两种设置方法: 1.修改mysql的my.inf配置文件(单位为B,此处设置为800M):max_allowed_packet= 2*1024*1024*400 2.登录mysql命令行:set global max_allowed_packet= 2*1024*1024*400 如下图所示…

sqlcmd -S "192.168.1.218" -U "sa" -P "1qaz~xsw2" -d "SispMain" -i "G:\script.sql" Oracle导入Tmp imp orcl/orcl@orcl full=yes file=D:\jddatabak\20180413_linux_0.dmp Merge语法 Merge into [dbo].[DisabledInfo] AS T…

编辑/etc/my.cnf文件,在[myslqd]节点,添加 max_allowed_packet = 64M 随后重启MySQL即可.…

找到mysql的配置文件目录 my.cnf interactive_timeout = 120wait_timeout = 120max_allowed_packet = 500M 在导入过程中可能会遇到报错或者导入不全的情况 还需在配置文件中加入 sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION…

 set global max_allowed_packet=1000000000; set global net_buffer_length=1000000; …

Public Sub BatchImportTextFiles() AppSettings 'On Error GoTo ErrHandler Dim StartTime, UsedTime As Variant StartTime = VBA.Timer '>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>&…

[root@tdh55 mnt]# cd /opt/[root@tdh55 opt]# ll -h-rw-r--r--. 1 root root 7.5G May 12 11:19 TDH-Image-Registry-Transwarp-5.1.2-final.tar.gz[root@tdh55 opt]# lsTDH-Image-Registry-Transwarp-5.1.2-final.tar.gz[root@tdh55 opt]# md5sum TDH-Image-Registry-T…

1. 将大文件拆分为小文件 I 通过二进制的方式将大文件读取出来,将其拆分存,以不同的文件方式存放在一个目录下面 II 提供两种操作方式交互式和命令行模式 #! usr/bin/python # -*- coding:utf-8 -*- import sys, os megebytes = 1024 * 1000 chunksize = int(1.4 * megebytes) def clear_dir(target_dir): """ 清空目录 :param target…

本文介绍了在Java中,如何使用Java现有的可用的库来编写FTP客户端代码,并开发成Applet控件,做成基于Web的批量.大文件的上传下载控件.文章在比较了一系列FTP客户库的基础上,就其中一个比较通用且功能较强的j-ftp类库,对一些比较常见的功能如进度条.断点续传.内外网的映射.在Applet中回调JavaScript函数等问题进行详细的阐述及代码实现,希望通过此文起到一个抛砖引玉的作用. 一.引子 笔者在实施一个项目过程中出现了一种基于Web的文件上传下载需求.在全省(或全国)各地的用…

SQL Server的Bulk Insert语句可以将本地或远程的数据文件批量导入到数据库中,速度非常的快.远程文件必须共享才行,文件路径须使用通用约定(UNC)名称,即"\\服务器名或IP\共享名\路径\文件名"的形式. * 1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便,所以这里先介绍bcp工具导出格式化文件的方法. bcp是SQL Server提供的命令行实用工具提供了数据的导出.导入.格式文件导出等功能,导出格式化文件的语法如下: Sql代码 bcp 数据…

今天整了一天这个AWVS批量扫描脚本,主要是下了好几个版本的AWVS,都不稳定,一次次删除又一次次安装. 做这件事儿目的就是为了批量刷漏洞,不过弄好之后又不打算刷漏洞了,不太喜欢无脑刷漏洞,没什么意义,并且现在水平也不是很高,先踏实学习吧. 这个文章目的就是记录一下整体的思路. 要想较为高效的刷漏洞(这里指的是和菜鸟相比),需要两步,一 : 获取大量的网页链接  : 二 : 误报率低,比较牛逼一点的漏洞扫描工具 一 :获取大量的网页链接 这个有三种方法: ① fofa 这个有前提 ,必须得有 f…

1. source /home/susie ...../**.sql 2. \. /home/susie/.../**.sql 批量导入.sql文件 首先新建一个main.sql,然后在main.sql文件里面这么写: source C:/sql/1.sql;source C:/sql/2.sql;source C:/sql/3.sql;.... 编辑好后,再source main.sql,mysql就会给你自动的批量导入了 对于如何批量写入sql文件的路径,你可以用cmd命令,比如dir ba…

--导入大文件50G文件到mysql1.修改配置innodb_flush_log_at_trx_commit=0 2.导入时的注意事项set autocommit=1;show variables like 'autocommit';set names utf8;source f://file.sql; 3.过程中查看导入的数量SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED ;SELECT count(id) FROM TABLE_NAME ;C…