1.nio实现读取大文件，之后分批读取写入数据库

2.nio实现读取大文件，之后分批写入指定文件

  1. package com.ally;
  2. import java.io.File;
  3. import java.io.RandomAccessFile;
  4. import java.nio.ByteBuffer;
  5. import java.nio.channels.FileChannel;
  6. import java.sql.*;
  7. /**
  8. * Created by admin on 2016/6/28.
  9. * 1.nio分批读取sql文件并执行插入数据库
  10. * 2.读取一个文件写入另外文件
  11. */
  12. public class TestNio {
  13. public static void main(String args[]) throws Exception {
  14. System.err.println("begin");
  15. long start = System.currentTimeMillis();
  16. int _5M = 1024 * 1024 * 5;
  17. File fin = new File("D:\\drug_general_info.sql");
  18. FileChannel fcin = new RandomAccessFile(fin, "r").getChannel();
  19. ByteBuffer rBuffer = ByteBuffer.allocate(_5M);
  20. //将文件读取执行到数据库
  21. readFileByLine(_5M, fcin, rBuffer);
  22. //将文件读取并写入另外文件
  23. File fout = new File("D:\\mm.sql");
  24. FileChannel fcout = new RandomAccessFile(fout, "rws").getChannel();
  25. ByteBuffer wBuffer = ByteBuffer.allocateDirect(_5M);
  26. saveOtherFile( _5M,  fcin, rBuffer,  fcout,  wBuffer);
  27. System.err.print((System.currentTimeMillis() - start) / 1000);
  28. }
  29. /**
  30. * 将一个文件内容写入另外一个
  31. * @param bufSize
  32. * @param fcin
  33. * @param rBuffer
  34. * @param fcout
  35. * @param wBuffer
  36. */
  37. public static void saveOtherFile(int bufSize, FileChannel fcin,
  38. ByteBuffer rBuffer, FileChannel fcout, ByteBuffer wBuffer){
  39. Statement pst = null;
  40. String enterStr = "\n";
  41. try {
  42. byte[] bs = new byte[bufSize];
  43. StringBuilder strBuf = new StringBuilder("");
  44. String tempString = null;
  45. while (fcin.read(rBuffer) != -1) {
  46. int rSize = rBuffer.position();
  47. rBuffer.rewind();
  48. rBuffer.get(bs);
  49. rBuffer.clear();
  50. tempString = new String(bs, 0, rSize);
  51. int fromIndex = 0;
  52. int endIndex = 0;
  53. int i = 0;
  54. while ((endIndex = tempString.indexOf(enterStr, fromIndex)) != -1) {
  55. String line = tempString.substring(fromIndex, endIndex);
  56. line = strBuf.toString() + line;
  57. writeFileByLine(fcout, wBuffer, line);
  58. strBuf.delete(0, strBuf.length());
  59. fromIndex = endIndex + 1;
  60. }
  61. }
  62. } catch (Exception e) {
  63. e.printStackTrace();
  64. }
  65. }
  66. /**
  67. * 读文件写入数据库
  68. * @param bufSize
  69. * @param fcin
  70. * @param rBuffer
  71. */
  72. public static void readFileByLine(int bufSize, FileChannel fcin,
  73. ByteBuffer rBuffer) {
  74. Connection conn = null;
  75. Statement pst = null;
  76. String enterStr = "\n";
  77. try {
  78. byte[] bs = new byte[bufSize];
  79. StringBuilder strBuf = new StringBuilder("");
  80. String tempString = null;
  81. Class.forName("com.mysql.jdbc.Driver");
  82. conn = DriverManager.getConnection(
  83. "jdbc:mysql://localhost:3306/doctor?useUnicode=true&characterEncoding=utf-8", "root", "root");
  84. pst = conn.createStatement();
  85. while (fcin.read(rBuffer) != -1) {
  86. int rSize = rBuffer.position();
  87. rBuffer.rewind();
  88. rBuffer.get(bs);
  89. rBuffer.clear();
  90. tempString = new String(bs, 0, rSize);
  91. int fromIndex = 0;
  92. int endIndex = 0;
  93. int i = 0;
  94. while ((endIndex = tempString.indexOf(enterStr, fromIndex)) != -1) {
  95. String line = tempString.substring(fromIndex, endIndex);
  96. line = strBuf.toString() + line;
  97. strBuf.delete(0, strBuf.length());
  98. fromIndex = endIndex + 1;
  99. pst.addBatch(line);
  100. /*  System.out.println("-----------------------");
  101. System.out.println(line);
  102. System.out.println("-----------------------");*/
  103. if (i % 100 == 0) {
  104. System.out.println("执行了：" + i);
  105. if (i == 2700) {
  106. System.out.println("导了：" + i);
  107. }
  108. int[] flag = pst.executeBatch();
  109. System.out.println("结果：" + flag[0]);
  110. }
  111. i += 1;
  112. }
  113. // 执行批量更新
  114. pst.executeBatch();
  115. if (rSize > tempString.length()) {
  116. strBuf.append(tempString.substring(fromIndex,
  117. tempString.length()));
  118. } else {
  119. strBuf.append(tempString.substring(fromIndex, rSize));
  120. }
  121. //  System.out.println(strBuf.toString());
  122. }
  123. } catch (Exception e) {
  124. e.printStackTrace();
  125. } finally {
  126. try {
  127. if (pst != null) {
  128. pst.close();
  129. }
  130. if (conn != null) {
  131. conn.close();
  132. }
  133. } catch (SQLException e) {
  134. e.printStackTrace();
  135. }
  136. }
  137. }
  138. public static void writeFileByLine(FileChannel fcout, ByteBuffer wBuffer,
  139. String line) {
  140. try {
  141. fcout.write(wBuffer.wrap(line.getBytes()), fcout.size());
  142. } catch (Exception e) {
  143. e.printStackTrace();
  144. }
  145. }
  146. }
package com.ally;

import java.io.File;


import java.io.RandomAccessFile;


import java.nio.ByteBuffer;


import java.nio.channels.FileChannel;


import java.sql.*;

/**

  • Created by admin on 2016/6/28.
    • 

  • 1.nio分批读取sql文件并执行插入数据库
    • 

  • 2.读取一个文件写入另外文件

    
*/

    
public class TestNio {

    
public static void main(String args[]) throws Exception {

    
System.err.println("begin");

    
long start = System.currentTimeMillis();

    
int _5M = 1024 * 1024 * 5;

    
File fin = new File("D:\drug_general_info.sql");

    
FileChannel fcin = new RandomAccessFile(fin, "r").getChannel();

    
ByteBuffer rBuffer = ByteBuffer.allocate(_5M);

    
//将文件读取执行到数据库

    
readFileByLine(_5M, fcin, rBuffer);

     //将文件读取并写入另外文件
    
 File fout = new File("D:\\mm.sql");
    
 FileChannel fcout = new RandomAccessFile(fout, "rws").getChannel();
    
 ByteBuffer wBuffer = ByteBuffer.allocateDirect(_5M);
    
 saveOtherFile( _5M,  fcin, rBuffer,  fcout,  wBuffer);
    
 System.err.print((System.currentTimeMillis() - start) / 1000);
    

    

    }
    

    /**
    

    • 将一个文件内容写入另外一个
      • 

    • @param bufSize
      • 

    • @param fcin
      • 

    • @param rBuffer
      • 

    • @param fcout
      • 

    • @param wBuffer

      
*/

      
public static void saveOtherFile(int bufSize, FileChannel fcin,

      
ByteBuffer rBuffer, FileChannel fcout, ByteBuffer wBuffer){

      
Statement pst = null;

      
String enterStr = "\n";

      
try {

      
byte[] bs = new byte[bufSize];

      
StringBuilder strBuf = new StringBuilder("");

      
String tempString = null;

      
while (fcin.read(rBuffer) != -1) {

      
int rSize = rBuffer.position();

      
rBuffer.rewind();

      
rBuffer.get(bs);

      
rBuffer.clear();

      
tempString = new String(bs, 0, rSize);

      
int fromIndex = 0;

      
int endIndex = 0;

      
int i = 0;

      
while ((endIndex = tempString.indexOf(enterStr, fromIndex)) != -1) {

      
String line = tempString.substring(fromIndex, endIndex);

      
line = strBuf.toString() + line;

      
writeFileByLine(fcout, wBuffer, line);

      
strBuf.delete(0, strBuf.length());

      
fromIndex = endIndex + 1;
      

               }
      
     }
      
 } catch (Exception e) {
      
     e.printStackTrace();
      
 }
      

    

    }
    

    /**
    

    • 读文件写入数据库
      • 

    • @param bufSize
      • 

    • @param fcin
      • 

    • @param rBuffer

      
*/

      
public static void readFileByLine(int bufSize, FileChannel fcin,

      
ByteBuffer rBuffer) {

      
Connection conn = null;

      
Statement pst = null;

      
String enterStr = "\n";

      
try {

      
byte[] bs = new byte[bufSize];

      
StringBuilder strBuf = new StringBuilder("");

      
String tempString = null;

      
Class.forName("com.mysql.jdbc.Driver");

      
conn = DriverManager.getConnection(

      
"jdbc:mysql://localhost:3306/doctor?useUnicode=true&characterEncoding=utf-8", "root", "root");

      
pst = conn.createStatement();

      
while (fcin.read(rBuffer) != -1) {
      

           int rSize = rBuffer.position();
      
     rBuffer.rewind();
      
     rBuffer.get(bs);
      
     rBuffer.clear();
      
     tempString = new String(bs, 0, rSize);
      
     int fromIndex = 0;
      
     int endIndex = 0;
      
     int i = 0;
      
     while ((endIndex = tempString.indexOf(enterStr, fromIndex)) != -1) {
      
         String line = tempString.substring(fromIndex, endIndex);
      
         line = strBuf.toString() + line;
      
         strBuf.delete(0, strBuf.length());
      
         fromIndex = endIndex + 1;
      
         pst.addBatch(line);
      
       /*  System.out.println("-----------------------");
      
         System.out.println(line);
      
         System.out.println("-----------------------");*/
      
         if (i % 100 == 0) {
      
             System.out.println("执行了：" + i);
      
             if (i == 2700) {
      
                 System.out.println("导了：" + i);
      
             }
      
             int[] flag = pst.executeBatch();
      
             System.out.println("结果：" + flag[0]);
      
         }
      
         i += 1;
      
     }
      
     // 执行批量更新
      
     pst.executeBatch();

     if (rSize > tempString.length()) {
      
         strBuf.append(tempString.substring(fromIndex,
      
                 tempString.length()));
      
     } else {
      
         strBuf.append(tempString.substring(fromIndex, rSize));
      
     }
      
     //  System.out.println(strBuf.toString());
      
 }
      

      

      } catch (Exception e) {

      
e.printStackTrace();

      
} finally {

      
try {

      
if (pst != null) {

      
pst.close();

      
}

      
if (conn != null) {

      
conn.close();

      
}

      
} catch (SQLException e) {

      
e.printStackTrace();

      
}

      
}

      
}
    

    public static void writeFileByLine(FileChannel fcout, ByteBuffer wBuffer,

    
String line) {

    
try {

    
fcout.write(wBuffer.wrap(line.getBytes()), fcout.size());

    
} catch (Exception e) {

    
e.printStackTrace();

    
}

    
}

    
}

nio实现文件读取写入数据库或文件的更多相关文章

  1. PostgreSql那点事（文件读取写入、命令执行的办法）

    • 2013/07/9 作者: admin PostgreSql那点事(文件读取写入.命令执行的办法) 今天无意发现了个PostgreSQL环境,线上学习了下,一般的数据注射(读写数据库)差异不大,不 ...

  2. xml文件读取到数据库

    xml文件读取到数据库   第一步,导包 c3p0,dom4j,jaxen,MySQL-connector 第二步  xml文件,config文件 第三步 javabean 第四步 c3p0的工具类 ...

  3. Excel 读取写入数据库

    // Excel 读取写入数据库 // 3.8版本的poi  4.0 可以不用写  parseCell  这个方法,可以直接赋值 STRING 类型 import org.apache.poi.hss ...

  4. SpringBoot读取Linux服务器某路径下文件\读取项目Resource下文件

    // SpringBoot读取Linux服务器某路径下文件 public String messageToRouted() { File file = null; try { file = Resou ...

  5. (OAF)jdeveloper集成log4j并将日志输出到指定文件并写入数据库

    参考: How to configure Log4j in JDev 11g Ever wanted to use log4j in your adf project ? Well though Or ...

  6. python向config、ini文件读取写入

    config读取操作 cf = configparser.ConfigParser() # 实例化对象 cf.read(filename) # 读取文件 cf.sections() # 读取secti ...

  7. html外部文件读取/写入

    1.文件的读取 外部文件读取控件: <input type="file" id="file_jquery" onchange="file_jqu ...

  8. python学习笔记6-输入输出与文件读取写入

    (1)打印到屏幕:print (2)读取键盘输入:input/raw_input #键盘输入 str = raw_input("Please enter:"); print (&q ...

  9. shell cat 合并文件，合并数据库sql文件

    > 覆盖写入 >> append模式写入 ###################################################################合并数 ...

随机推荐

  1. CSS中的相关概念

    CSS的几个概念: 包括块:一个元素的"布局上下文".对于正常的HTML文本流中的一个元素,包括块由近期的块级祖先框.表单元格或行内块祖先框的内容边界(content edge)构 ...

  2. poj 2513 欧拉回路+并查集推断是否联通+Trie树

    http://poj.org/problem? id=2513 最初看到 第一感觉---map  一看250000的数据量 果断放弃 然后记得曾经看过.trie取代map.尤其当数据量特别大的时候 学 ...

  3. Android configChanges使用方法

    1.    在manifest文件里使用activity的默认属性.横屏竖屏时,惠重复调用onDestory和onCreate  造成不必要的开销.Android默认如此应该是为了适配不同的xml布局 ...

  4. bsp开发之OAL开发

    windows ce 操作系统移植主要包含两个方面:一个是基于cpu级的.还有一个是基于开发板级的.cpu级的主要由微软或者芯片制造商来完毕.开发板级的移植主要是由OEM来完毕的,而OAL的开发正是O ...

  5. thinkphp命名空间

    thinkphp命名空间 总结 1.只对函数,类,及const定义的常量有效,对define定义的常量无效 2.如果函数不是为了使用,那有什么意义呢 3.ThinkPHP将命名空间转化为了路径,比如n ...

  6. 安卓开发--WebView

    package com.zhangxi.test01; import android.app.Activity;import android.app.ProgressDialog;import and ...

  7. 继承—Car

    编写一个Car类,具有final类型的属性品牌,具有功能drive: 定义其子类Aodi和Benchi,具有属性:价格.型号:具有功能:变速: 定义主类E,在其main方法中分别创建Aodi和Benc ...

  8. Asp.Net中使用水晶报表（中）

    Asp.Net中使用水晶报表(中) 使用Pull模式 我们将通过下面的这些步骤来通过Pull模式来执行水晶报表 1.首先创建rpt文件,并使用水晶报表设计接口设置一些必须的数据连接. 2.拖放一个 C ...

  9. Android属性动画-基本用法

    在手机上去实现一些动画效果算是件比较炫酷的事情,因此Android系统在一开始的时候就给我们提供了两种实现动画效果的方式,逐帧动画(frame-by-frame animation)和补间动画(twe ...

  10. 我的Spring MVC第一个应用

    Product package com.mstf.bean; import java.io.Serializable; /** * Product类,封装了一些信息,包含三个属性 * @author ...