Java———较大二进制文件的读、写
由于项目需要,需要对二进制文件进行读写、转换。
文件说明:由其他程序得到的二进制文件,文件内容为:包含23543个三角形、13270个顶点的三角网所对应的721组流速矢量(u、v)文件,通俗些说,一条数据包含两个双精度型的数值,每组数组包含23543条数据,如果以一个双精度数值为单位,则总共有23543 * 721 * 2 =33,949,006条数据。由Fortran程序以每 8 Byte存储一个数值的二进制文件存储,最终文件大小为下图所示:
测试:从该文件读出数据之后,转换为十进制,存储到另一个文件中。
/**
* 针对大文件存储,请依次调用beginSave、AddSave、endSave。
*
* @author CK
*
*/
public class DataUtil { DataOutputStream BinaryOut=null;
BufferedWriter TextOut=null;
String FilePath=null;
enum SaveFileType{Text,Binary};
SaveFileType SaveFileType; /**
* double转byte[]
*
* @param d
* @return
*/
public static byte[] double2Bytes(double d) {
long value = Double.doubleToRawLongBits(d);
byte[] byteRet = new byte[8];
for (int i = 0; i < 8; i++) {
byteRet[i] = (byte) ((value >> 8 * i) & 0xff);
}
return byteRet;
} /**
* byte[]转double
*
* @param arr
* @return
*/
public static double bytes2Double(byte[] arr) {
long value = 0;
for (int i = 0; i < 8; i++) {
value |= ((long) (arr[i] & 0xff)) << (8 * i);
}
return Double.longBitsToDouble(value);
}
/**
* 大型数据存储之开始存储
* @param FilePath 文件路径
* @param saveFileType 保存的文件类型,文本文件、双精度所存的二进制文件
* @return
* @throws IOException
*/
public boolean BeginSave(String FilePath,SaveFileType saveFileType) throws IOException {
if (FilePath == "" || FilePath == null) {
System.out.println("the SavePath is null.");
return false;
}
this.FilePath=FilePath;
this.SaveFileType=saveFileType;
File dataFile = new File(FilePath);
if (!dataFile.getParentFile().exists()) {
dataFile.getParentFile().mkdirs();
}
if (dataFile.exists()) {
dataFile.delete();
}
dataFile.createNewFile();
switch(this.SaveFileType){
case Text:
TextOut= new BufferedWriter(new FileWriter(dataFile,true));
break;
case Binary:
BinaryOut = new DataOutputStream(new FileOutputStream(dataFile,true));
break;
default:
break; }
return true;
}
/**
* 大型文件存储之追加存储
* @param DataStr 若是文本存储则无要求,若是双精度的二进制文件,以若干空格隔开
* @return
* @throws IOException
*/
public boolean AddSave(String DataStr) throws IOException{
switch(this.SaveFileType){
case Text:
this.TextOut.append(DataStr);
break;
case Binary:
DataStr=DataStr.trim();
String[] dataArray=DataStr.split("\\s+");
for(int i=0;i<dataArray.length;i++){
this.BinaryOut.write(double2Bytes(Double.parseDouble(dataArray[i])));
}
break;
default:
break; } return true;
}
/**
* 大型文件存储之结束保存,清空缓存、关闭文件。
* @return
* @throws IOException
*/
public boolean EndSave() throws IOException{
switch(this.SaveFileType){
case Text:
this.TextOut.flush();
this.TextOut.close();
break;
case Binary:
this.BinaryOut.flush();
this.BinaryOut.close();
break;
default:
break;
} return true;
}
/**
* 将字符串保存为文本文件(一次完成)
*
* @param DataStr
* 文件内容
* @param SavePath
* 文件路径,包含文件名、后缀
* @return
* @throws IOException
*/
public boolean saveTextFile(String DataStr, String SavePath)
throws IOException {
if (DataStr == "" || DataStr == null) {
System.out.println("the dataStr is null.");
return false;
}
if (SavePath == "" || SavePath == null) {
System.out.println("the SavePath is null.");
return false;
}
File dataFile = new File(SavePath);
if (!dataFile.getParentFile().exists()) {
dataFile.getParentFile().mkdirs();
}
if (dataFile.exists()) {
dataFile.delete();
}
dataFile.createNewFile();
BufferedWriter out; out = new BufferedWriter(new FileWriter(dataFile)); out.append(DataStr);
out.flush();
out.close(); return true;
} /**
* 双精度存为二进制数据(一次存储)
*
* @param DataStr 双精度数据组成的字符串,以若干空格隔开
* @param OutputPath
* @return
* @throws IOException
*/
public boolean saveBinaryFile(String DataStr, String OutputPath) throws IOException { if (DataStr == "" || DataStr == null) {
System.out.println("the dataStr is null.");
return false;
}
if (OutputPath == "" || OutputPath == null) {
System.out.println("the OutputPath is null.");
return false;
}
File dataFile = new File(OutputPath); if (!dataFile.getParentFile().exists()) {
dataFile.getParentFile().mkdirs();
}
if (dataFile.exists()) {
dataFile.delete();
}
dataFile.createNewFile();
DataOutputStream out;
out = new DataOutputStream(new FileOutputStream(dataFile));
// 数据处理
DataStr=DataStr.trim();
String[] dataArray=DataStr.split("\\s+");
for(int i=0;i<dataArray.length;i++){
out.write(double2Bytes(Double.parseDouble(dataArray[i])));
}
out.flush();
out.close();
return true; }
}
代码说明:其中byte[]与double互转为在互联网上查到的方法,具体是哪位大神的我忘记了,在这里为了记录就贴出来啦,上述代码包含了处理小型文件时,将所有内容存在缓存中,之后再一次性写入文本文件、二进制文件中的方法,还包含了对较大型文件的读写方法,下面是自己的一个读写测试。
/**
* 测试二进制大文件读写(200M左右)
* @author ck
*
*/
public class FileTest {
static String inputFilePath=""; //输入文件路径,包含文件名后缀
static String outputFilePath=""; //输出文件名,包含文件名后缀 public static void file2file() throws IOException{
DataUtil dataUtil=new DataUtil();
DataInputStream br=new DataInputStream(
new BufferedInputStream(
new FileInputStream(inputFilePath)));
dataUtil.BeginSave(outputFilePath, SaveFileType.Text); //初始化,创建文件,采用文件追加存储的思路
byte[] oneData=new byte[8];
int i=0,count =0 ;
while(br.read(oneData, 0, 8)!=-1){
i=i+1;
dataUtil.AddSave(String.valueOf(DataUtil.bytes2Double(oneData)));
if(i/23543==0){
count++;
System.out.println(count+"\n"); }
}
dataUtil.EndSave(); //将还在缓存中的数据写入到文件中,关闭文件。
}
}
此次测试代码很快就run完了,但是输出文件的生成大概用了近半分钟(刻意秒表计时了一次),尝试用一次性读写的办法,卡很久,也没有出结果。所得的十进制文本文件,大小为这么多:
我想,原来Fortran程序作者的初衷应该是觉得二进制存储比十进制节省空间吧,事实上也确实节省了一半多的空间。
恩,此次记录完毕。
Java———较大二进制文件的读、写的更多相关文章
- Java IO RandomAccessFile 任意位置读/写
随机读写类 RandomAccessFile的唯一父类是Object,与其他流父类不同.是用来访问那些保存数据记录的文件的,这样你就可以用seek( )方法来访问记录,并进行读写了.这些记录的大小不必 ...
- 1月中旬值得一读的10本技术新书(机器学习、Java、大数据等)!
1月中旬,阿里云云栖社区 联合 博文视点 为大家带来十本技术书籍(机器学习.Java.大数据等).以下为书籍详情,文末还有福利哦! 书籍名称:Oracle数据库问题解决方案和故障排除手册 内容简介 & ...
- java读/写文件
读取文件参考:https://blog.csdn.net/weixin_42129373/article/details/82154471 写入文件参考:https://blog.csdn.net/B ...
- java filechannel大文件的读写
java读取大文件 超大文件的几种方法 转自:http://wgslucky.blog.163.com/blog/static/97562532201332324639689/ java 读取一个 ...
- 【原创】用JAVA实现大文件上传及显示进度信息
用JAVA实现大文件上传及显示进度信息 ---解析HTTP MultiPart协议 (本文提供全部源码下载,请访问 https://github.com/grayprince/UploadBigFil ...
- java处理大文本方案
转载自:http://langgufu.iteye.com/blog/2107023 java处理大文件,一般用BufferedReader,BufferedInputStream这类带缓冲的Io类, ...
- 用JAVA实现大文件上传及显示进度信息
一. 大文件上传基础描述: 各种WEB框架中,对于浏览器上传文件的请求,都有自己的处理对象负责对Http MultiPart协议内容进行解析,并供开发人员调用请求的表单内容. 比如: Spring 框 ...
- java mysql大数据量批量插入与流式读取分析
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题,与解决方案.由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在 生成大量的汇总数据然后写入到数据库.基本流程是 读取- ...
- java之大文件分段上传、断点续传
文件上传是最古老的互联网操作之一,20多年来几乎没有怎么变化,还是操作麻烦.缺乏交互.用户体验差. 一.前端代码 英国程序员Remy Sharp总结了这些新的接口 ,本文在他的基础之上,讨论在前端采用 ...
随机推荐
- 演练:我的第一个 WPF 桌面应用程序 https://docs.microsoft.com/zh-cn/dotnet/framework/wpf/getting-started/walkthrough-my-first-wpf-desktop-application
这篇文章演示如何开发简单的 Windows Presentation Foundation (WPF) 应用程序包括元素所共有的大多数 WPF 应用程序: 可扩展应用程序标记语言 (XAML) 标记. ...
- oracle导入命令,记录一下 数据库日志太大,清理日志文件
oracle导入命令,记录一下 工作中用到了,这个命令,记录一下,前提要安装imp.exe imp PECARD_HN/PECARD_HN@127.0.0.1:1521/orcl file=E:\wo ...
- 解决burp suite 使用chrome訪问https失真的问题
用burp suite 訪问https网页 尤其使用chrome(有时候firefox也会) 会出现js或者css载入不出来的情况 这样的时候,导出burp suite的证书,保存为cer格式 然后进 ...
- TQ210--UBOOT移植笔记--添加自己的单板【学习笔记】
在uboot的源码的根目录下的readme中有介绍如何在uboot中添加自己的单板: 一.在boards.cfg中添加自己的单板的信息,可以模仿smdkc100去添加自己的单板的信息 二.复制单板的配 ...
- luogu 1901 发射站
题目大意: 一个数列,它左边第一个比它高的人和右边第一个比它高的人要加上它的权值 思路: 单调栈维护一个单调递减的栈 正反各维护一遍 #include<iostream> #include ...
- ModuleNotFoundError: No module named 'PIL'
错误:ModuleNotFoundError: No module named 'PIL' 解决办法: pip install Pillow
- POJ1389 Area of Simple Polygons 线段树
POJ1389 给定n个整数点矩形,求面积并. 显然ans必然是整数. 记录若干个事件,每个矩形的左边的竖边记为开始,右边的竖边记为结束. 进行坐标离散化后用线段树维护每个竖的区间, 就可以快速积分了 ...
- 杂项-Java:Tomcat
ylbtech-杂项-Java:Tomcat 1.返回顶部 1. Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目, ...
- 【152】C# 操作 Excel 杂记
前面写了一篇博文是关于 C# 操作 Excel 的文章,但是里面有些中规中矩,搞的我不知道怎么写了,所以另开一帖.. 注意:基本应用如下所示! //首先是引用 using Excel = Micros ...
- 最短路径(Dijkstra算法)
当用图结构来表示通信.交通等网络,权重代表距离或者成本,寻找最短路径就成为了一个重要的任务. 给定带权网络G=(V;E),源点s,对于其他所有顶点v,寻找s到v的最短路径,连接成一颗最短路径树.可以证 ...