1. NetCDF
  2. 1 NetCDF
  3. 1.1概述(Overview)
  4. NetCDF (network Common Data Form) is a set of software libraries and machine-independent data formats that support the creation, access, and sharing of array-oriented scientific data. Distributions are provided for Java and C/C++/Fortran. See the netCDF web site for more information.
  5. NetCDF全称为network Common Data Format( “网络通用数据格式”),是一个软件库与机器无关的数据格式,支持创建,访问基于数组的科研数据。分别提供了对Java和C / C++ / Fortran语言。
  6. 对程序员来说,它和zip、jpeg、bmp文件格式类似,都是一种文件格式的标准。netcdf文件开始的目的是用于存储气象科学中的数据,现在已经成为许多数据采集软件的生成文件的格式。
  7. 从数学上来说,netcdf存储的数据就是一个多自变量的单值函数。用公式来说就是f(x,y,z,...)=value, 函数的自变量x,y,z等在netcdf中叫做维(dimension)或坐标轴(axix),函数值value在netcdf中叫做变量(Variables)。而自变量和函数值在物理学上的一些性质,比如计量单位(量纲)、物理学名称在netcdf中就叫属性(Attributes)。
  8. 1.2 数组理解
  9. NetCDF是以数组为基础来对数据读写操作的,所以需要对数组理解明白,我们接触的二维数组比较容易理解,如果是三维、四维等多维数组的理解:
  10. 基础:
  11. //静态初始化
  12. int a[][] = {{1,2},{2,3}};
  13. //动态初始化
  14. int c[][] = new int[2][];
  15. int d[][] = new int[2][3];
  16. /*********多维数组声明和初始化是从高维到低维 以下都是语法错误的:
  17. *int b[2][] = {{1,2},{2,3}};
  18. *int c[][] = new int[][];
  19. *int c[][] = new int[][4];
  20. *********多维数组可以看成以高维数组作为元素的数组*/
  21. 如:int c[][] = new int[2][];
  22. c[0] = new int[3];
  23. c[1] = new int[3];
  24. 在内存中如下存放:
  25. 2 参考网站
  26. http://www.unidata.ucar.edu/
  27. 2.1 Unidata
  28. 2.2.1 About
  29. Unidata is a diverse community of over 160 institutions vested in the common goal of sharing data, and tools to access and visualize that data. For 20 years Unidata has been providing data, tools, and support to enhance earth-system education and research. In an era of increasing data complexity, accessibility, and multidisciplinary integration, Unidata provides a rich set of services and tools.
  30. Unidatay是一个多样化的社区。对通用数据共享,处理工具,数据访问,可视化等处理,近20年来Unidata已提供数据,工具和支持,以加强地球系统教育和研究。在一个日益复杂的数据,交通方便,和多学科融合的时代,Unidata提供的服务和丰富的工具集。
  31. 2.2.2 DATA
  32. The Unidata Program helps researchers and educators acquire and use earth-related data. Most of the data are provided in "real time" or "near-real time" — that is, the data are sent to participants almost as soon as the observations are made. Unidata is a data facilitator, not a data archive center. We provide a mechanism whereby educators and researchers, by participating in our Internet Data Distribution (IDD) system, may subscribe to streams of current data that interest them.
  33. Unidata项目帮助研究人员和教育工作者获得和使用地球相关的数据。大部分数据为实时数据或者临近数据,将数据发送到需要参与的对象。 Unidata是数据处理,而不是数据存储中心。
  34. Available Data Types:(现有数据类型)
  35. Forecast Model Output:出型预报
  36. Satellite Data:卫星数据
  37. Radar Data:雷达数据
  38. Lightning Data:闪电数据
  39. Wind Profiler Data:风分析的数据
  40. Aircraft-Borne (ACARS):航空传播数据
  41. GPS Meteo. (SuomiNet):GPS数据
  42. …………
  43. 3 NetCDF文件结构
  44. 3.1 变量(Variables)
  45. 变量对应着真实的物理数据。比如我们家里的电表,每个时刻显示的读数表示用户的到该时刻的耗电量。这个读数值就可以用netcdf里的变量来表示。它是一个以时间为自变量(或者说自变量个数为一维)的单值函数。再比如在气象学中要作出一个气压图,就是“东经xx度,北纬yy度的点的大气压值为多少帕”,这是一个二维单值函数,两维分别是经度和纬度。函数值为大气压。
  46. 从上面的例子可以看出,netcdf中的变量就是一个N维数组,数组的维数就是实际问题中的自变量个数,数组的值就是观测得到的物理值。变量(数组值)在netcdf中的存储类型有六种,ascii字符(char) ,字节(byte), 短整型(short), 整型(int), 浮点(float), 双精度(double)。
  47. 3.2 维(dimension)
  48. 一个维对应着函数中的某个自变量,或者说函数图象中的一个坐标轴,在线性代数中就是一个N维向量的一个分量(这也是维这个名称的由来)。在netcdf中,一个维具有一个名字和范围(或者说长度,也就是数学上所说的定义域,可以是离散的点集合或者连续的区间)。在netcdf中,维的长度基本都是有限的,最多只能有一个具有无限长度的维。
  49. 3.3 属性(Attribute)
  50. 属性对变量值和维的具体物理含义的注释或者说解释。因为变量和维在netcdf中都只是无量纲的数字,要想让人们明白这些数字的具体含义,就得靠属性这个对象了。在netcdf中,属性由一个属性名和一个属性值(一般为字符串)组成。比如,在某个cdl文件(cdl文件的具体格式在下一节中讲述)中有这样的代码段:
  51. temperature:units = "celsius" ;
  52. 前面的temperature是一个已经定义好的变量(Variable),即温度,冒号后面的units就是属性名,表示物理单位,=后面的就是units这个属性的值,为“celsius” ,即摄氏度,整个一行代码的意思就是温度这个物理量的单位为celsius。
  53. 3.4 表现形式(Representations)
  54. Representations of netCDF CF(Climate and Forecast) Dimension and Variable Information:
  55. CDL text, ncML, ncML with coordinate system extensions, and ncML-GML
  56. 3.4.1 CDL
  57. 网址:http://mailman.unidata.ucar.edu/software/netcdf/docs/netcdf/CDL-Syntax.html#CDL-Syntax
  58. netcdf example_1plus  {  // CDL with CF addions
  59. dimensions:         // dimension names and lengths are declared first
  60. lat = 5, lon = 10, level = 4, time = unlimited;
  61. variables:          // variable types, names, shapes, attributes
  62. short   time(time);
  63. time:standard_name  = "time";
  64. time:units      = "hours since 1996-1-1";
  65. int     lat(lat), lon(lon), level(level);
  66. lat:units       = "degrees_north";
  67. lat:standard_name = "latitude";
  68. lon:units       = "degrees_east";
  69. lon:long_name = "longitude";
  70. level:standard_name     = "air_pressure";
  71. level:units     = "millibars";
  72. float   temp(time,level,lat,lon);
  73. temp:long_name     = "temperature";
  74. temp:standard_name     = "air_temperature";
  75. temp:units         = "celsius";
  76. float   rh(time,lat,lon);
  77. rh:long_name = "relative humidity";
  78. rh:valid_range = 0.0, 1.0;      // min and max
  79. // global attributes
  80. :source = "Fictional Model Output";
  81. :Conventions = "CF-1.0";
  82. data:                // optional data assignments
  83. level   = 1000, 850, 700, 500;
  84. lat     = 20, 30, 40, 50, 60;
  85. lon     = -160,-140,-118,-96,-84,-52,-45,-35,-25,-15;
  86. time    = 12;
  87. rh      =.5,.2,.4,.2,.3,.2,.4,.5,.6,.7,
  88. .1,.3,.1,.1,.1,.1,.5,.7,.8,.8,
  89. .1,.2,.2,.2,.2,.5,.7,.8,.9,.9,
  90. .1,.2,.3,.3,.3,.3,.7,.8,.9,.9,
  91. 0,.1,.2,.4,.4,.4,.4,.7,.9,.9;
  92. }
  93. 如上:0.5表示time为12,lon为-160,lat为20的三维数据
  94. 0.2表示time为12,lon为-140,lat为20的三维数据
  95. 0  time为12,表示lon为-160,lat为60的三维数据
  96. ………………….
  97. 3.4.2 NCML
  98. 参考网址:http://www.unidata.ucar.edu/software/netcdf/ncml/v2.2/Tutorial.html
  99. <?xml version="1.0" encoding="UTF-8"?>
  100. <netcdf xmlns="http://www.unidata.ucar.edu/namespaces/netcdf/ncml-2.2" location="T:/GALEON/SimpleSamples/SampleNetCDFbens.nc">
  101. <dimension name="lat" length="5" />
  102. <dimension name="lon" length="10" />
  103. <dimension name="level" length="4" />
  104. <dimension name="time" length="1" isUnlimited="true" />
  105. <attribute name="source" type="String" value="Fictional Model Output" />
  106. <attribute name="Conventions" type="String" value="CF-1.0" />
  107. <variable name="time" shape="time" type="short">
  108. <attribute name="standard_name" type="String" value="time" />
  109. <attribute name="units" type="String" value="hours since 1996-1-1" />
  110. </variable>
  111. <variable name="lat" shape="lat" type="int">
  112. <attribute name="units" type="String" value="degrees_north" />
  113. <attribute name="standard_name" type="String" value="latitude" />
  114. </variable>
  115. <variable name="lon" shape="lon" type="int">
  116. <attribute name="units" type="String" value="degrees_east" />
  117. <attribute name="long_name" type="String" value="longitude" />
  118. </variable>
  119. <variable name="level" shape="level" type="int">
  120. <attribute name="standard_name" type="String" value="air_pressure" />
  121. <attribute name="units" type="String" value="millibars" />
  122. </variable>
  123. <variable name="temp" shape="time level lat lon" type="float">
  124. <attribute name="long_name" type="String" value="temperature" />
  125. <attribute name="standard_name" type="String" value="air_temperature" />
  126. <attribute name="units" type="String" value="celsius" />
  127. </variable>
  128. <variable name="rh" shape="time lat lon" type="float">
  129. <attribute name="long_name" type="String" value="relative humidity" />
  130. <attribute name="valid_range" type="double" value="0.0 1.0" />
  131. </variable>
  132. </netcdf>
  133. 3.4.3 NCML-CS
  134. 参考网址:http://www.unidata.ucar.edu/projects/THREDDS/GALEON/NetCDFandStandards.htm
  135. <?xml version="1.0" encoding="UTF-8"?>
  136. <netcdf xmlns="http://www.ucar.edu/schemas/netcdf" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.ucar.edu/schemas/netcdf http://www.unidata.ucar.edu/schemas/netcdf-cs.xsd" uri="T:/GALEON/SimpleSamples/SampleNetCDFbens.nc">
  137. <dimension name="lat" length="5" />
  138. <dimension name="lon" length="10" />
  139. <dimension name="level" length="4" />
  140. <dimension name="time" length="1" isUnlimited="true" />
  141. <attribute name="source" type="String" value="Fictional Model Output" />
  142. <attribute name="Conventions" type="String" value="CF-1.0" />
  143. <coordinateAxis name="time" shape="time" type="short" units="hours since 1996-1-1" axisType="Time">
  144. <attribute name="standard_name" type="String" value="time" />
  145. <attribute name="units" type="String" value="hours since 1996-1-1" />
  146. <attribute name="_CoordinateAxisType" type="String" value="Time" />
  147. </coordinateAxis>
  148. <coordinateAxis name="lat" shape="lat" type="int" units="degrees_north" axisType="Lat">
  149. <attribute name="units" type="String" value="degrees_north" />
  150. <attribute name="standard_name" type="String" value="latitude" />
  151. <attribute name="_CoordinateAxisType" type="String" value="Lat" />
  152. </coordinateAxis>
  153. <coordinateAxis name="lon" shape="lon" type="int" units="degrees_east" axisType="Lon">
  154. <attribute name="units" type="String" value="degrees_east" />
  155. <attribute name="long_name" type="String" value="longitude" />
  156. <attribute name="_CoordinateAxisType" type="String" value="Lon" />
  157. </coordinateAxis>
  158. <coordinateAxis name="level" shape="level" type="int" units="millibars" axisType="Pressure">
  159. <attribute name="standard_name" type="String" value="air_pressure" />
  160. <attribute name="units" type="String" value="millibars" />
  161. <attribute name="_CoordinateAxisType" type="String" value="Pressure" />
  162. </coordinateAxis>
  163. <variable name="temp" shape="time level lat lon" type="float" coordinateSystems="time-level-lat-lon">
  164. <attribute name="long_name" type="String" value="temperature" />
  165. <attribute name="standard_name" type="String" value="air_temperature" />
  166. <attribute name="units" type="String" value="celsius" />
  167. </variable>
  168. <variable name="rh" shape="time lat lon" type="float" coordinateSystems="time-lat-lon">
  169. <attribute name="long_name" type="String" value="relative humidity" />
  170. <attribute name="valid_range" type="double" value="0.0 1.0" />
  171. </variable>
  172. <coordinateSystem name="time-level-lat-lon">
  173. <coordinateAxisRef ref="time" />
  174. <coordinateAxisRef ref="level" />
  175. <coordinateAxisRef ref="lat" />
  176. <coordinateAxisRef ref="lon" />
  177. </coordinateSystem>
  178. <coordinateSystem name="time-lat-lon">
  179. <coordinateAxisRef ref="time" />
  180. <coordinateAxisRef ref="lat" />
  181. <coordinateAxisRef ref="lon" />
  182. </coordinateSystem>
  183. </netcdf>
  1. 附件文档:
  2. 4 NetCDF Java
  3. 4.1 概述(Overview)
  4. 参考网址:http://www.unidata.ucar.edu/software/netcdf-java/documentation.htm
  5. The NetCDF-Java library implements a Common Data Model (CDM), a generalization of the NetCDF, OpenDAP and HDF5 data models. The library is a prototype for the NetCDF-4 project, which provides a C language API for the "data access layer" of the CDM, on top of the HDF5 file format. The NetCDF-Java library is a 100% Java framework for reading netCDF and other file formats into the CDM, as well as writing to the netCDF-3 file format. The NetCDF-Java library also implements NcML, which allows you to add metadata to CDM datasets, as well as to create virtual datasets through aggregation.
  6. NetCDF-Java库实现了CDM(通用数据模型),CDM包括NetCDF,OpenDAP,HDF5数据模型,它是NetCDF-4项目的一个原型,NetCDF-4项目是紧跟HDF5文件格式后采用C语言作为CDM的的数据访问层API。在CDM中NetCDF-Java包是完全用Java架构来读取NetCDF和其他格式文件,和写netCDF-3格式文件一样。它还实现了NCML,允许你为CDM数据集添加元数据,和通过运算生成实际数据一样。
  7. 4.2 CDM(通用数据模型)
  8. 参考网址:http://www.unidata.ucar.edu/software/netcdf-java/CDM/index.html
  9. Unidata’s Common Data Model (CDM) is an abstract data model for scientific datasets. It merges the netCDF, OPeNDAP, and HDF5 data models to create a common API for many types of scientific data. The NetCDF Java library is an implementation of the CDM which can read many file formats besides netCDF. We call these CDM files, a shorthand for files that can be read by the NetCDF Java library and accessed through the CDM data model.
  10. Unidata社区的CDM(通用数据模型)是一个科学数据的抽象数据模型,它包括了NetCDF, OPeNDAP, HDF5数据模型并为不同类型的科学数据创建了一个通用的API。NetCDF Java库实现了CDM,CDM除了能读取NetCDF格式外还有其他类型文件,我们把这些CDM文件作为那些能被NetCDF Java库读取和访问的的文件的简称。
  11. 4.3 NetCDF-Java/CDM  Architecture
  12. 4.4 CDM-FILES
  13. General: NetCDF, OPeNDAP, HDF5, NetCDF4, HDF4, HDF-EOS
  14. Gridded: GRIB-1, GRIB-2, GEMPAK
  15. Radar: NEXRAD 2&3, DORADE, CINRAD, Universal Format, TDWR
  16. Point: BUFR, ASCII
  17. Satellite: DMSP, GINI, McIDAS AREA
  18. Misc: GTOPO, Lightning, etc
  19. Others in development (partial):
  20. AVHRR, GPCP, GACP, SRB, SSMI, HIRS (NCDC)
  21. 4.5 Data Access Layer Object Model
  22. 4.6 NetCDF举例
  23. 4.6.1 下载
  24. 下载地址: http://www.unidata.ucar.edu/software/netcdf-java/documentation.htm
  25. 在线API: http://www.unidata.ucar.edu/software/netcdf-java/v4.2/javadoc/index.html
  26. 目前最新版本为4.2.20
  27. 最新版本需要JDK6
  28. 4.6.2  生成NC文件
  29. package my.demo;
  30. import java.io.IOException;
  31. import java.util.ArrayList;
  32. import ucar.ma2.Array;
  33. import ucar.ma2.DataType;
  34. import ucar.nc2.Dimension;
  35. import ucar.nc2.NetcdfFileWriteable;
  36. public class CreateNetcdf {
  37. @SuppressWarnings("unchecked")
  38. public static void main(String[] args) throws Exception {
  39. String filename = "testWrite.nc";
  40. NetcdfFileWriteable ncfile = NetcdfFileWriteable.createNew(filename,true); // add
  41. // dimensions
  42. Dimension latDim = ncfile.addDimension("lat", 3);
  43. Dimension lonDim = ncfile.addDimension("lon", 3); // define
  44. // Variable
  45. ArrayList dims = new ArrayList();
  46. dims.add(latDim);
  47. dims.add(lonDim);
  48. ncfile.addVariable("temperature", DataType.DOUBLE, dims);
  49. ncfile.addVariableAttribute("temperature", "units", "K"); // add a
  50. // 1D
  51. // attribute
  52. // of
  53. // length
  54. // 3
  55. Array data = Array.factory(int.class, new int[] { 3 }, new int[] { 1,2,3 });
  56. ncfile.addVariableAttribute("temperature", "scale", data);
  57. // add a string-valued variable: char svar(80)
  58. Dimension svar_len = ncfile.addDimension("svar_len", 80);
  59. dims = new ArrayList();
  60. dims.add(svar_len);
  61. ncfile.addVariable("svar", DataType.CHAR, dims);
  62. // string array: char names(3, 80)
  63. Dimension names = ncfile.addDimension("names", 3);
  64. ArrayList dima = new ArrayList();
  65. dima.add(names);
  66. dima.add(svar_len);
  67. ncfile.addVariable("names", DataType.CHAR, dima);
  68. // how about a scalar variable?
  69. ncfile.addVariable("scalar", DataType.DOUBLE, new ArrayList()); // add
  70. // global
  71. // attributes
  72. ncfile.addGlobalAttribute("yo", "face");
  73. ncfile.addGlobalAttribute("versionD", new Double(1.2));
  74. ncfile.addGlobalAttribute("versionF", new Float(1.2));
  75. ncfile.addGlobalAttribute("versionI", new Integer(1));
  76. ncfile.addGlobalAttribute("versionS", new Short((short) 2));
  77. ncfile.addGlobalAttribute("versionB", new Byte((byte) 3)); // create
  78. // the
  79. // file
  80. try {
  81. ncfile.create();
  82. } catch (IOException e) {
  83. System.err.println("ERROR creating file " + ncfile.getLocation()+ "\n" + e);
  84. }
  85. }
  86. }
  87. 会生成一个testWrite.nc文件,该文件不能直接打开,可以通过下载的包中netcdfUI-4.2.jar打开:
  88. 4.6.3 读取NC文件
  89. package my.demo;
  90. import java.io.IOException;
  91. import java.util.List;
  92. import ucar.nc2.Dimension;
  93. import ucar.nc2.NetcdfFile;
  94. import ucar.nc2.Variable;
  95. public class ReadNetcdf {
  96. public static void main(String[] args) {
  97. String filename = "D:\\work\\netcdf\\testWrite.nc";
  98. NetcdfFile ncfile = null;
  99. try {
  100. ncfile = NetcdfFile.open(filename);
  101. //read dimensions
  102. List<Dimension> list =  ncfile.getDimensions();
  103. for(Dimension d : list){
  104. System.out.println("name="+d.getName()+" length="+d.getLength());
  105. }
  106. //read variables
  107. List<Variable> variables = ncfile.getVariables();
  108. System.out.println();
  109. for(Variable v : variables){
  110. System.out.println("name="+v.getName()+" NameAndDimension="+v.getNameAndDimensions()+" ElementSize="+v.getElementSize());
  111. }
  112. } catch (IOException ioe) {
  113. } finally {
  114. if (null != ncfile)
  115. try {
  116. ncfile.close();
  117. } catch (IOException ioe) {
  118. }
  119. }
  120. }
  121. }
  122. 运行打印如下:
  123. name=lat length=3
  124. name=lon length=3
  125. name=svar_len length=80
  126. name=names length=3
  127. name=temperature NameAndDimension=temperature(lat=3, lon=3) ElementSize=8
  128. name=svar NameAndDimension=svar(svar_len=80) ElementSize=1
  129. name=names NameAndDimension=names(names=3, svar_len=80) ElementSize=1
  130. name=scalar NameAndDimension=scalar ElementSize=8
  131. 4.6.4 读写文件
  132. package my.demo;
  133. import java.io.IOException;
  134. import ucar.ma2.ArrayDouble;
  135. import ucar.ma2.Index;
  136. import ucar.ma2.InvalidRangeException;
  137. import ucar.nc2.Dimension;
  138. import ucar.nc2.NetcdfFileWriteable;
  139. public class WriteDataToNetcdf {
  140. /**
  141. * @param args
  142. * @throws IOException
  143. */
  144. public static void main(String[] args) throws IOException {
  145. NetcdfFileWriteable ncfile = NetcdfFileWriteable.openExisting("D:\\work\\netcdf\\testWrite.nc", true);
  146. Dimension latDim = ncfile.getDimensions().get(0);
  147. Dimension lonDim = ncfile.getDimensions().get(1);
  148. ArrayDouble A = new ArrayDouble.D2(latDim.getLength(), lonDim.getLength());
  149. int i, j;
  150. Index ima = A.getIndex();
  151. for (i = 0; i < latDim.getLength(); i++) {
  152. for (j = 0; j < lonDim.getLength(); j++) {
  153. A.setDouble(ima.set(i, j), (double) (2));
  154. }
  155. }
  156. int[] origin = new int[2];
  157. try {
  158. ncfile.write("temperature", origin, A);
  159. ncfile.close();
  160. } catch (IOException e) {
  161. System.err.println("ERROR writing file");
  162. } catch (InvalidRangeException e) {
  163. e.printStackTrace();
  164. }
  165. }
  166. }
  167. 该方法为Variable temperature进行赋值,可以将修改后的testWrite.nc在netcdfUI-4.2.jar中查看:
  168. double temperature(lat=3, lon=3);
  169. :units = "K";
  170. :scale = 1, 2, 3; // int
  171. data:
  172. {
  173. {2.0, 2.0, 2.0},
  174. {2.0, 2.0, 2.0},
  175. {2.0, 2.0, 2.0}
  176. }
  177. 4.6.5 读取二维数据
  178. 通过v.read()可以读取数据:
  179. Variable v = ncfile.findVariable(varName);
  180. Variable v = ncfile.findVariable(varName);
  181. Array data = v.read("0:2:1, 0:19:1");
  182. package my.demo;
  183. import java.io.IOException;
  184. import ucar.ma2.Array;
  185. import ucar.nc2.NCdumpW;
  186. import ucar.nc2.NetcdfFile;
  187. import ucar.nc2.Variable;
  188. public class ReadData {
  189. public static void main(String[] args) {
  190. String filename = "D:\\work\\netcdf\\testWrite.nc";
  191. NetcdfFile ncfile = null;
  192. try {
  193. ncfile = NetcdfFile.open(filename);
  194. //find variable
  195. String variable = "temperature";
  196. Variable varBean = ncfile.findVariable(variable);
  197. //Reading data from a Variable
  198. if(null != varBean) {
  199. Array all = varBean.read();
  200. Array data = varBean.read("0:2:1, 0:2:1");
  201. Array data1 = varBean.read("0:2:2, 0:2:2");
  202. System.out.println("读取所有:\n"+NCdumpW.printArray(all, variable, null));
  203. System.out.println("x轴从0到2 跨度为1 y轴从0到2 跨度为1:\n"+NCdumpW.printArray(data, variable, null));
  204. System.out.println("x轴从0到2 跨度为2 y轴从0到2 跨度为2:\n"+NCdumpW.printArray(data1, variable, null));
  205. }
  206. if(null != varBean) {
  207. int[] origin = new int[] { 0 , 0};
  208. int[] size = new int[] { 3,3};
  209. Array data2D = varBean.read(origin, size);
  210. System.out.println("读取所有:\n"+NCdumpW.printArray(data2D, variable, null));
  211. }
  212. if(null != varBean) {
  213. int[] origin = new int[] { 1 , 1};
  214. int[] size = new int[] { 2,1};
  215. Array data2D = varBean.read(origin, size);
  216. System.out.println("读取从第二行第二列开始为起点x数量为1,y数量为2:\n"+NCdumpW.printArray(data2D, variable, null));
  217. }
  218. System.out.println("由此可得结论:维上的起点都以数组0开始,且阵列顺序在坐标中是从右至左\n如:int[] size = new int[] { 2,1},1代表x轴,2代表的是y轴....");
  219. } catch (Exception ioe) {
  220. ioe.printStackTrace();
  221. } finally {
  222. if (null != ncfile)
  223. try {
  224. ncfile.close();
  225. } catch (IOException ioe) {
  226. }
  227. }
  228. }
  229. }
  230. 打印结果如下:根据结果可以知道read("0:2:2, 0:2:2")和read(origin, size)的差别
  231. 读取所有:
  232. temperature =
  233. {
  234. {0.0, 1.0, 2.0},
  235. {1.0, 2.0, 3.0},
  236. {2.0, 3.0, 4.0}
  237. }
  238. x轴从0到2 跨度为1 y轴从0到2 跨度为1:
  239. temperature =
  240. {
  241. {0.0, 1.0, 2.0},
  242. {1.0, 2.0, 3.0},
  243. {2.0, 3.0, 4.0}
  244. }
  245. x轴从0到2 跨度为2 y轴从0到2 跨度为2:
  246. temperature =
  247. {
  248. {0.0, 2.0},
  249. {2.0, 4.0}
  250. }
  251. 读取所有:
  252. temperature =
  253. {
  254. {0.0, 1.0, 2.0},
  255. {1.0, 2.0, 3.0},
  256. {2.0, 3.0, 4.0}
  257. }
  258. 读取从第二行第二列开始为起点x数量为1,y数量为2:
  259. temperature =
  260. {
  261. {2.0},
  262. {3.0}
  263. }
  264. 由此可得结论:维上的起点都以数组0开始,且阵列顺序在坐标中是从右至左
  265. 如:int[] size = new int[] { 2,1},1代表x轴,2代表的是y轴....
  266. 4.6.6 多维NetCDF(三维)
  267. 4.6.6.1 创建
  268. 创建三维NetCDF文件:
  269. package my.demo;
  270. import java.io.IOException;
  271. import java.util.ArrayList;
  272. import ucar.ma2.Array;
  273. import ucar.ma2.DataType;
  274. import ucar.nc2.Dimension;
  275. import ucar.nc2.NetcdfFileWriteable;
  276. public class Create3DNetCDF {
  277. @SuppressWarnings("unchecked")
  278. public static void main(String[] args) throws Exception {
  279. String filename = "test3D.nc";
  280. NetcdfFileWriteable ncfile = NetcdfFileWriteable.createNew(filename,true); // add
  281. Dimension timeDim = ncfile.addDimension("time",2);
  282. Dimension latDim = ncfile.addDimension("lat", 3);
  283. Dimension lonDim = ncfile.addDimension("lon", 3); // define
  284. ArrayList dims = new ArrayList();
  285. dims.add(timeDim);
  286. dims.add(latDim);
  287. dims.add(lonDim);
  288. ncfile.addVariable("temperature", DataType.DOUBLE, dims);
  289. ncfile.addVariableAttribute("temperature", "units", "K"); // add a
  290. Array data = Array.factory(int.class, new int[] { 3 }, new int[] { 1,2,3 });
  291. ncfile.addVariableAttribute("temperature", "scale", data);
  292. try {
  293. ncfile.create();
  294. } catch (IOException e) {
  295. System.err.println("ERROR creating file " + ncfile.getLocation()+ "\n" + e);
  296. }
  297. }
  298. }
  299. 4.6.6.2 写数据
  300. package my.demo;
  301. import java.io.IOException;
  302. import ucar.ma2.ArrayDouble;
  303. import ucar.ma2.Index;
  304. import ucar.ma2.InvalidRangeException;
  305. import ucar.nc2.Dimension;
  306. import ucar.nc2.NetcdfFileWriteable;
  307. public class Write3DNetCDF {
  308. public static void main(String[] args) throws IOException {
  309. NetcdfFileWriteable ncfile = NetcdfFileWriteable.openExisting("D:\\work\\netcdf\\test3D.nc", true);
  310. Dimension timeDim = ncfile.getDimensions().get(0);
  311. Dimension latDim = ncfile.getDimensions().get(1);
  312. Dimension lonDim = ncfile.getDimensions().get(2);
  313. ArrayDouble A = new ArrayDouble.D3(timeDim.getLength(),latDim.getLength(), lonDim.getLength());
  314. int k,i, j;
  315. Index ima = A.getIndex();
  316. for(k = 0; k < timeDim.getLength(); k++){
  317. for (i = 0; i < latDim.getLength(); i++) {
  318. for (j = 0; j < lonDim.getLength(); j++) {
  319. A.setDouble(ima.set(k,i,j), (double) (k+i+j));
  320. }
  321. }
  322. }
  323. int[] origin = new int[3];
  324. try {
  325. ncfile.write("temperature", origin, A);
  326. ncfile.close();
  327. } catch (IOException e) {
  328. System.err.println("ERROR writing file");
  329. } catch (InvalidRangeException e) {
  330. e.printStackTrace();
  331. }
  332. }
  333. }
  334. 对应的CDL格式如下:
  335. double temperature(time=2, lat=3, lon=3);
  336. :units = "K";
  337. :scale = 1, 2, 3; // int
  338. data:
  339. {
  340. {
  341. {0.0, 1.0, 2.0},
  342. {1.0, 2.0, 3.0},
  343. {2.0, 3.0, 4.0}
  344. },
  345. {
  346. {1.0, 2.0, 3.0},
  347. {2.0, 3.0, 4.0},
  348. {3.0, 4.0, 5.0}
  349. }
  350. }
  351. 4.6.6.3 读数据
  352. package my.demo;
  353. import java.io.IOException;
  354. import ucar.ma2.Array;
  355. import ucar.nc2.NCdumpW;
  356. import ucar.nc2.NetcdfFile;
  357. import ucar.nc2.Variable;
  358. public class Read3DNetCDF {
  359. public static void main(String[] args) {
  360. String filename = "D:\\work\\netcdf\\test3D.nc";
  361. NetcdfFile ncfile = null;
  362. try {
  363. ncfile = NetcdfFile.open(filename);
  364. String variable = "temperature";
  365. Variable varBean = ncfile.findVariable(variable);
  366. //read all data
  367. if(null != varBean) {
  368. Array all = varBean.read();
  369. System.out.println("读取所有:\n"+NCdumpW.printArray(all, variable, null));
  370. }
  371. if(null != varBean) {
  372. int[] origin = new int[] { 0,1,1};
  373. int[] size = new int[] { 2,2,2};
  374. Array data2D = varBean.read(origin, size);
  375. System.out.println("读取从第一维的0开始,第二维从1开始,第三维从1开始,数量分别为2,2,2:\n"+NCdumpW.printArray(data2D, variable, null));
  376. }
  377. // invoke reduce trans 3D to 2D
  378. if(null != varBean) {
  379. int[] origin = new int[] { 0,1,1};
  380. int[] size = new int[] { 1,2,2};
  381. Array data2D = varBean.read(origin, size).reduce().reduce();
  382. System.out.println("读取从第一维的0开始,第二维从1开始,第三维从1开始,数量分别为1,2,2并转为二维:\n"+NCdumpW.printArray(data2D, variable, null));
  383. }
  384. } catch (Exception ioe) {
  385. ioe.printStackTrace();
  386. } finally {
  387. if (null != ncfile)
  388. try {
  389. ncfile.close();
  390. } catch (IOException ioe) {
  391. }
  392. }
  393. }
  394. }
  395. 打印:
  396. 读取所有:
  397. temperature =
  398. {
  399. {
  400. {0.0, 1.0, 2.0},
  401. {1.0, 2.0, 3.0},
  402. {2.0, 3.0, 4.0}
  403. },
  404. {
  405. {1.0, 2.0, 3.0},
  406. {2.0, 3.0, 4.0},
  407. {3.0, 4.0, 5.0}
  408. }
  409. }
  410. 读取从第一维的0开始,第二维从1开始,第三维从1开始,数量分别为2,2,2:
  411. temperature =
  412. {
  413. {
  414. {2.0, 3.0},
  415. {3.0, 4.0}
  416. },
  417. {
  418. {3.0, 4.0},
  419. {4.0, 5.0}
  420. }
  421. }
  422. 读取从第一维的0开始,第二维从1开始,第三维从1开始,数量分别为1,2,2并转为二维:
  423. temperature =
  424. {
  425. {2.0, 3.0},
  426. {3.0, 4.0}
  427. }
  428. 4.7 NetCDF-NCML(Modifying existing files)
  429. 通过NCML标记语言可以对NetCDF文件修改
  430. 参考网址:http://www.unidata.ucar.edu/software/netcdf/ncml/v2.2/Tutorial.html
  431. 4.8 NCML- Aggregation
  432. 通过NCML合并存在的多个NetCDF文件
  433. 参考网站:http://www.unidata.ucar.edu/software/netcdf/ncml/v2.2/Aggregation.html
  434. 4.9 NetCDF-IOSP(I/O Service Provide)
  435. 参考网址:http://www.unidata.ucar.edu/software/netcdf-java/tutorial/IOSPoverview.html
  436. 4.9.1 Overview
  437. A client uses the NetcdfFile, NetcdfDataset, or one of the Scientific Feature Type APIs to read data from a CDM file. These provide a rich and sometimes complicated API to the client. Behind the scenes, when any of these APIs actually read from a dataset, however, they use a very much simpler interface, the I/O Service Provider or IOSP for short. The Netcdf Java library has many implementations of this interface, one for each different file format that it knows how to read. This design pattern is called a Service Provider.
  438. IOSPs are managed by the NetcdfFile class. When a client requests a dataset (by calling NetcdfFile.open), the file is opened as a ucar.unidata.io.RandomAccessFile (an improved version of java.io.RandomAccessFile). Each registered IOSP is then asked "is this your file?" by calling isValidFile( ucar.unidata.io.RandomAccessFile). The first one that returns true claims it. When you implement isValidFile() in your IOSP, it must be very fast and accurate.
  439. 4.9.2 IOServiceProvider
  440. package ucar.nc2.iosp;
  441. import ucar.ma2.Section;
  442. import ucar.ma2.InvalidRangeException;
  443. import ucar.ma2.StructureDataIterator;
  444. import ucar.nc2.ParsedSectionSpec;
  445. import ucar.nc2.Structure;
  446. import java.io.IOException;
  447. import java.nio.channels.WritableByteChannel;
  448. /**
  449. * This is the service provider interface for the low-level I/O access classes (read only).
  450. * This is only used by service implementors.
  451. *
  452. * The NetcdfFile class manages all registered IOServiceProvider classes.
  453. * When NetcdfFile.open() is called:
  454. * <ol>
  455. * <li> the file is opened as a ucar.unidata.io.RandomAccessFile;</li>
  456. * <li> the file is handed to the isValidFile() method of each registered
  457. * IOServiceProvider class (until one returns true, which means it can read the file).</li>
  458. * <li> the open() method on the resulting IOServiceProvider class is handed the file.</li>
  459. *
  460. * @see ucar.nc2.NetcdfFile#registerIOProvider(Class) ;
  461. *
  462. * @author caron
  463. */
  464. public interface IOServiceProvider {
  465. /**
  466. * Check if this is a valid file for this IOServiceProvider.
  467. * You must make this method thread safe, ie dont keep any state.
  468. *
  469. * @param raf RandomAccessFile
  470. * @return true if valid.
  471. * @throws java.io.IOException if read error
  472. */
  473. public boolean isValidFile( ucar.unidata.io.RandomAccessFile raf) throws IOException;
  474. }
  475. 其他方法见官网介绍或API文档。
  476. 4.9.3 AbstractIOServiceProvider
  477. Your implementataion class should extend ucar.nc2.iosp.AbstractIOServiceProvider. This provides default implementation of some of the methods, so minimally, you only have to implement 4 methods:
  478. public class MyIosp extends ucar.nc2.iosp.AbstractIOServiceProvider {
  479. 1)  public boolean isValidFile(RandomAccessFile raf) throws IOException {}
  480. 2)  public void open(RandomAccessFile raf, NetcdfFile ncfile, CancelTask cancelTask) throws IOException {}
  481. 3)  public Array readData(Variable v2, Section wantSection) throws IOException, InvalidRangeException {}
  482. 4)  public void close() throws IOException {}
  483. 5)  public String getFileTypeId() {}
  484. 5)  public String getFileTypeVersion() {}
  485. 5)  public String getFileTypeDescription();
  486. }
  487. 4.9.4 IOSP-Example
  488. 通过IOSP对数据处理生成NetCDF文件已经读取NetCDF数据例子:
  489. 参考网址:
  490. http://www.unidata.ucar.edu/software/netcdf-java/tutorial/index.html
  491. 图中的例子为雷电数据,卫星数据,雷达数据相关

NetCDF 介绍的更多相关文章

  1. R语言实战(一)介绍、数据集与图形初阶

    本文对应<R语言实战>前3章,因为里面大部分内容已经比较熟悉,所以在这里只是起一个索引的作用. 第1章       R语言介绍 获取帮助函数 help(), ? 查看函数帮助 exampl ...

  2. NetCDF 入门

    一.概述  NetCDF全称为network Common Data Format,中文译法为“网络通用数据格式”,对程序员来说,它和zip.jpeg.bmp文件格式类似,都是一种文件格式的标准.ne ...

  3. netcdf入门(转)

    一.概述  NetCDF全称为network Common Data Format,中文译法为“网络通用数据格式”,对程序员来说,它和zip.jpeg.bmp文件格式类似,都是一种文件格式的标准.ne ...

  4. NetCDF 共享软件 中文

    NetCDF 共享软件   转载 在 Models-3 模式中,使用的数据存取接口称为 I/O API,其实就是 NetCDF 文件格式.而由于我们需要了解 Models-3 输出档案的数据情况,因此 ...

  5. NETCDF入门

    转载自:http://www.cnblogs.com/davidgu/p/3572317.html 一.概述  NetCDF全称为network Common Data Format,中文译法为“网络 ...

  6. Python常用的库简单介绍一下

    Python常用的库简单介绍一下fuzzywuzzy ,字符串模糊匹配. esmre ,正则表达式的加速器. colorama 主要用来给文本添加各种颜色,并且非常简单易用. Prettytable ...

  7. CSS3 background-image背景图片相关介绍

    这里将会介绍如何通过background-image设置背景图片,以及背景图片的平铺.拉伸.偏移.设置大小等操作. 1. 背景图片样式分类 CSS中设置元素背景图片及其背景图片样式的属性主要以下几个: ...

  8. MySQL高级知识- MySQL的架构介绍

    [TOC] 1.MySQL 简介 概述 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle公司. MySQL是一种关联数据库管理系统,将数据保存在不同的表中,而 ...

  9. Windows Server 2012 NIC Teaming介绍及注意事项

    Windows Server 2012 NIC Teaming介绍及注意事项 转载自:http://www.it165.net/os/html/201303/4799.html Windows Ser ...

随机推荐

  1. c++ using Handle Class Pattern to accomplish implementation hiding

    Reference material: Thinking In C++ 2nd eidition chapter 5 section "Handle classes" If the ...

  2. tcp3握手,作用,syn攻击

    tcp建立链接3次握手: 1.客户端→服务端,发送seq=x,syn=1 2.服务端→客户端,发送seq=y,syn=1,ack=x+1 3.客户端→服务端,发送seq=z,ack=y+1 三次握手作 ...

  3. IOS设计模式浅析之抽象工厂模式(Abstract Factory)

    概述 在前面两章中,分别介绍了简单工厂模式和工厂方法模式,我们知道简单工厂模式的优点是去除了客户端与具体产品的依赖,缺点是违反了“开放-关闭原则”:工厂方法模式克服了简单工厂模式的缺点,将产品的创建工 ...

  4. struts.xml文件:

    struts.xml文件中包含的配置信息,你将修改所采取的措施的开发.这个文件可以被用来覆盖默认设置的应用程序,例如struts.devMode=false和其他设置中定义的属性文件.这个文件可以创建 ...

  5. thinkPHP3.2.2中支持的URL的四种模式

  6. Eclipse调试部分手机不显示日志问题解决

    在拨号键盘输入一串指令,然后会进入到工程模式,最后可以在Log设置里面设置了. 华为:*#*#2846579#*#* 酷派:*20121220#

  7. Ubuntu 14.04 Vim编辑文件的一般操作

    vim编辑文件的一般操作 1. vim #在命令行中输入vim,进入vim编辑器 2. i #按一下i键,下端显示 --INSERT-- #插入命令,在vim中可能任意字符都有作用 3. Esc #退 ...

  8. Python将数据保存到CSV中

    #coding:utf-8import csv headers = ['ID','UserName','Password','Age','Country'] rows = [(1001,'qiye', ...

  9. 网络摄像机进行互联网视频直播录像方案的选择,EasyNVS or EasyCloud or EasyGBS?

    背景需求 互联网视频直播越来越成为当前大势:直播的需求往往都伴随在录像的需求,对于录像,不同的场景又有不同的方案选择: 本篇博客将会介绍对应的几种录像方案,可以帮助有互联网录像需求的用户进行对应的录像 ...

  10. 【转】再谈CLR查找和加载程序集的方式

    这是一个老问题,以前也有朋友写过一些文章介绍,但可能还不是很全面.我也多次被人问到,这里结合案例再次谈谈,希望对大家有所帮助. 本文范例代码可以通过这里下载 http://files.cnblogs. ...