JDBC之 大数据内容的传输

什么是大数据内容?

  在数据库中,有一条一条的记录,记录中很多字段都是几个字符就够的,假如现在要把一部小说存入数据库,这本小说当然不是几个字符组成,而是由几万字组成,这本小说的数据我们就可以说是大数据,生活中当然有各种各样的大数据:电影,音乐,图片等等。。。

大字符数据内容操作

  大字符内容:通常是指很长的字符类型的文件,例如小说,故事等等,内容有字符组成。

下面说明一下MySQL与Oracle中的大数据类型

数据种类 数据大小 MySQL Oracle
字符 char,varchar varchar2
  text/longtext clob
字节 bit,blob,longblob blob

1.把大字符数据存进数据库(把一个文本的数据存进MySQL中的text类型字段)

@Test
public void writeInDB() throws Exception {
//获取连接
connection = sqlUtil.getconnection(); //获取对象
PreparedStatement preparedStatement =
connection.prepareStatement("insert into book values(?)"); //准备一个Reader用于读取本地文件
Reader reader = new FileReader(new File("e:/test.txt")); //设置大数据参数
preparedStatement.setClob(1, reader); //执行SQL语句
preparedStatement.executeUpdate(); //关闭资源
reader.close();
sqlUtil.close(preparedStatement, connection);
}

2.从数据库把大字符文件读入到本地

        @Test
public void readFromDB() throws Exception
{
//获取连接
connection = sqlUtil.getconnection(); //创建对象
PreparedStatement preparedStatement =
connection.prepareStatement("SELECT content FROM book"); //设置参数
//preparedStatement.setObject(1, "book"); //获得结果
ResultSet res = preparedStatement.executeQuery(); //以String的形式获得大字符内容
while(res.next())
{
String content = res.getString("content");
System.out.println(content);
} //关闭资源
sqlUtil.close(preparedStatement, connection);
}

获得结果后还有第二种方法:

@Test
public void readFromDB() throws Exception
{
//获取连接
connection = sqlUtil.getconnection(); //创建对象
PreparedStatement preparedStatement =
connection.prepareStatement("SELECT content FROM book"); //设置参数
//preparedStatement.setObject(1, "book"); //获得结果
ResultSet res = preparedStatement.executeQuery(); FileWriter fileWriter = new FileWriter(new File("d:/11021.txt"));
//利用Clob对象
if(res.next())
{
Clob clob = res.getClob("content");
Reader reader = clob.getCharacterStream(); //然后把Reader写入到本地文件中
char[] cr = new char[1024];
int len = 0;
while((len = reader.read(cr))!=-1)
{
fileWriter.write(cr, 0, len);
}
reader.close();
} //关闭资源
fileWriter.close();
sqlUtil.close(preparedStatement, connection);
}

以上就是对大字符文件的读入与写出~下面我们示范来对大字节文件的操作~

4.把大字节文件写入数据库

    @Test
public void writeInDB() throws Exception {
//获取连接
connection = sqlUtil.getconnection(); //获取对象
PreparedStatement preparedStatement =
connection.prepareStatement("insert into book values(?,?)"); //准备一个InputStream用于读取本地文件
InputStream in = new FileInputStream(new File("f:/computer.jpg")); //设置大数据参数
preparedStatement.setObject(1, 1);
preparedStatement.setBlob(2, in);
//也可以使用这个
//preparedStatement.setBinaryStream(2, in); //执行SQL语句
preparedStatement.executeUpdate(); //关闭资源
in.close();
sqlUtil.close(preparedStatement, connection);
}

5.从数据库把大字节文件读取到本地

    @Test
public void readFromDB() throws Exception
{
//获取连接
connection = sqlUtil.getconnection(); //创建对象
PreparedStatement preparedStatement =
connection.prepareStatement("SELECT content FROM book where id=?"); //设置参数
preparedStatement.setInt(1, 1); //获得结果
ResultSet res = preparedStatement.executeQuery(); FileOutputStream out = new FileOutputStream(new File("d:/999.jpg"));
//利用Blob对象
if(res.next())
{
//Blob blob = res.getBlob("content");
//InputStream in = blob.getBinaryStream();//这样也行 InputStream in = res.getBinaryStream("content");
//然后把Reader写入到本地文件中
byte[] buf = new byte[1024];
int len = 0;
while((len = in.read(buf))!=-1)
{
out.write(buf, 0, len);
}
in.close();
out.close();
}
//关闭资源
sqlUtil.close(preparedStatement, connection);
}

JDBC之 大数据内容的传输的更多相关文章

  1. C# 之 提高WebService性能大数据量网络传输处理

    1.直接返回DataSet对象 特点:通常组件化的处理机制,不加任何修饰及处理: 优点:代码精减.易于处理,小数据量处理较快: 缺点:大数据量的传递处理慢,消耗网络资源: 建议:当应用系统在内网.专网 ...

  2. WebService - 怎样提高WebService性能 大数据量网络传输处理

    直接返回DataSet对象 返回DataSet对象用Binary序列化后的字节数组 返回DataSetSurrogate对象用Binary序列化后的字节数组 返回DataSetSurrogate对象用 ...

  3. 使用tar+pigz+ssh实现大数据的高效传输

    以前我们跨主机拷贝大数据的时候,比如要拷贝超过100GB的mysql原始数据,我们通常的做法如下: 在源端打包压缩为tar.gz文件 采用scp或者rsync等方式拷贝到目标主机 在目标主机解压文件 ...

  4. JDBC处理大数据

    1.处理大文本 package com.demo; import java.io.File; import java.io.FileNotFoundException; import java.io. ...

  5. (十六)JDBC 处理大数据

    目录 前言: 基本概念 对于Mysql的Text类型 流地址的写法 blob类型数据 备注 前言: 在实际开发中,程序需要把 大文本或二进制 数据保存到数据库中: 实际上,我们并不存储大的数据到数据库 ...

  6. c# 模拟表单提交,post form 上传文件、大数据内容

    表单提交协议规定:要先将 HTTP 要求的 Content-Type 设为 multipart/form-data,而且要设定一个 boundary 参数,这个参数是由应用程序自行产生,它会用来识别每 ...

  7. WebService下实现大数据量的传输

    设置RemotingFormat = SerializationFormat.Binary;再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不 ...

  8. JDBC 学习笔记(二)—— 大数据+存储过程+批处理+事务管理

    本文目录:       1.使用JDBC处理大数据        2.使用JDBC处理大文本        3.使用JDBC处理二进制数据        4.Oracle中大数据处理        5 ...

  9. BLOB:大数据,大对象,在数据库中用来存储超长文本的数据,例如图片等

    将一张图片存储在mysql中,并读取出来(BLOB数据:插入BLOB类型的数据必须使用PreparedStatement,因为插入BLOB类型的数据无法使用字符串拼写): -------------- ...

随机推荐

  1. Zookeeper可视化工具

    zkui 简介 zkui它提供了一个管理界面,可以针对zookeepr的节点值进行CRUD操作,同时也提供了安全认证. 下载安装 项目地址 下载 $ git clone https://github. ...

  2. k8s如何管理Pod(rc、rs、deployment)

    是豆荚,可以把容器想像成豆荚里的豆子,把一个或多个关系紧密的豆子包在一起就是豆荚(一个Pod).在k8s中我们不会直接操作容器,而是把容器包装成Pod再进行管理(关于Pod,大家可以参考第十期的分享“ ...

  3. Spark记录-Scala语法基础

    参考:http://docs.scala-lang.org/cheatsheets/index.html.http://docs.scala-lang.org/.http://www.scala-la ...

  4. git 查看一个分支是否被合并过

    1.查看该分支的提交历史 git log 分支名 2.git log master |grep comitid 如果包含,就证明已经合并过 3.git branch -d 分支名,如果报错,就是没合并 ...

  5. C++的Enum hack

    从一个例子开始吧 class Game { private: static const int GameTurn = 10; int scores[GameTurn]; }; 对于支持类内初始化的C+ ...

  6. 第13月第10天 swift3.0

    1. Type 'Any' has no subscript members 这一条简直莫名其妙.大体意思就是,你这个类型"Any"不是个数组或者字典,不能按照下标取东西. 我之前 ...

  7. MD5小彩虹表

    为方便日常查询,需要一个MD5小彩虹表,当然网上有比较多的这样的查询站点,但感觉最近使用起来十分不便. 因此,编写一个小程序,用来查询一些经常出现的MD5,也即弱口令MD5查询.采用python3编写 ...

  8. 求矩形的周长(线段树+扫描线) Picture POJ - 1177

    题目链接:https://cn.vjudge.net/problem/POJ-1177 题目大意:求矩形外部的周长 具体思路:借用一下bin巨的一张图片. 我们按照y周从下往上的扫描线进行扫描,第一下 ...

  9. Python 入门基础6 --字符编码、文件操作1

    今日内容: 1.字符编码 2.字符与字节 3.文件操作 一.字符编码 了解: cpu:将数据渲染给用户 内存:临时存放数据,断电消失 硬盘:永久存放数据,断电后不消失 1.1 什么是编码? 人类能够识 ...

  10. 第八集:魔法阵 NTT求循环卷积

    题目来源:http://www.fjutacm.com/Problem.jsp?pid=3283 题意:给两串长度为n的数组a和b,视为环,a和b可以在任意位置开始互相匹配得到这个函数的值,求这个函数 ...