jsp大文件下载+断点续传
以多线程、断点续传方式下载文件,经常出现下载下来的文件大小和服务端一致,但是却无法正常打开的现象,搞了很久,贴下我的实现方式,请各位多多指教
思路:
1、将下载文件的处理放在自定义的线程类中,每下载一个文件就新启动一个下载线程。
2、在下载线程中完成对服务端的链接和身份认证,成功后开始下载文件。
3、新建n个子线程,根据下载文件的大小和线程数量得到每个子线程要下载的大小。
4、分别启动子线程,进行分段下载。
5、分段下载完成,合并临时文件。
6、合并文件完成,删除临时文件。
实现:
FTP下载线程类
package com.jfc.ftp.tools;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;
import com.jfc.ftp.service.FTPService;
import com.jfc.ftp.util.Constant;
import com.jfc.ftp.util.PropertyUtil;
/**
* 为断点续传下载文件而启动新的线程
* @author SavageGarden
*
*/
public class FTPThread extends Thread{
/**
* 站点URL
*/
private String host;
/**
* 站点端口
*/
private int port;
/**
* 用户
*/
private String user;
/**
* 密码
*/
private String pswd;
/**
* 当前线程的FTP操作接口实现类
*/
private FTPService ftpService;
/**
* 第几个下载项
*/
private int rowIndex;
/**
* 要下载的文件路径
*/
private String filepath;
/**
* 要下载的文件大小
*/
private long filesize;
/**
* 要下载的文件保存路径
*/
private String savepath;
/**
* 标记文件已下载量
*/
public int hadRead = 0;
/**
* 下载线程开始时间
*/
public long startTime = 0;
/**
* 下载线程结束时间
*/
public long endTime = 0;
/**
* 当前下载线程的互斥锁
*/
public Lock ftpThreadLock;
/**
* 当前下载线程的状态
*/
private int status = Constant.THREAD_STATUS_NEW;
public synchronized int getStatus() {
return status;
}
public synchronized void setStatus(int status) {
this.status = status;
}
/**
* 是否已经合并文件
*/
private boolean hadMerger = false;
public synchronized boolean isHadMerger() {
return hadMerger;
}
public synchronized void setHadMerger(boolean hadMerger) {
this.hadMerger = hadMerger;
}
/**
* 当前下载线程的状态
*/
private int completed = 0;
public synchronized int getCompleted() {
return completed;
}
public synchronized void setCompleted(int completed) {
this.completed = completed;
}
/**
* 下载线程个构造方法<br>
* 根据已经取得连接的FTPTools得到连接信息<br>
* 根据参数取得下载信息
* @param rowIndex
* @param filepath
* @param filesize
* @param savepath
*/
public FTPThread(int rowIndex, String filepath, long filesize, String savepath) {
super("FTPThread");
host = FTPTools.host;
port = FTPTools.port;
user = FTPTools.user;
pswd = FTPTools.pswd;
this.rowIndex = rowIndex;
this.filepath = filepath;
this.filesize = filesize;
this.savepath = savepath;
ftpThreadLock = new ReentrantLock();
setStatus(Constant.THREAD_STATUS_RUNNABLE);
start();
}
public FTPThread(int rowIndex, String filepath, long filesize, String savepath, int status) {
super("FTPThread");
host = FTPTools.host;
port = FTPTools.port;
user = FTPTools.user;
pswd = FTPTools.pswd;
this.rowIndex = rowIndex;
this.filepath = filepath;
this.filesize = filesize;
this.savepath = savepath;
ftpThreadLock = new ReentrantLock();
setStatus(status);
start();
}
public void run() {
getFTPService();
getFTPConnect(host, port);
if(doLoginFTP(user, pswd)) {
ResumeBrokenTransferByThread(this, rowIndex, filepath, filesize, savepath);
}
}
/**
* 获取FTPService接口实现类<br>
* 首先从配置文件中找<br>
* 如果没有则加载默认的实现类
* @return
* @throws InstantiationException
* @throws IllegalAccessException
* @throws ClassNotFoundException
*/
public void getFTPService(){
try {
ftpService = (FTPService)Class.forName(PropertyUtil.getProperty("ftp.service.name", FTPService.FTP_SERVICE_NAME)).newInstance();
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 根据服务器地址、端口获得ftp链接
* @param host
* @param port
* @return
*/
public String getFTPConnect(String host, int port) {
return ftpService.getFTPConnect(host, port);
}
/**
* 执行登录
* @param user
* @param pswd
* @return
*/
public boolean doLoginFTP(String user, String pswd) {
return ftpService.doLoginFTP(user, pswd);
}
/**
* 以断点续传的方式下载文件
* @param rowIndex
* @param filepath
* @param filesize
* @param savepath
*/
public void ResumeBrokenTransfer(int rowIndex, String filepath, int filesize, String savepath) {
ftpService.ResumeBrokenTransfer(rowIndex, filepath, filesize, savepath);
}
/**
* 以多线程、断点续传的方式下载文件
* @param rowIndex
* @param filepath
* @param filesize
* @param savepath
*/
public void ResumeBrokenTransferByThread(FTPThread ftpThread, int rowIndex, String filepath, long filesize, String savepath) {
ftpService.ResumeBrokenTransferByThread(ftpThread, rowIndex, filepath, filesize, savepath);
}
/**
* 在指定文件路径下查找临时文件合并为一个文件
* @param filepath
* @param threadCount
*/
public void mergerTempFile(String filepath, int threadCount) {
System.out.println("开始合并文件");
try {
BufferedOutputStream data_output = new BufferedOutputStream(new FileOutputStream(filepath));
byte[] temp = new byte[Constant.TEMP_BYTE_LENGTH];
for(int i = 0; i < threadCount; i ++) {
File tempFile = new File(filepath + Constant.DOWNLOAD_TEMP_NAME + i);
BufferedInputStream data_input = new BufferedInputStream(new FileInputStream(tempFile));
int read = 0;
int hadRead = 0;
while((read = data_input.read(temp, 0, temp.length)) != -1) {
data_output.write(temp, 0, read);
hadRead += read;
}
data_input.close();
}
data_output.close();
} catch (Exception e) {
e.printStackTrace();
}
setHadMerger(true);
System.out.println("合并文件完成");
deleteTempFile(filepath, threadCount);
}
/**
* 合并文件完成后删除临时文件
* @param filepath
* @param threadCount
*/
public void deleteTempFile(String filepath, int threadCount) {
if(isHadMerger()) {
for(int i = 0; i < threadCount; i ++) {
File tempFile = new File(filepath + Constant.DOWNLOAD_TEMP_NAME + i);
tempFile.delete();
}
}
}
}
FTP接口实现类中的ResumeBrokenTransferByThread方法
/**
* 使用多线程、断点续传方式下载文件<br>
* 首先查找要保存的路径下有无缓存文件(以.wfml为后缀)<br>
* 不存在 重新开始下载<br>
* 存在 继续<br>
* 重新开始下载<br>
* 读取配置文件要分多少个线程来下载文件<br>
* 按照文件大小、线程数量来分配每个线程要下载的文件大小、文件名<br>
* 开始断点续传下载<br>
* 继续下载<br>
* 开始断点续传下载<br>
* @param rowIndex
* @param filepath
* @param filesize
* @param savepath
*/
public void ResumeBrokenTransferByThread(final FTPThread ftpThread, final int rowIndex, final String filepath, final long filesize, final String savepath) {
final String filename = filepath.substring(filepath.lastIndexOf("/") + 1, filepath.length());
<span style="color: #ff0000;">final byte[] temp = new byte[Constant.TEMP_BYTE_LENGTH];</span>
//得到要创建的线程数量
final int threadCount = Integer.parseInt(PropertyUtil.getProperty(Constant.RESUME_THREAD_COUNT_PROPNAME, Constant.RESUME_THREAD_COUNT_DEFAULT));
final String[] downloadSizeArray = SystemTools.getDownloadSizeArray(filesize, threadCount);
for(int i = 0; i < threadCount; i ++) {
File temp_file = new File(savepath + File.separator + filename + Constant.DOWNLOAD_TEMP_NAME + i);
System.out.println("文件" + i + "大小为:" + temp_file.length());
ftpThread.hadRead += temp_file.length();
}
System.out.println("ftpThread.hadRead : " + ftpThread.hadRead);
for(int i = 0; i < threadCount; i ++) {
final int index = i;
Thread resumeThread = new Thread(){
//当前线程的缓存文件
File tempFile = new File(savepath + File.separator + filename + Constant.DOWNLOAD_TEMP_NAME + index);
public void run() {
SocketFTPService socketFTPService = new SocketFTPService();
socketFTPService.getFTPConnect(host, port);
if(socketFTPService.doLoginFTP(user, pswd)) {
try {
int read = 0;
int hadRead = 0;
//当前线程要下载的文件大小
String downsize = downloadSizeArray[index].split(":")[1];
//当前线程要下载的文件起始点
String skipsize = downloadSizeArray[index].split(":")[0];
//将hadRead(已读文件大小)置为缓存文件的大小
hadRead = (int)tempFile.length();
//设定文件指针(下载位置)
//socketFTPService.doFTPCommand("REST " + (Integer.parseInt(skipsize) + temp_file.length()));
//readRespond();
socketFTPService.dataSocket = socketFTPService.getDataSocket();
socketFTPService.doFTPCommand("RETR " + filepath);
BufferedInputStream data_input = new BufferedInputStream(socketFTPService.dataSocket.getInputStream());
RandomAccessFile raf = new RandomAccessFile(tempFile, "rw");
//跳过当前线程要下载的文件起始点和缓存文件大小之和
data_input.skip(Integer.parseInt(skipsize) + hadRead);
raf.seek(hadRead);
System.out.println("线程" + index + "已下载 " + hadRead);
if(ftpThread.startTime == 0) {
ftpThread.startTime = System.currentTimeMillis();
}
SystemTools.addObserver();
while(hadRead < Integer.parseInt(downsize)) {
if(ftpThread.getStatus() == Constant.THREAD_STATUS_RUNNABLE) {
while((read = data_input.read(temp, 0, temp.length)) != -1) {
int temp_hadRead = hadRead;
if((temp_hadRead += read) > Integer.parseInt(downsize)) {
read = Integer.parseInt(downsize) - hadRead;
}
raf.write(temp, 0, read);
hadRead += read;
ftpThread.ftpThreadLock.lock();
try {
ftpThread.hadRead += read;
} finally {
ftpThread.ftpThreadLock.unlock();
}
SystemTools.getCurrentSpeed(rowIndex, ftpThread.startTime, ftpThread.hadRead);
SystemTools.getPrice(rowIndex, ftpThread.hadRead, filesize);
SwingUtilities.invokeLater(SystemTools.updateProgressBarRunnable);
}
System.out.println("第" + index + "个线程完成下载" + hadRead + ",完成下载" + ftpThread.hadRead);
raf.close();
if(hadRead == tempFile.length()) {
ftpThread.setCompleted(ftpThread.getCompleted() + 1);
System.out.println(ftpThread.getCompleted());
}
if(ftpThread.getCompleted() == threadCount && ftpThread.hadRead == filesize) {
ftpThread.endTime = System.currentTimeMillis();
SystemTools.getFinalSpeed(rowIndex, ftpThread.startTime, ftpThread.endTime, filesize);
ftpThread.mergerTempFile(savepath + File.separator + filename, threadCount);
}
}
}
} catch(Exception e) {
e.printStackTrace();
}
}
}
};
resumeThread.start();
}
}
详细配置信息可以参考我写的这篇文章:http://blog.ncmem.com/wordpress/2019/08/28/java%e6%89%b9%e9%87%8f%e4%b8%8b%e8%bd%bd/
jsp大文件下载+断点续传的更多相关文章
- php大文件下载+断点续传
如果我们的网站提供文件下载的服务,那么通常我们都希望下载可以断点续传(Resumable Download),也就是说用户可以暂停下载,并在未来的某个时间从暂停处继续下载,而不必重新下载整个文件. 通 ...
- B/S大文件下载+断点续传
1.先将 webuploader-0.1.5.zip 这个文件下载下来:https://github.com/fex-team/webuploader/releases 根据个人的需求放置自己需要的 ...
- java大文件下载+断点续传
java两台服务器之间,大文件上传(续传),采用了Socket通信机制以及JavaIO流两个技术点,具体思路如下: 实现思路:1.服:利用ServerSocket搭建服务器,开启相应端口,进行长连接操 ...
- web大文件下载+断点续传
实现原理(1)首先获得下载文件的长度,然后设置本地文件的长度.(2)根据文件长度和线程数计算每条线程下载的数据长度和下载位置.如:文件的长度为6M,线程数为3,那么,每条线程下载的数据长度为2M,每条 ...
- iOS开发之网络编程--使用NSURLConnection实现大文件下载
主要思路(实现下载数据分段写入缓存中) 1.使用NSURLConnectionDataDelegate以及代理方法.2.在成功获取响应的代理方法中,获得沙盒全路径,并在该路径下创建空文件和文件句柄.3 ...
- iOS开发-大文件下载与断点下载思路
大文件下载方案一:利用NSURLConnection和它的代理方法,及NSFileHandle(iOS9后不建议使用)相关变量: @property (nonatomic,strong) NSFile ...
- java web 大文件下载
泽优大文件下载产品测试 泽优大文件下载控件down2,基于php开发环境测试. 开发环境:HBuilder 服务器:wamp64 数据库:mysql 可视化数据库编辑工具:Navicat Premiu ...
- IOS-网络(大文件下载)
一.不合理方式 // // ViewController.m // IOS_0131_大文件下载 // // Created by ma c on 16/1/31. // Copyright © 20 ...
- 【nginx】记录nginx+php-fpm实现大文件下载排坑的过程
先上一段代码,支持大文件下载和断点续传,代码来源互联网. set_time_limit(0); // 省略取文件路径的过程,这里直接是文件完整路径 $filePath = get_save_path( ...
随机推荐
- Python子类调用父类内属性的方法
常见的就是初始化方法__init__() python中类的初始化方法是__init__(),因此父类子类的初始化方法都是这个,如果子类不实现这个函数,初始化时调用父类的初始化函数,如果子类实现这个函 ...
- 数组Array用法
一 创建数组 // 指定长度(稀疏数组) const arr1 = Array(2); console.log(arr1); const arr2 = new Array(4); console.lo ...
- cocos2dx基础篇(12) 编辑框之一CCTextFieldTTF
前面我们讲了精灵贴图.标签.菜单.按钮.感觉似乎少了点什么?UI控件里是不是应该还有一个很重要的控件--编辑框.在手机网游中,启动游戏,过了开场动画后,基本上显示的第一个界面应该就是游戏的登录界面了吧 ...
- Mac搭建github Page的Hexo免费个人博客
1.基础准备 github账号 安装git 安装node.js.npm 2.创建repo 3.配置SSH key 这一步并不重要,配置SSH key与否,并不影响博客的搭建和使用,只是配置了之后,更新 ...
- 深入理解java:1.1. 类加载器
从java的动态性到类加载机制 我们知道,Java是一种动态语言. 那么怎样理解这个“动态”呢? 或者说一门语言具备了什么特性,才能称之为动态语言呢? 对于java,我是这样理解的. 我们都知道J ...
- Linux 项目上线流程
命令行样式修改 1 打开配置文件vim /etc/bashrc2 添加配置信息PS1="\[\e[37;40m\][\[\e[32;1m\]\u\[\e[37;40m\]@\h \[\e[3 ...
- 【监控笔记】【2.3】扩展事件——慢查询SQL(执行超过3S的SQL)
--sql server 2008及以上才支持,2012及以上才支持GUI界面 msdn 扩展事件:点击打开链接 [1]T-SQL实现 基于 rpc_completed(远程过程调用已完成时发生) 事 ...
- 数位dp相关
经典的数位Dp是要求统计符合限制的数字的个数. 一般的形式是:求区间[n,m]满足限制f(1). f(2). f(3)等等的数字的数量是多少. 条件 f(i) 一般与数的大小无关,而与数的组成有关. ...
- 【Python】循环结构中的else
else在循环结构中,只有循环正常结束后才执行else,如果使用break跳出了循环,不会执行else for i in range(0,10): print(i)else: print(" ...
- Python 如何用列表实现栈和队列?
1.栈结构,其实就是一个后进先出的一个线性表,只能在栈顶压入或弹出元素.用列表表示栈,则向栈中压入元素,可以用列表的append()方法来实现,弹出栈顶元素可以用列表的pop()方法实现. >& ...