以多线程、断点续传方式下载文件,经常出现下载下来的文件大小和服务端一致,但是却无法正常打开的现象,搞了很久,贴下我的实现方式,请各位多多指教
思路:
1、将下载文件的处理放在自定义的线程类中,每下载一个文件就新启动一个下载线程。
2、在下载线程中完成对服务端的链接和身份认证,成功后开始下载文件。
3、新建n个子线程,根据下载文件的大小和线程数量得到每个子线程要下载的大小。
4、分别启动子线程,进行分段下载。
5、分段下载完成,合并临时文件。
6、合并文件完成,删除临时文件。
 
实现:
FTP下载线程类

package com.jfc.ftp.tools;  
  
import java.io.BufferedInputStream;  
import java.io.BufferedOutputStream;  
import java.io.File;  
import java.io.FileInputStream;  
import java.io.FileOutputStream;  
import java.util.concurrent.locks.Lock;  
import java.util.concurrent.locks.ReentrantLock;  
  
import com.jfc.ftp.service.FTPService;  
import com.jfc.ftp.util.Constant;  
import com.jfc.ftp.util.PropertyUtil;  
  
/** 
 * 为断点续传下载文件而启动新的线程 
 * @author SavageGarden 
 * 
 */  
public class FTPThread extends Thread{  
    /** 
     * 站点URL 
     */  
    private String host;  
    /** 
     * 站点端口 
     */  
    private int port;  
    /** 
     * 用户 
     */  
    private String user;  
    /** 
     * 密码 
     */  
    private String pswd;  
    /** 
     * 当前线程的FTP操作接口实现类 
     */  
    private FTPService ftpService;  
  
    /** 
     * 第几个下载项 
     */  
    private int rowIndex;  
    /** 
     * 要下载的文件路径 
     */  
    private String filepath;  
    /** 
     * 要下载的文件大小 
     */  
    private long filesize;  
    /** 
     * 要下载的文件保存路径 
     */  
    private String savepath;  
      
    /** 
     * 标记文件已下载量 
     */  
    public int hadRead = 0;  
    /** 
     * 下载线程开始时间 
     */  
    public long startTime = 0;  
    /** 
     * 下载线程结束时间 
     */  
    public long endTime = 0;  
    /** 
     * 当前下载线程的互斥锁 
     */  
    public Lock ftpThreadLock;  
    /** 
     * 当前下载线程的状态 
     */  
    private int status = Constant.THREAD_STATUS_NEW;  
      
    public synchronized int getStatus() {  
        return status;  
    }  
    public synchronized void setStatus(int status) {  
        this.status = status;  
    }  
    /** 
     * 是否已经合并文件 
     */  
    private boolean hadMerger = false;  
      
    public synchronized boolean isHadMerger() {  
        return hadMerger;  
    }  
    public synchronized void setHadMerger(boolean hadMerger) {  
        this.hadMerger = hadMerger;  
    }  
    /** 
     * 当前下载线程的状态 
     */  
    private int completed = 0;  
      
    public synchronized int getCompleted() {  
        return completed;  
    }  
    public synchronized void setCompleted(int completed) {  
        this.completed = completed;  
    }  
    /** 
     * 下载线程个构造方法<br> 
     * 根据已经取得连接的FTPTools得到连接信息<br> 
     * 根据参数取得下载信息 
     * @param rowIndex 
     * @param filepath 
     * @param filesize 
     * @param savepath 
     */  
    public FTPThread(int rowIndex, String filepath, long filesize, String savepath) {  
        super("FTPThread");  
        host = FTPTools.host;  
        port = FTPTools.port;  
        user = FTPTools.user;  
        pswd = FTPTools.pswd;  
        this.rowIndex = rowIndex;  
        this.filepath = filepath;  
        this.filesize = filesize;  
        this.savepath = savepath;  
        ftpThreadLock = new ReentrantLock();  
        setStatus(Constant.THREAD_STATUS_RUNNABLE);  
        start();  
    }  
    public FTPThread(int rowIndex, String filepath, long filesize, String savepath, int status) {  
        super("FTPThread");  
        host = FTPTools.host;  
        port = FTPTools.port;  
        user = FTPTools.user;  
        pswd = FTPTools.pswd;  
        this.rowIndex = rowIndex;  
        this.filepath = filepath;  
        this.filesize = filesize;  
        this.savepath = savepath;  
        ftpThreadLock = new ReentrantLock();  
        setStatus(status);  
        start();  
    }  
    public void run() {  
        getFTPService();  
        getFTPConnect(host, port);  
        if(doLoginFTP(user, pswd)) {  
            ResumeBrokenTransferByThread(this, rowIndex, filepath, filesize, savepath);  
        }  
    }  
    /** 
     * 获取FTPService接口实现类<br> 
     * 首先从配置文件中找<br> 
     * 如果没有则加载默认的实现类 
     * @return 
     * @throws InstantiationException 
     * @throws IllegalAccessException 
     * @throws ClassNotFoundException 
     */  
    public void getFTPService(){  
        try {  
            ftpService = (FTPService)Class.forName(PropertyUtil.getProperty("ftp.service.name", FTPService.FTP_SERVICE_NAME)).newInstance();  
        } catch (Exception e) {  
            e.printStackTrace();  
        }   
    }  
    /** 
     * 根据服务器地址、端口获得ftp链接 
     * @param host 
     * @param port 
     * @return 
     */  
    public String getFTPConnect(String host, int port) {  
        return ftpService.getFTPConnect(host, port);  
    }  
    /** 
     * 执行登录 
     * @param user 
     * @param pswd 
     * @return 
     */  
    public boolean doLoginFTP(String user, String pswd) {  
        return ftpService.doLoginFTP(user, pswd);  
    }  
    /** 
     * 以断点续传的方式下载文件 
     * @param rowIndex 
     * @param filepath 
     * @param filesize 
     * @param savepath 
     */  
    public void ResumeBrokenTransfer(int rowIndex, String filepath, int filesize, String savepath) {  
        ftpService.ResumeBrokenTransfer(rowIndex, filepath, filesize, savepath);  
    }  
    /** 
     * 以多线程、断点续传的方式下载文件 
     * @param rowIndex 
     * @param filepath 
     * @param filesize 
     * @param savepath 
     */  
    public void ResumeBrokenTransferByThread(FTPThread ftpThread, int rowIndex, String filepath, long filesize, String savepath) {  
        ftpService.ResumeBrokenTransferByThread(ftpThread, rowIndex, filepath, filesize, savepath);  
    }  
    /** 
     * 在指定文件路径下查找临时文件合并为一个文件 
     * @param filepath 
     * @param threadCount 
     */  
    public void mergerTempFile(String filepath, int threadCount) {  
        System.out.println("开始合并文件");  
        try {  
            BufferedOutputStream data_output = new BufferedOutputStream(new FileOutputStream(filepath));  
            byte[] temp = new byte[Constant.TEMP_BYTE_LENGTH];  
            for(int i = 0; i < threadCount; i ++) {  
                File tempFile = new File(filepath + Constant.DOWNLOAD_TEMP_NAME + i);  
                BufferedInputStream data_input = new BufferedInputStream(new FileInputStream(tempFile));  
                int read = 0;  
                int hadRead = 0;  
                while((read = data_input.read(temp, 0, temp.length)) != -1) {  
                    data_output.write(temp, 0, read);  
                    hadRead += read;  
                }  
                data_input.close();  
            }  
            data_output.close();  
        } catch (Exception e) {  
            e.printStackTrace();  
        }   
        setHadMerger(true);  
        System.out.println("合并文件完成");  
        deleteTempFile(filepath, threadCount);  
    }  
    /** 
     * 合并文件完成后删除临时文件 
     * @param filepath 
     * @param threadCount 
     */  
    public void deleteTempFile(String filepath, int threadCount) {  
        if(isHadMerger()) {  
            for(int i = 0; i < threadCount; i ++) {  
                File tempFile = new File(filepath + Constant.DOWNLOAD_TEMP_NAME + i);  
                tempFile.delete();  
            }  
        }  
    }  
}

FTP接口实现类中的ResumeBrokenTransferByThread方法

/** 
     * 使用多线程、断点续传方式下载文件<br> 
     * 首先查找要保存的路径下有无缓存文件(以.wfml为后缀)<br> 
     *      不存在 重新开始下载<br> 
     *      存在      继续<br> 
     * 重新开始下载<br> 
     *      读取配置文件要分多少个线程来下载文件<br> 
     *      按照文件大小、线程数量来分配每个线程要下载的文件大小、文件名<br> 
     *      开始断点续传下载<br> 
     * 继续下载<br> 
     *      开始断点续传下载<br> 
     * @param rowIndex 
     * @param filepath 
     * @param filesize 
     * @param savepath 
     */  
    public void ResumeBrokenTransferByThread(final FTPThread ftpThread, final int rowIndex, final String filepath, final long filesize, final String savepath) {  
        final String filename = filepath.substring(filepath.lastIndexOf("/") + 1, filepath.length());  
        <span style="color: #ff0000;">final byte[] temp = new byte[Constant.TEMP_BYTE_LENGTH];</span>  
  
        //得到要创建的线程数量  
        final int threadCount = Integer.parseInt(PropertyUtil.getProperty(Constant.RESUME_THREAD_COUNT_PROPNAME, Constant.RESUME_THREAD_COUNT_DEFAULT));  
        final String[] downloadSizeArray = SystemTools.getDownloadSizeArray(filesize, threadCount);  
        for(int i = 0; i < threadCount; i ++) {  
            File temp_file = new File(savepath + File.separator + filename + Constant.DOWNLOAD_TEMP_NAME + i);  
            System.out.println("文件" + i + "大小为:" + temp_file.length());  
            ftpThread.hadRead += temp_file.length();  
              
        }  
        System.out.println("ftpThread.hadRead : " + ftpThread.hadRead);  
        for(int i = 0; i < threadCount; i ++) {  
            final int index = i;  
            Thread resumeThread = new Thread(){  
                //当前线程的缓存文件  
                File tempFile = new File(savepath + File.separator + filename + Constant.DOWNLOAD_TEMP_NAME + index);  
                public void run() {  
                    SocketFTPService socketFTPService = new SocketFTPService();  
                    socketFTPService.getFTPConnect(host, port);  
                    if(socketFTPService.doLoginFTP(user, pswd)) {  
                        try {  
                            int read = 0;  
                            int hadRead = 0;  
                            //当前线程要下载的文件大小  
                            String downsize = downloadSizeArray[index].split(":")[1];  
                            //当前线程要下载的文件起始点  
                            String skipsize = downloadSizeArray[index].split(":")[0];  
                            //将hadRead(已读文件大小)置为缓存文件的大小  
                            hadRead = (int)tempFile.length();  
                            //设定文件指针(下载位置)  
                            //socketFTPService.doFTPCommand("REST " + (Integer.parseInt(skipsize) + temp_file.length()));  
                            //readRespond();  
                            socketFTPService.dataSocket = socketFTPService.getDataSocket();  
                            socketFTPService.doFTPCommand("RETR " + filepath);  
                            BufferedInputStream data_input = new BufferedInputStream(socketFTPService.dataSocket.getInputStream());  
                              
                            RandomAccessFile raf = new RandomAccessFile(tempFile, "rw");  
                            //跳过当前线程要下载的文件起始点和缓存文件大小之和  
                            data_input.skip(Integer.parseInt(skipsize) + hadRead);  
                            raf.seek(hadRead);  
                              
                            System.out.println("线程" + index + "已下载 " + hadRead);  
                            if(ftpThread.startTime == 0) {  
                                ftpThread.startTime = System.currentTimeMillis();  
                            }  
                            SystemTools.addObserver();  
                              
                            while(hadRead < Integer.parseInt(downsize)) {  
                                if(ftpThread.getStatus() == Constant.THREAD_STATUS_RUNNABLE) {  
                                    while((read = data_input.read(temp, 0, temp.length)) != -1) {  
                                        int temp_hadRead = hadRead;  
                                        if((temp_hadRead += read) > Integer.parseInt(downsize)) {  
                                            read = Integer.parseInt(downsize) - hadRead;  
                                        }  
                                        raf.write(temp, 0, read);  
                                        hadRead += read;  
                                          
                                        ftpThread.ftpThreadLock.lock();  
                                        try {  
                                            ftpThread.hadRead += read;  
                                        } finally {  
                                            ftpThread.ftpThreadLock.unlock();  
                                        }  
                                        SystemTools.getCurrentSpeed(rowIndex, ftpThread.startTime, ftpThread.hadRead);  
                                        SystemTools.getPrice(rowIndex, ftpThread.hadRead, filesize);  
                                        SwingUtilities.invokeLater(SystemTools.updateProgressBarRunnable);  
                                    }  
                                    System.out.println("第" + index + "个线程完成下载" + hadRead + ",完成下载" + ftpThread.hadRead);  
                                    raf.close();  
                                    if(hadRead == tempFile.length()) {  
                                        ftpThread.setCompleted(ftpThread.getCompleted() + 1);  
                                        System.out.println(ftpThread.getCompleted());  
                                    }  
                                    if(ftpThread.getCompleted() == threadCount && ftpThread.hadRead == filesize) {  
                                        ftpThread.endTime = System.currentTimeMillis();  
                                        SystemTools.getFinalSpeed(rowIndex, ftpThread.startTime, ftpThread.endTime, filesize);  
                                        ftpThread.mergerTempFile(savepath + File.separator + filename, threadCount);  
                                    }  
                                }  
                            }  
                        } catch(Exception e) {  
                            e.printStackTrace();  
                        }  
                    }  
                }  
            };  
            resumeThread.start();  
        }  
    }  
详细配置信息可以参考我写的这篇文章:http://blog.ncmem.com/wordpress/2019/08/28/java%e6%89%b9%e9%87%8f%e4%b8%8b%e8%bd%bd/

jsp大文件下载+断点续传的更多相关文章

  1. php大文件下载+断点续传

    如果我们的网站提供文件下载的服务,那么通常我们都希望下载可以断点续传(Resumable Download),也就是说用户可以暂停下载,并在未来的某个时间从暂停处继续下载,而不必重新下载整个文件. 通 ...

  2. B/S大文件下载+断点续传

    1.先将 webuploader-0.1.5.zip 这个文件下载下来:https://github.com/fex-team/webuploader/releases  根据个人的需求放置自己需要的 ...

  3. java大文件下载+断点续传

    java两台服务器之间,大文件上传(续传),采用了Socket通信机制以及JavaIO流两个技术点,具体思路如下: 实现思路:1.服:利用ServerSocket搭建服务器,开启相应端口,进行长连接操 ...

  4. web大文件下载+断点续传

    实现原理(1)首先获得下载文件的长度,然后设置本地文件的长度.(2)根据文件长度和线程数计算每条线程下载的数据长度和下载位置.如:文件的长度为6M,线程数为3,那么,每条线程下载的数据长度为2M,每条 ...

  5. iOS开发之网络编程--使用NSURLConnection实现大文件下载

    主要思路(实现下载数据分段写入缓存中) 1.使用NSURLConnectionDataDelegate以及代理方法.2.在成功获取响应的代理方法中,获得沙盒全路径,并在该路径下创建空文件和文件句柄.3 ...

  6. iOS开发-大文件下载与断点下载思路

    大文件下载方案一:利用NSURLConnection和它的代理方法,及NSFileHandle(iOS9后不建议使用)相关变量: @property (nonatomic,strong) NSFile ...

  7. java web 大文件下载

    泽优大文件下载产品测试 泽优大文件下载控件down2,基于php开发环境测试. 开发环境:HBuilder 服务器:wamp64 数据库:mysql 可视化数据库编辑工具:Navicat Premiu ...

  8. IOS-网络(大文件下载)

    一.不合理方式 // // ViewController.m // IOS_0131_大文件下载 // // Created by ma c on 16/1/31. // Copyright © 20 ...

  9. 【nginx】记录nginx+php-fpm实现大文件下载排坑的过程

    先上一段代码,支持大文件下载和断点续传,代码来源互联网. set_time_limit(0); // 省略取文件路径的过程,这里直接是文件完整路径 $filePath = get_save_path( ...

随机推荐

  1. visual studio 在windows远程调试 linux 程序 cout 输出乱码

    转载:https://www.cnblogs.com/findumars/p/6627255.html 反正是解决了. 以gcc为例,它有三个命令选项:-finput-charset=gb18030- ...

  2. Web UI自动化测试基础——元素定位(二)

    本篇文章整理了元素定位的基础知识——多个元素定位方式. 一.多个元素定位方式简介 同单个元素定位方式相同,多个元素定位方式也有与之对应的8种方式,即id.name.class_name.tag_nam ...

  3. 11.metasploit辅助模块----基本Exp----ARP欺骗中间人MITM----WordPress破解

    metasploit辅助模块 信息收集 auxiliary scanners 使用metasploitable靶机 桥接 同一局域网 msfconsole nmap -sT 靶机IP nmap -sS ...

  4. Win密钥.Win7旗舰版

    1.windows7旗舰版免费密钥 - Win7之家.html(http://www.windows7en.com/Win7/25762.html) HT6VR-XMPDJ-2VBFV-R9PFY-3 ...

  5. Java内存管理和回收

    转载自http://blog.csdn.net/cutesource/article/details/5906705 JVM内存组成结构 JVM栈由堆.栈.本地方法栈.方法区等部分组成,结构图如下所示 ...

  6. Linux-定时任务-打包与压缩

    figure:first-child { margin-top: -20px; } #write ol, #write ul { position: relative; } img { max-wid ...

  7. [Git] 025 标签命令

    0. 前言 小时候看<剑花-烟雨-江南>,惊讶于那个多重身份的"小侯爷" 后来发现,现实中拥有比小侯爷更多身份的人多如牛毛 其实,在 "Git" 中 ...

  8. W3C标准定义的DOM由哪三部分组成

    DOM 定义了访问诸如 XML 和 XHTML 文档的标准.“W3C 文档对象模型(DOM)是一个使程序和脚本有能力动态地访问和更新文档的内容.结构以及样式的平台和语言中立的接口.”DOM 定义了所有 ...

  9. JDK11 | 第六篇 : Epsilon 垃圾收集器

    文章首发于公众号<程序员果果> 地址 : https://mp.weixin.qq.com/s/RhGXJImhp7Xm-wDrpPomkQ 一.简介 Epsilon(A No-Op Ga ...

  10. [BZOJ5306] [HAOI2018]染色(容斥原理+NTT)

    [BZOJ5306] [HAOI2018]染色(容斥原理+NTT) 题面 一个长度为 n的序列, 每个位置都可以被染成 m种颜色中的某一种. 如果n个位置中恰好出现了 S次的颜色有 K种, 则小 C ...