JAVA多线程下载网络文件
JAVA多线程下载网络文件,开启多个线程,同时下载网络文件。
源码如下:(点击下载 MultiThreadDownload.java)
import java.io.InputStream;
import java.io.RandomAccessFile;
import java.net.HttpURLConnection;
import java.net.URL; /**
* 说明:
* 每一个线程下载的位置计算方式:
* 开始位置: (线程id - 1) * 每一块大小
* 结束位置: (线程id*每一块大小) - 1
*
* 注意:有时候不一定能够整除,所以最后一个线程的结束位置应该是文件的末尾
*
* 步骤:
* 1.本地创建一个大小跟服务器文件相同的临时文件
* 2.计算分配几个线程去下载服务器上的资源,知道每个线程下载文件的位置
* 3.开启三个线程,每一个线程下载对应位置的文件
* 4.如果所有的线程,都把自己的数据下载完毕后,服务器上的资源都被下载到本地了
*
* 作者: zhoubang
* 日期:2015年8月7日 上午11:20:06
*/
public class MultiThreadDownload {
public static String path = "http://static.csdn.net/public/common/toolbar/css/index.css"; // 要下载的网络资源文件路径
public static int threadCount = 10; // 开启的线程数
public static int runningThread = 10; // 记录已经运行的线程数量
public static long startTime; private static final String filePath = "f:\\index.css"; //文件存放本地的路径 /**
* 测试下载
*
* 作者: zhoubang
* 日期:2015年8月7日 上午11:16:23
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception {
startTime = System.currentTimeMillis();
// 1.连接服务器,获取一个文件,获取文件的长度,在本地创建一个跟服务器一样大小的临时文件
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setConnectTimeout(5000);
conn.setRequestMethod("GET");
int code = conn.getResponseCode();
if (code == 200) {
// 服务器端返回的数据的长度,实际上就是文件的长度
int length = conn.getContentLength();
System.out.println("文件总长度:" + length);
// 在客户端本地创建出来一个大小跟服务器端一样大小的临时文件
RandomAccessFile raf = new RandomAccessFile(filePath, "rwd");
// 指定创建的这个文件的长度
raf.setLength(length);
raf.close();
// 假设是3个线程去下载资源。
// 平均每一个线程下载的文件大小.
int blockSize = length / threadCount;
for (int threadId = 1; threadId <= threadCount; threadId++) {
// 第一个线程下载的开始位置
int startIndex = (threadId - 1) * blockSize;
int endIndex = threadId * blockSize - 1;
if (threadId == threadCount) {// 最后一个线程下载的长度要稍微长一点
endIndex = length;
}
System.out.println("线程:" + threadId + "下载:---" + startIndex + "--->" + endIndex);
new DownLoadThread(path, threadId, startIndex, endIndex).start();
}
} else {
System.out.printf("服务器错误!");
}
} /**
* 下载文件的子线程,每一个线程下载对应位置的文件
*
* 作者: zhoubang
* 日期:2015年8月7日 上午11:16:34
*/
public static class DownLoadThread extends Thread {
private int threadId;
private int startIndex;
private int endIndex; /**
* @param path
* 下载文件在服务器上的路径
* @param threadId
* 线程Id
* @param startIndex
* 线程下载的开始位置
* @param endIndex
* 线程下载的结束位置
*/
public DownLoadThread(String path, int threadId, int startIndex, int endIndex) {
super();
this.threadId = threadId;
this.startIndex = startIndex;
this.endIndex = endIndex;
} @Override
public void run() {
try {
URL url = new URL(path);
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
conn.setConnectTimeout(5000);
conn.setRequestMethod("GET");
// 重要:请求服务器下载部分文件 指定文件的位置
conn.setRequestProperty("Range", "bytes=" + startIndex + "-" + endIndex);
// 从服务器请求全部资源返回200 ok如果从服务器请求部分资源 返回 206 ok
int code = conn.getResponseCode();
System.out.println("code:" + code);
InputStream is = conn.getInputStream();// 已经设置了请求的位置,返回的是当前位置对应的文件的输入流
RandomAccessFile raf = new RandomAccessFile(filePath, "rwd");
// 随机写文件的时候从哪个位置开始写
raf.seek(startIndex);// 定位文件 int len = 0;
byte[] buffer = new byte[1024];
while ((len = is.read(buffer)) != -1) {
raf.write(buffer, 0, len);
}
is.close();
raf.close();
System.out.println("线程:" + threadId + "下载完毕");
System.out.println((System.currentTimeMillis() - startTime));
} catch (Exception e) {
e.printStackTrace();
} finally {
runningThread--;
if (runningThread == 0) {// 所有的线程执行完毕
System.out.println("文件全部下载完毕!");
}
}
} }
}
JAVA多线程下载网络文件的更多相关文章
- Java读取并下载网络文件
CreateTime--2017年8月21日10:11:07 Author:Marydon import java.io.ByteArrayOutputStream; import java.io ...
- Java多线程下载分析
为什么要多线程下载 俗话说要以终为始,那么我们首先要明确多线程下载的目标是什么,不外乎是为了更快的下载文件.那么问题来了,多线程下载文件相比于单线程是不是更快? 对于这个问题可以看下图. 横坐标是线程 ...
- java多线程下载和断点续传
java多线程下载和断点续传,示例代码只实现了多线程,断点只做了介绍.但是实际测试结果不是很理想,不知道是哪里出了问题.所以贴上来请高手修正. [Java]代码 import java.io.File ...
- Android 开发工具类 27_多线程下载大文件
多线程下载大文件时序图 FileDownloader.java package com.wangjialin.internet.service.downloader; import java.io.F ...
- java多线程批量读取文件(七)
新公司入职一个多月了,至今没有事情可以做,十来个新同事都一样抓狂,所以大家都自己学习一些新东西,我最近在看zookeeper,感觉蛮不错的,和微服务的zuul以及eureka功能类似,只是代码复杂了一 ...
- python下载网络文件
python下载网络文件 制作人:全心全意 下载图片 #!/usr/bin/python #-*- coding: utf-8 -*- import requests url = "http ...
- java 多线程下载文件 以及URLConnection和HttpURLConnection的区别
使用 HttpURLConnection 实现多线程下载文件 注意GET大写//http public class MultiThreadDownload { public static void m ...
- Java多线程下载文件
package com.test.download; import java.io.File; import java.io.InputStream; import java.io.RandomA ...
- java多线程下载文件和断点下载
多线程,断点下载文件 import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; impor ...
随机推荐
- curl get started
-v 显示整个通信过程 -L 自动处理目标网址的自动跳转如301跳转 -i 显示头部信息 -d 发送表单信息 -X HTTP动词 -F 文件上传 -A User Agent字段 -b cookie - ...
- HTML 表格生成
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...
- 【BZOJ】【1150】【CTSC2007】数据备份Backup
堆/贪心 一共N-1个元素……用堆维护最大值,取了第x个元素以后,插入v[x-1]+v[x+1]-v[x]这个元素,如果再取这个新元素就表示不取x,而取x-1和x+1……大概就是这种“带反悔”的思路吧 ...
- 【BZOJ】【1449】【JSOI2009】球队收益
网络流/费用流/二分图最小权匹配 题解:http://blog.csdn.net/huzecong/article/details/9119741 太神了!由于一赢一输不好建图,就先假设全部都输,再将 ...
- 生成中文版JavaDoc
RT. 在用IDEA生成中文版JavaDoc时,出现如下问题: java.lang.IllegalArgumentException at sun.net.www.ParseUtil.decode(P ...
- javaScript中eval()方法转换json对象
<script language="javascript"> var user = '{name:"张三",age:23,'+ 'address:{ ...
- html之cellspacing && cellpadding讲解
单元格间距(表格间距)(cellspacing) -- 代表表格边框与单元格补白的距离,也是单元格补白之间的距离 单元格边距(表格填充)(cellpadding) -- 代表单元格外面的一个距离,用于 ...
- 【ASP.Net MVC】在AspNet Mvc使用JQuery AutoComplete组件
在AspNet Mvc使用JQuery AutoComplete组件 官方文档: http://api.jqueryui.com/autocomplete/#entry-examples 要使用JQu ...
- svn 分支与合并的使用
在使用svn的时候我们往往有这样的需求.我们修改某些代码,因为对某项技术不是非常的熟悉,担心自己当前的修改(或者叫测试)会影响到服务器中版本库代码的崩溃等.传统做法我们会手动复制一份代码,然后修改 ...
- Codeforces Round #246 (Div. 2)——D题
KMP算法,没写出来,完全不理解NEXT数组.现在理解了很多 答案都在程序中 ,不过这个思想真的很神奇, 还有毛语不好,一直没看懂题目,现在懂了, 大概是:S中前缀等于后缀,求其长度,和其在S中出现了 ...