断点续传的原理

其实断点续传的原理很简单,就是在 Http 的请求上和一般的下载有所不同而已。        打个比方,浏览器请求服务器上的一个文时,所发出的请求如下:        假设服务器域名为 wwww.sjtu.edu.cn,文件名为 down.zip。 GET /down.zip HTTP/1.1         Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/vnd.ms-         excel, application/msword, application/vnd.ms-powerpoint, */*         Accept-Language: zh-cn         Accept-Encoding: gzip, deflate         User-Agent: Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)         Connection: Keep-Alive

服务器收到请求后,按要求寻找请求的文件,提取文件的信息,然后返回给浏览器,返回信息如下:

200         Content-Length=106786028         Accept-Ranges=bytes         Date=Mon, 30 Apr 2001 12:56:11 GMT         ETag=W/"02ca57e173c11:95b"        Content-Type=application/octet-stream         Server=Microsoft-IIS/5.0         Last-Modified=Mon, 30 Apr 2001 12:56:11 GMT

所谓断点续传,也就是要从文件已经下载的地方开始继续下载。所以在客户端浏览器传给 Web 服务器的时候要多加一条信息 -- 从哪里开始。        下面是用自己编的一个"浏览器"来传递请求信息给 Web 服务器,要求从 2000070 字节开始。        GET /down.zip HTTP/1.0         User-Agent: NetFox         RANGE: bytes=2000070-         Accept: text/html, image/gif, image/jpeg, *; q=.2, */*; q=.2

仔细看一下就会发现多了一行 RANGE: bytes=2000070-         这一行的意思就是告诉服务器 down.zip 这个文件从 2000070 字节开始传,前面的字节不用传了。        服务器收到这个请求以后,返回的信息如下:        206         Content-Length=106786028         Content-Range=bytes 2000070-106786027/106786028         Date=Mon, 30 Apr 2001 12:55:20 GMT         ETag=W/"02ca57e173c11:95b"        Content-Type=application/octet-stream         Server=Microsoft-IIS/5.0         Last-Modified=Mon, 30 Apr 2001 12:55:20 GMT

和前面服务器返回的信息比较一下,就会发现增加了一行:        Content-Range=bytes 2000070-106786027/106786028         返回的代码也改为 206 了,而不再是 200 了。

知道了以上原理,就可以进行断点续传的编程了。

Java 实现断点续传的关键几点

  1. (1) 用什么方法实现提交 RANGE: bytes=2000070-。          当然用最原始的 Socket 是肯定能完成的,不过那样太费事了,其实 Java 的 net 包中提供了这种功能。代码如下:         
    URL url = new URL("http://www.sjtu.edu.cn/down.zip");           HttpURLConnection httpConnection =  (HttpURLConnection)url.openConnection();          
    // 设置 User-Agent           httpConnection.setRequestProperty("User-Agent","NetFox");           // 设置断点续传的开始位置          httpConnection.setRequestProperty("RANGE","bytes=2000070");           // 获得输入流          InputStream input = httpConnection.getInputStream();

    从输入流中取出的字节流就是 down.zip 文件从 2000070 开始的字节流。 大家看,其实断点续传用 Java 实现起来还是很简单的吧。 接下来要做的事就是怎么保存获得的流到文件中去了。

  2. 保存文件采用的方法。          我采用的是 IO 包中的 RandAccessFile 类。          操作相当简单,假设从 2000070 处开始保存文件,代码如下:          RandomAccess oSavedFile = new  RandomAccessFile("down.zip","rw");           long nPos = 2000070;           // 定位文件指针到 nPos 位置          oSavedFile.seek(nPos);           byte[] b = new byte[1024];           int nRead;           // 从输入流中读入字节流,然后写到文件中          while((nRead=input.read(b,0,1024)) > 0)           {           oSavedFile.write(b,0,nRead);           }

怎么样,也很简单吧。 接下来要做的就是整合成一个完整的程序了。包括一系列的线程控制等等。

断点续传内核的实现

主要用了 6 个类,包括一个测试类。        SiteFileFetch.java 负责整个文件的抓取,控制内部线程 (FileSplitterFetch 类 )。        FileSplitterFetch.java 负责部分文件的抓取。        FileAccess.java 负责文件的存储。        SiteInfoBean.java 要抓取的文件的信息,如文件保存的目录,名字,抓取文件的 URL 等。        Utility.java 工具类,放一些简单的方法。        TestMethod.java 测试类。

下面是源程序:

  1. /*
  2. /*
  3. * SiteFileFetch.java
  4. */
  5. package NetFox;
  6. import java.io.*;
  7. import java.net.*;
  8. public class SiteFileFetch extends Thread {
  9. SiteInfoBean siteInfoBean = null; // 文件信息 Bean
  10. long[] nStartPos; // 开始位置
  11. long[] nEndPos; // 结束位置
  12. FileSplitterFetch[] fileSplitterFetch; // 子线程对象
  13. long nFileLength; // 文件长度
  14. boolean bFirst = true; // 是否第一次取文件
  15. boolean bStop = false; // 停止标志
  16. File tmpFile; // 文件下载的临时信息
  17. DataOutputStream output; // 输出到文件的输出流
  18. public SiteFileFetch(SiteInfoBean bean) throws IOException
  19. {
  20. siteInfoBean = bean;
  21. //tmpFile = File.createTempFile ("zhong","1111",new File(bean.getSFilePath()));
  22. tmpFile = new File(bean.getSFilePath()+File.separator + bean.getSFileName()+".info");
  23. if(tmpFile.exists ())
  24. {
  25. bFirst = false;
  26. read_nPos();
  27. }
  28. else
  29. {
  30. nStartPos = new long[bean.getNSplitter()];
  31. nEndPos = new long[bean.getNSplitter()];
  32. }
  33. }
  34. public void run()
  35. {
  36. // 获得文件长度
  37. // 分割文件
  38. // 实例 FileSplitterFetch
  39. // 启动 FileSplitterFetch 线程
  40. // 等待子线程返回
  41. try{
  42. if(bFirst)
  43. {
  44. nFileLength = getFileSize();
  45. if(nFileLength == -)
  46. {
  47. System.err.println("File Length is not known!");
  48. }
  49. else if(nFileLength == -)
  50. {
  51. System.err.println("File is not access!");
  52. }
  53. else
  54. {
  55. for(int i=;i<nStartPos.length;i++)
  56. {
  57. nStartPos[i] = (long)(i*(nFileLength/nStartPos.length));
  58. }
  59. for(int i=;i<nEndPos.length-;i++)
  60. {
  61. nEndPos[i] = nStartPos[i+];
  62. }
  63. nEndPos[nEndPos.length-] = nFileLength;
  64. }
  65. }
  66. // 启动子线程
  67. fileSplitterFetch = new FileSplitterFetch[nStartPos.length];
  68. for(int i=;i<nStartPos.length;i++)
  69. {
  70. fileSplitterFetch[i] = new FileSplitterFetch(siteInfoBean.getSSiteURL(),
  71. siteInfoBean.getSFilePath() + File.separator + siteInfoBean.getSFileName(),
  72. nStartPos[i],nEndPos[i],i);
  73. Utility.log("Thread " + i + " , nStartPos = " + nStartPos[i] + ", nEndPos = "
  74. + nEndPos[i]);
  75. fileSplitterFetch[i].start();
  76. }
  77. // fileSplitterFetch[nPos.length-1] = new FileSplitterFetch(siteInfoBean.getSSiteURL(),
  78. siteInfoBean.getSFilePath() + File.separator
  79. + siteInfoBean.getSFileName(),nPos[nPos.length-],nFileLength,nPos.length-);
  80. // Utility.log("Thread " +(nPos.length-1) + ",nStartPos = "+nPos[nPos.length-1]+",
  81. nEndPos = " + nFileLength);
  82. // fileSplitterFetch[nPos.length-1].start();
  83. // 等待子线程结束
  84. //int count = 0;
  85. // 是否结束 while 循环
  86. boolean breakWhile = false;
  87. while(!bStop)
  88. {
  89. write_nPos();
  90. Utility.sleep();
  91. breakWhile = true;
  92. for(int i=;i<nStartPos.length;i++)
  93. {
  94. if(!fileSplitterFetch[i].bDownOver)
  95. {
  96. breakWhile = false;
  97. break;
  98. }
  99. }
  100. if(breakWhile)
  101. break;
  102. //count++;
  103. //if(count>4)
  104. // siteStop();
  105. }
  106. System.err.println("文件下载结束!");
  107. }
  108. catch(Exception e){e.printStackTrace ();}
  109. }
  110. // 获得文件长度
  111. public long getFileSize()
  112. {
  113. int nFileLength = -;
  114. try{
  115. URL url = new URL(siteInfoBean.getSSiteURL());
  116. HttpURLConnection httpConnection = (HttpURLConnection)url.openConnection ();
  117. httpConnection.setRequestProperty("User-Agent","NetFox");
  118. int responseCode=httpConnection.getResponseCode();
  119. if(responseCode>=)
  120. {
  121. processErrorCode(responseCode);
  122. return -; //-2 represent access is error
  123. }
  124. String sHeader;
  125. for(int i=;;i++)
  126. {
  127. //DataInputStream in = new DataInputStream(httpConnection.getInputStream ());
  128. //Utility.log(in.readLine());
  129. sHeader=httpConnection.getHeaderFieldKey(i);
  130. if(sHeader!=null)
  131. {
  132. if(sHeader.equals("Content-Length"))
  133. {
  134. nFileLength = Integer.parseInt(httpConnection.getHeaderField(sHeader));
  135. break;
  136. }
  137. }
  138. else
  139. break;
  140. }
  141. }
  142. catch(IOException e){e.printStackTrace ();}
  143. catch(Exception e){e.printStackTrace ();}
  144. Utility.log(nFileLength);
  145. return nFileLength;
  146. }
  147. // 保存下载信息(文件指针位置)
  148. private void write_nPos()
  149. {
  150. try{
  151. output = new DataOutputStream(new FileOutputStream(tmpFile));
  152. output.writeInt(nStartPos.length);
  153. for(int i=;i<nStartPos.length;i++)
  154. {
  155. // output.writeLong(nPos[i]);
  156. output.writeLong(fileSplitterFetch[i].nStartPos);
  157. output.writeLong(fileSplitterFetch[i].nEndPos);
  158. }
  159. output.close();
  160. }
  161. catch(IOException e){e.printStackTrace ();}
  162. catch(Exception e){e.printStackTrace ();}
  163. }
  164. // 读取保存的下载信息(文件指针位置)
  165. private void read_nPos()
  166. {
  167. try{
  168. DataInputStream input = new DataInputStream(new FileInputStream(tmpFile));
  169. int nCount = input.readInt();
  170. nStartPos = new long[nCount];
  171. nEndPos = new long[nCount];
  172. for(int i=;i<nStartPos.length;i++)
  173. {
  174. nStartPos[i] = input.readLong();
  175. nEndPos[i] = input.readLong();
  176. }
  177. input.close();
  178. }
  179. catch(IOException e){e.printStackTrace ();}
  180. catch(Exception e){e.printStackTrace ();}
  181. }
  182. private void processErrorCode(int nErrorCode)
  183. {
  184. System.err.println("Error Code : " + nErrorCode);
  185. }
  186. // 停止文件下载
  187. public void siteStop()
  188. {
  189. bStop = true;
  190. for(int i=;i<nStartPos.length;i++)
  191. fileSplitterFetch[i].splitterStop();
  192. }
  193. }
  194. /*
  195. **FileSplitterFetch.java
  196. */
  197. package NetFox;
  198. import java.io.*;
  199. import java.net.*;
  200. public class FileSplitterFetch extends Thread {
  201. String sURL; //File URL
  202. long nStartPos; //File Snippet Start Position
  203. long nEndPos; //File Snippet End Position
  204. int nThreadID; //Thread's ID
  205. boolean bDownOver = false; //Downing is over
  206. boolean bStop = false; //Stop identical
  207. FileAccessI fileAccessI = null; //File Access interface
  208. public FileSplitterFetch(String sURL,String sName,long nStart,long nEnd,int id)
  209. throws IOException
  210. {
  211. this.sURL = sURL;
  212. this.nStartPos = nStart;
  213. this.nEndPos = nEnd;
  214. nThreadID = id;
  215. fileAccessI = new FileAccessI(sName,nStartPos);
  216. }
  217. public void run()
  218. {
  219. while(nStartPos < nEndPos && !bStop)
  220. {
  221. try{
  222. URL url = new URL(sURL);
  223. HttpURLConnection httpConnection = (HttpURLConnection)url.openConnection ();
  224. httpConnection.setRequestProperty("User-Agent","NetFox");
  225. String sProperty = "bytes="+nStartPos+"-";
  226. httpConnection.setRequestProperty("RANGE",sProperty);
  227. Utility.log(sProperty);
  228. InputStream input = httpConnection.getInputStream();
  229. //logResponseHead(httpConnection);
  230. byte[] b = new byte[];
  231. int nRead;
  232. while((nRead=input.read(b,,)) > && nStartPos < nEndPos
  233. && !bStop)
  234. {
  235. nStartPos += fileAccessI.write(b,,nRead);
  236. //if(nThreadID == 1)
  237. // Utility.log("nStartPos = " + nStartPos + ", nEndPos = " + nEndPos);
  238. }
  239. Utility.log("Thread " + nThreadID + " is over!");
  240. bDownOver = true;
  241. //nPos = fileAccessI.write (b,0,nRead);
  242. }
  243. catch(Exception e){e.printStackTrace ();}
  244. }
  245. }
  246. // 打印回应的头信息
  247. public void logResponseHead(HttpURLConnection con)
  248. {
  249. for(int i=;;i++)
  250. {
  251. String header=con.getHeaderFieldKey(i);
  252. if(header!=null)
  253. //responseHeaders.put(header,httpConnection.getHeaderField(header));
  254. Utility.log(header+" : "+con.getHeaderField(header));
  255. else
  256. break;
  257. }
  258. }
  259. public void splitterStop()
  260. {
  261. bStop = true;
  262. }
  263. }
  264.  
  265. /*
  266. **FileAccess.java
  267. */
  268. package NetFox;
  269. import java.io.*;
  270. public class FileAccessI implements Serializable{
  271. RandomAccessFile oSavedFile;
  272. long nPos;
  273. public FileAccessI() throws IOException
  274. {
  275. this("",);
  276. }
  277. public FileAccessI(String sName,long nPos) throws IOException
  278. {
  279. oSavedFile = new RandomAccessFile(sName,"rw");
  280. this.nPos = nPos;
  281. oSavedFile.seek(nPos);
  282. }
  283. public synchronized int write(byte[] b,int nStart,int nLen)
  284. {
  285. int n = -;
  286. try{
  287. oSavedFile.write(b,nStart,nLen);
  288. n = nLen;
  289. }
  290. catch(IOException e)
  291. {
  292. e.printStackTrace ();
  293. }
  294. return n;
  295. }
  296. }
  297.  
  298. /*
  299. **SiteInfoBean.java
  300. */
  301. package NetFox;
  302. public class SiteInfoBean {
  303. private String sSiteURL; //Site's URL
  304. private String sFilePath; //Saved File's Path
  305. private String sFileName; //Saved File's Name
  306. private int nSplitter; //Count of Splited Downloading File
  307. public SiteInfoBean()
  308. {
  309. //default value of nSplitter is 5
  310. this("","","",);
  311. }
  312. public SiteInfoBean(String sURL,String sPath,String sName,int nSpiltter)
  313. {
  314. sSiteURL= sURL;
  315. sFilePath = sPath;
  316. sFileName = sName;
  317. this.nSplitter = nSpiltter;
  318. }
  319. public String getSSiteURL()
  320. {
  321. return sSiteURL;
  322. }
  323. public void setSSiteURL(String value)
  324. {
  325. sSiteURL = value;
  326. }
  327. public String getSFilePath()
  328. {
  329. return sFilePath;
  330. }
  331. public void setSFilePath(String value)
  332. {
  333. sFilePath = value;
  334. }
  335. public String getSFileName()
  336. {
  337. return sFileName;
  338. }
  339. public void setSFileName(String value)
  340. {
  341. sFileName = value;
  342. }
  343. public int getNSplitter()
  344. {
  345. return nSplitter;
  346. }
  347. public void setNSplitter(int nCount)
  348. {
  349. nSplitter = nCount;
  350. }
  351. }
  352.  
  353. /*
  354. **Utility.java
  355. */
  356. package NetFox;
  357. public class Utility {
  358. public Utility()
  359. {
  360. }
  361. public static void sleep(int nSecond)
  362. {
  363. try{
  364. Thread.sleep(nSecond);
  365. }
  366. catch(Exception e)
  367. {
  368. e.printStackTrace ();
  369. }
  370. }
  371. public static void log(String sMsg)
  372. {
  373. System.err.println(sMsg);
  374. }
  375. public static void log(int sMsg)
  376. {
  377. System.err.println(sMsg);
  378. }
  379. }
  380.  
  381. /*
  382. **TestMethod.java
  383. */
  384. package NetFox;
  385. public class TestMethod {
  386. public TestMethod()
  387. { ///xx/weblogic60b2_win.exe
  388. try{
  389. SiteInfoBean bean = new SiteInfoBean("http://localhost/xx/weblogic60b2_win.exe",
  390. "L:\\temp","weblogic60b2_win.exe",);
  391. //SiteInfoBean bean = new SiteInfoBean("http://localhost:8080/down.zip","L:\\temp",
  392. "weblogic60b2_win.exe",);
  393. SiteFileFetch fileFetch = new SiteFileFetch(bean);
  394. fileFetch.start();
  395. }
  396. catch(Exception e){e.printStackTrace ();}
  397. }
  398. public static void main(String[] args)
  399. {
  400. new TestMethod();
  401. }
  402. }

用 Java 实现断点续传参考 (HTTP)的更多相关文章

  1. 用 Java 实现断点续传 (HTTP)

    断点续传的原理 其实断点续传的原理很简单,就是在 Http 的请求上和一般的下载有所不同而已. 打个比方,浏览器请求服务器上的一个文时,所发出的请求如下: 假设服务器域名为 wwww.sjtu.edu ...

  2. java 实现断点续传

    请求头一:>>>>>>>>>>>>>>>>>>>>>>>> ...

  3. 用Java实现断点续传的基本思路和代码

    用Java实现断点续传的基本思路和代码   URL url = new URL(http://www.oschina.net/no-exist.zip); HttpURLConnection http ...

  4. Java 往年试卷参考答案!!!

    仅供参考: 第一题: E C E A D D C A C A C A B A B C C D B C 第二题: True True False 11 12 13 14 No such file fou ...

  5. Java ftp断点续传

    FtpTransFile类 import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcept ...

  6. Java实现断点续传

    原理: 断点续传的关键是断点,所以在制定传输协议的时候要设计好,如上图,我自定义了一个交互协议,每次下载请求都会带上下载的起始点,这样就可以支持从断点下载了,其实HTTP里的断点续传也是这个原理,在H ...

  7. java中regex参考

    在Sun的Java JDK 1.40版本中,Java自带了支持正则表达式的包,本文就抛砖引玉地介绍了如何使用java.util.regex包. 可粗略估计一下,除了偶尔用Linux的外,其他Linu ...

  8. java服务器端断点续传

    Servlet Java代码 复制代码 收藏代码 import java.io.BufferedOutputStream; import java.io.File; import java.io.IO ...

  9. 告别编码5分钟,命名2小时!史上最全的Java命名规范参考!

    简洁清爽的代码风格应该是大多数工程师所期待的.在工作中笔者常常因为起名字而纠结,夸张点可以说是编程5分钟,命名两小时!究竟为什么命名成为了工作中的拦路虎. 每个公司都有不同的标准,目的是为了保持统一, ...

随机推荐

  1. Project Server2016升级安装问题项目中心无法显示

    sharepoint 2016升级后,project server 相关中心页面出现空白页面,这是是sharepoint2016一个bug,解决方案用PWA.resx内容替换PWA.en-us.res ...

  2. 奇异值分解(SVD)详解

    2012-04-10 17:38 45524人阅读 评论(18) 收藏 举报  分类: 数学之美 版权声明:本文为博主原创文章,未经博主允许不得转载. SVD分解 SVD分解是LSA的数学基础,本文是 ...

  3. css之布局

    布局一直是页面制作很重要的部分,有个良好的布局不仅在页面上呈现很好的效果,还对后续功能扩展有重要的作用.本文主要讨论一下几种布局: 水平居中布局 垂直居中布局 多列布局 自适应布局 stracky-f ...

  4. CURL访问举例

    <?php function request($url, $params = [], $requestMethod = 'GET', $jsonDecode = true, $headers = ...

  5. VMware安装Ubuntu时出现Intel VT-X处于禁用状态的情况的处理办法

    VMware安装Ubuntu时出现Intel VT-X处于禁用状态的情况的处理办法   VMware安装Ubuntu的出现Intel VT-X处于禁用状态的情况会使已经安装好的Ubuntu虚拟机打不开 ...

  6. leetcode-002

    给定两个非空链表来表示两个非负整数.位数按照逆序方式存储,它们的每个节点只存储单个数字.将两数相加返回一个新的链表. 你可以假设除了数字 0 之外,这两个数字都不会以零开头. 示例: 输入:(2 -& ...

  7. Java有几种引用类型?

    有这样一类对象:当内存空间还足够,则可保留在内存中:如果内存空间在gc之后还是非常紧张,则可抛弃这些对象.很多系统的缓存功能适合这样的场景,所以jdk1.2以后 java将引用分为了强引用.软引用.弱 ...

  8. 树莓派 Learning 002 装机后的必要操作 --- 02 解决中文问题

    树莓派 装机后的必要操作 - 解决中文问题 我的树莓派型号:Raspberry Pi 2 Model B V1.1 装机系统:NOOBS v1.9.2 每一块树莓派,装机后都应该执行的步骤 刚装机后, ...

  9. sklearn解决过拟合的例子

    Learning curve 检视过拟合 sklearn.learning_curve 中的 learning curve 可以很直观的看出我们的 model 学习的进度, 对比发现有没有 overf ...

  10. C# 原码与补码的转换

    /// <summary> /// 求一个16位数数的补码 /// </summary> /// <param name="OriginalCode" ...