应用需求:

网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传、下载)这一块现在既定了三种传输方式,即:Ftp传输、HTTP传输以及基于UDT的传输。且这三种数据传输方式是可配的,可以通过不同的接口调用。相比这三种方式,基于UDT的大量文件传输是比较值得研究与创新的地方,它在底层是基于UDP,在上层实现了可靠性的控制;同时它充分考虑到了基于在公网环境下基于Tcp进行传输时拥塞控制算法的缺点,实现了自己的拥塞控制算法,在实际测试中其性能也是明显高于基于Tcp的传输。关于UDT实现文件传输只进行了技术调研,还没有真正实现,这一部分内容将在后续文章中提及。这三天的时间只实现了基于FTP的支持断点续传的文件上传、下载。

实现原理:

离我们最近的断点续传的应用例子是:迅雷。当使用迅雷下载一个大文件时,它实现了下面的功能:1> 电脑突然断电或程序突然退出后,当我们重新启动迅雷时它还会从程序退出时已经下载的文件点继续向后下载,而不是文件又从头开始下载。2> 可以设置采用多个线程同时下载,每个线程只下载文件中的某一部分,例如:使用三个线程下载一个9000个字节的文件,则第一个线程下载第1—3000个字节,第二个线程下载第3001—6000个字节,第三个线程下载第6001—9000个字节。这三个线程是同时下载一个文件,只是下载不同的部分,它会把下载的文件片段暂存在某个位置,当三个线程全部下载完成时再拼成一个完整的文件。这里不用多说,其优点显而易见。

其实,断点续传实现的原理很简单,就是无论是上传还是下载时都可以实时记录下已经上传了或下载了多少字节,如果中间因为某种原因传输断开,下载启动时只需要再重新从已经下载的位置继续下载或上传就可以了。

利用Qftp实现断点续传:

QT中有一个实现Ftp的类:Qftp,它提供了基本的ftp的使用方式,连接ftp服务器:connectToHost;登录:login;上传:put;下载:get,使用这些方法可以实现与ftp服务器交互实现文件上传、下载。但是使用它原生提供的put与get方法,无法实现断点续传。因此,为了实现断点续传我们需要重新实现文件传输,并在其中添加断点续传的控制。其实Ftp文件传输的本质也是使用Tcp来实现底层的文件传输。大体思路就是:利用Qftp的connectToHost登录ftp服务器,使用login登录ftp服务器,使用rawCommand发送ftp原生态的命令,使用QTcpSocket实现文件数据的传输。

首先,使用QTcpSocket实现文件数据的传输,需要设置ftp服务器为“PASV”被动接收方式,即ftp服务器被动地接收来自客户端的连接请求。

Ftp服务器所有可以发送的原生命令有:http://www.nsftools.com/tips/RawFTP.htm。

实现断点上传的命令发送流程:

1、rawCommand("TYPE I");设置传输数据的类型:二进制数据或ASCII

2、rawCommand("PASV");设置服务器为被动接收方式。发送PASV命令后,服务器会返回自己开启的数据传输的端口,等待客户端连接进行数据传输。返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”,然后从返回的信息里面或去相关的信息,ftp服务器的IP地址:192.168.2.18;ftp服务器开启的用于数据传输的端口:118*256 + 32 = 30240;获得该信息后就需要建立TcpSocket的通信链路,连接ftp服务器。

3、rawCommand("APPE  remote-file-path");设置服务器端remote-file-path为追加的方式。如果此时改文件不存在,则服务器端会创建一个。

4、完成上述流程后,就可以打开本地文件进行读取,并通过tcpsocket链路发送出去(write)。

实现断点下载的命令发送流程:

1、rawCommand("TYPE I");设置传输数据的类型:二进制数据或ASCII

2、rawCommand("PASV");设置服务器为被动接收方式。发送PASV命令后,服务器会返回自己开启的数据传输的端口,等待客户端连接进行数据传输。返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”,然后从返回的信息里面或去相关的信息,ftp服务器的IP地址:192.168.2.18;ftp服务器开启的用于数据传输的端口:118*256 + 32 = 30240;获得该信息后就需要建立TcpSocket的通信链路,连接ftp服务器。

3、rawCommand("REST  size");该命令设置ftp服务器从本地文件的哪个地方开始进行数据传输。

4、rawCommand(“RETR  remote-file-path”);开始从远程主机传输文件。

文件上传时在设置APPE返回之后,就可以打开本地文件进行上传;文件下载时,收到PASV的返回信息建立tcpsocket的连接后,需要建立readyRead()的信号槽,在该槽函数中实现数据的读取。

关键代码:

1. 处理rawCommand()发送原生命令返回后的槽函数:

  1. void LHTFileTransfer::ProcRawCommandReply(int nReplyCode, QString strDetail)
  2. {
  3. //! TYPE
  4. if (200 == nReplyCode)
  5. {
  6. m_ftpHandle->rawCommand("PASV");
  7. if (currentItem.task_type.compare("Upload") == 0)
  8. {
  9. op = QString("Put");
  10. }
  11. else if (currentItem.task_type.compare("DownLoad") == 0)
  12. {
  13. op = QString("Get");
  14. }
  15. }
  16. //! PASV
  17. else if(227 == nReplyCode)
  18. {
  19. const QString backResult = strDetail;
  20. if (NULL != m_sendDataSocket)
  21. {
  22. m_sendDataSocket->close();
  23. delete m_sendDataSocket;
  24. }
  25. m_sendDataSocket = new QTcpSocket();
  26. connect(m_sendDataSocket, SIGNAL(readyRead()), this, SLOT(ProcReadyRead()), Qt::UniqueConnection);
  27. connect(m_sendDataSocket, SIGNAL(readChannelFinished()), this, SLOT(ProcReadChannelFinished()), Qt::UniqueConnection);
  28. connect(m_sendDataSocket, SIGNAL(bytesWritten(qint64)), this, SLOT(ProcBytesWritten(qint64)), Qt::UniqueConnection);
  29. QStringList lstr = backResult.split("(").last().split(")").first().split(",");
  30. int nAddress = lstr.at(0).toInt()<<24 |
  31. lstr.at(1).toInt()<<16 |
  32. lstr.at(2).toInt()<<8 |
  33. lstr.at(3).toInt();
  34. QHostAddress hostAddress(nAddress);
  35. int nPort = lstr.at(lstr.length() - 2).toInt() * 256 + lstr.last().toInt();
  36. m_sendDataSocket->connectToHost(hostAddress, nPort);
  37. //! APPE , 需要接远程文件的绝对路径
  38. QString appeShell;
  39. if (op.compare("Put") == 0)
  40. {
  41. appeShell = QString("APPE %1").arg(currentItem.file_remote_path);
  42. }
  43. else if (op.compare("Get") == 0)
  44. {
  45. //! 这里的REST后面的大小应该为本地保存的问价的大小
  46. appeShell = QString("REST 0");
  47. }
  48. m_ftpHandle->rawCommand(appeShell);
  49. }
  50. //! 发送数据
  51. else if (150 == nReplyCode)
  52. {
  53. if (op.compare("Put") == 0)
  54. {
  55. m_fileHandle = new QFile(currentItemFilePath);
  56. if (!m_fileHandle->open(QIODevice::ReadOnly))
  57. {
  58. qDebug() << "file open error ...";
  59. return ;
  60. }
  61. const qint64 fileSize = m_fileHandle->size();
  62. m_fileHandle->seek(currentItem.uploaded_size);
  63. while(!m_fileHandle->atEnd())
  64. {
  65. const qint64 nBlockSize = 16 * 1024 ;
  66. char buf[16 * 1024];
  67. qint64 nowPos = m_fileHandle->pos();
  68. qint64 readLen = m_fileHandle->read(buf, nBlockSize);
  69. if (readLen !=0 && readLen != -1)
  70. {
  71. m_sendDataSocket->write(buf, readLen);
  72. m_sendDataSocket->flush();
  73. emit DataTransferProgress(nowPos, fileSize);
  74. }
  75. }
  76. m_sendDataSocket->flush();
  77. m_sendDataSocket->close();
  78. m_sendDataSocket = NULL ;
  79. emit DataTransferProgress(m_fileHandle->pos(), m_fileHandle->size());
  80. m_procTask.remove(currentItemFilePath);
  81. m_fileHandle->close();
  82. //emit StartNextTask();
  83. }
  84. else if(op.compare("Get") == 0)
  85. {
  86. m_fileHandle = new QFile(currentItem.file_remote_path);
  87. if (!m_fileHandle->open(QIODevice::WriteOnly))
  88. {
  89. qDebug() << "file open error ...";
  90. return ;
  91. }
  92. }
  93. }
  94. else if(350 == nReplyCode)
  95. {
  96. QString shell = QString("RETR %1").arg(currentItemFilePath);
  97. m_ftpHandle->rawCommand(shell);
  98. }
  99. }

2. 断点下载时实现buffer读取的函数:

  1. void LHTFileTransfer::ProcReadyRead()
  2. {
  3. qDebug() << "[DownLoad] ProcReadyReady ....";
  4. QByteArray buffer = m_sendDataSocket->readAll();
  5. m_fileHandle->write(buffer);
  6. m_fileHandle->flush();
  7. emit DataTransferProgress(m_fileHandle->size(), 0);
  8. }

面临的问题以及后续需要优化的地方:

1. 字符编码问题,即当需要上传的文件名是中文名称时,需要对其进行转码。

2. 现在实现的是单线程,尚未添加多线程断点下载以及队列的实现。

实现FTP断点续传的更多相关文章

  1. 【大话QT之十】实现FTP断点续传(需要设置ftp服务器为“PASV”被动接收方式)

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传.下载)这一块现在既定了三种传输方式,即: ...

  2. Java ftp断点续传

    FtpTransFile类 import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcept ...

  3. 【大话QT之十】实现FTP断点续传

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在client改动或新添加一个文件时.该文件要同步上传到server端相应的用户文件夹下,因此针对传输数据(即:上传.下载)这一块如今既定了三种 ...

  4. ftp断点续传

    有时候ftp的文件太大了 容易断掉 使用shell下载 1 #!/bin/bash 2 cd /data2/GATK2/refSeqDB/1000genomePhase3 3 ftp -v -n 19 ...

  5. edtftpj让Java上传FTP文件支持断点续传

    在用Java实现FTP上传文件功能时,特别是上传大文件的时候,可以需要这样的功能:程序在上传的过程中意外终止了,文件传了一大半,想从断掉了地方继续传:或者想做类似迅雷下载类似的功能,文件太大,今天传一 ...

  6. 用windows自带的ftp.exe实现断点续传的方法

    摘自http://www.jb51.net/article/10604.htm 动画下载地址: http://www.chinesehack.org/soft/book/goonftp-jc.rar ...

  7. TCP/IP协议原理与应用笔记02:断点续传

    1.断点续传简介:       FTP(文件传输协议的简称)(File Transfer Protocol. FTP)客户端软件断点续传指的是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人 ...

  8. 学习笔记之 curl 命令用法详解

    [前言]     本文翻译和整理自 Linux-2.6.32 中和 curl 相关的 Manual Page 描述文档. 文档目的仅在提醒读者所遗忘的知识点,故在整理时削弱了阅读流畅性,适用于对 cu ...

  9. python基础----文件处理

    一.文件处理流程 打开文件,得到文件句柄并赋值给一个变量 通过句柄对文件进行操作 关闭文件 正趣果上果 Interesting fruit fruit 词:郭婞 曲:陈粒 编曲/混音/和声:燕池 萧: ...

随机推荐

  1. 降维(一)----说说主成分分析(PCA)的源头

    降维(一)----说说主成分分析(PCA)的源头 降维系列: 降维(一)----说说主成分分析(PCA)的源头 降维(二)----Laplacian Eigenmaps --------------- ...

  2. 把内表 itab1 的 n1 到 n2 行内容附加到 itab2 内表中去.

    语法:append lines of itab1 [ from n1 ] [ to n2 ] to itab2. DATA:BEGIN OF gt_00 OCCURS 0,        l_01   ...

  3. 将excel数据导入内表的函数

    call function 'TEXT_CONVERT_XLS_TO_SAP'    exporting      i_tab_raw_data       = lt_raw "开始行    ...

  4. 【POJ 2987】Firing (最小割-最大权闭合子图)

    裁员 [问题描述] 在一个公司里,老板发现,手下的员工很多都不务正业,真正干事员工的没几个,于是老板决定大裁员,每开除一个人,同时要将其下属一并开除,如果该下属还有下属,照斩不误.给出每个人的贡献值和 ...

  5. 猜测:信号槽的本质是使用Windows的自定义消息来实现的

    在不断执行: void MyTool::DeleteAllFiles(){ for (i = 0; i <= n - 1; i++) { // do something }}在for循环没有执行 ...

  6. JBossESB教程(一)——开发环境的搭建

    前言 上篇对SOA的概述里面,在说SOA构建需要考虑什么时,提到了ESB,它作为SOA的基础设施而存在. 从这篇开始,将对ESB的其中一个实现JBossESB进行一个从头开始的讲解,既然是从头开始,那 ...

  7. git tag的使用

    查看所有的标签git tag 删除某一个标签git tag -d tagName 创建带注释的标签 git tag -a tagName -m "annotate" 轻量级标签 g ...

  8. 【转】Eclipse 中设置JVM 内存 -- 不错

    原文网址:http://www.xuebuyuan.com/569653.html java.lang.OutOfMemoryError: Java heap space 从上边的异常信息可以看到,J ...

  9. android开发板

    element14-beaglebone-black http://www.embest-tech.cn/shop/star/element14-beaglebone-black-rev-c.html ...

  10. Sharepoint 2010 之 WebPart

    转:http://blog.csdn.net/bestbadgod/article/details/6895542 Sharepoint系列的博客,都是我个人自学过程中的点滴的积累,毕竟没做过C#及A ...