应用需求:

网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传、下载)这一块现在既定了三种传输方式,即:Ftp传输、HTTP传输以及基于UDT的传输。且这三种数据传输方式是可配的,可以通过不同的接口调用。相比这三种方式,基于UDT的大量文件传输是比较值得研究与创新的地方,它在底层是基于UDP,在上层实现了可靠性的控制;同时它充分考虑到了基于在公网环境下基于Tcp进行传输时拥塞控制算法的缺点,实现了自己的拥塞控制算法,在实际测试中其性能也是明显高于基于Tcp的传输。关于UDT实现文件传输只进行了技术调研,还没有真正实现,这一部分内容将在后续文章中提及。这三天的时间只实现了基于FTP的支持断点续传的文件上传、下载。

实现原理:

离我们最近的断点续传的应用例子是:迅雷。当使用迅雷下载一个大文件时,它实现了下面的功能:1> 电脑突然断电或程序突然退出后,当我们重新启动迅雷时它还会从程序退出时已经下载的文件点继续向后下载,而不是文件又从头开始下载。2> 可以设置采用多个线程同时下载,每个线程只下载文件中的某一部分,例如:使用三个线程下载一个9000个字节的文件,则第一个线程下载第1—3000个字节,第二个线程下载第3001—6000个字节,第三个线程下载第6001—9000个字节。这三个线程是同时下载一个文件,只是下载不同的部分,它会把下载的文件片段暂存在某个位置,当三个线程全部下载完成时再拼成一个完整的文件。这里不用多说,其优点显而易见。

其实,断点续传实现的原理很简单,就是无论是上传还是下载时都可以实时记录下已经上传了或下载了多少字节,如果中间因为某种原因传输断开,下载启动时只需要再重新从已经下载的位置继续下载或上传就可以了。

利用Qftp实现断点续传:

QT中有一个实现Ftp的类:Qftp,它提供了基本的ftp的使用方式,连接ftp服务器:connectToHost;登录:login;上传:put;下载:get,使用这些方法可以实现与ftp服务器交互实现文件上传、下载。但是使用它原生提供的put与get方法,无法实现断点续传。因此,为了实现断点续传我们需要重新实现文件传输,并在其中添加断点续传的控制。其实Ftp文件传输的本质也是使用Tcp来实现底层的文件传输。大体思路就是:利用Qftp的connectToHost登录ftp服务器,使用login登录ftp服务器,使用rawCommand发送ftp原生态的命令,使用QTcpSocket实现文件数据的传输。

首先,使用QTcpSocket实现文件数据的传输,需要设置ftp服务器为“PASV”被动接收方式,即ftp服务器被动地接收来自客户端的连接请求。

Ftp服务器所有可以发送的原生命令有:http://www.nsftools.com/tips/RawFTP.htm。

实现断点上传的命令发送流程:

1、rawCommand("TYPE I");设置传输数据的类型:二进制数据或ASCII

2、rawCommand("PASV");设置服务器为被动接收方式。发送PASV命令后,服务器会返回自己开启的数据传输的端口,等待客户端连接进行数据传输。返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”,然后从返回的信息里面或去相关的信息,ftp服务器的IP地址:192.168.2.18;ftp服务器开启的用于数据传输的端口:118*256 + 32 = 30240;获得该信息后就需要建立TcpSocket的通信链路,连接ftp服务器。

3、rawCommand("APPE  remote-file-path");设置服务器端remote-file-path为追加的方式。如果此时改文件不存在,则服务器端会创建一个。

4、完成上述流程后,就可以打开本地文件进行读取,并通过tcpsocket链路发送出去(write)。

实现断点下载的命令发送流程:

1、rawCommand("TYPE I");设置传输数据的类型:二进制数据或ASCII

2、rawCommand("PASV");设置服务器为被动接收方式。发送PASV命令后,服务器会返回自己开启的数据传输的端口,等待客户端连接进行数据传输。返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”,然后从返回的信息里面或去相关的信息,ftp服务器的IP地址:192.168.2.18;ftp服务器开启的用于数据传输的端口:118*256 + 32 = 30240;获得该信息后就需要建立TcpSocket的通信链路,连接ftp服务器。

3、rawCommand("REST  size");该命令设置ftp服务器从本地文件的哪个地方开始进行数据传输。

4、rawCommand(“RETR  remote-file-path”);开始从远程主机传输文件。

文件上传时在设置APPE返回之后,就可以打开本地文件进行上传;文件下载时,收到PASV的返回信息建立tcpsocket的连接后,需要建立readyRead()的信号槽,在该槽函数中实现数据的读取。

关键代码:

1. 处理rawCommand()发送原生命令返回后的槽函数:

  1. void LHTFileTransfer::ProcRawCommandReply(int nReplyCode, QString strDetail)
  2. {
  3. //! TYPE
  4. if (200 == nReplyCode)
  5. {
  6. m_ftpHandle->rawCommand("PASV");
  7. if (currentItem.task_type.compare("Upload") == 0)
  8. {
  9. op = QString("Put");
  10. }
  11. else if (currentItem.task_type.compare("DownLoad") == 0)
  12. {
  13. op = QString("Get");
  14. }
  15. }
  16. //! PASV
  17. else if(227 == nReplyCode)
  18. {
  19. const QString backResult = strDetail;
  20. if (NULL != m_sendDataSocket)
  21. {
  22. m_sendDataSocket->close();
  23. delete m_sendDataSocket;
  24. }
  25. m_sendDataSocket = new QTcpSocket();
  26. connect(m_sendDataSocket, SIGNAL(readyRead()), this, SLOT(ProcReadyRead()), Qt::UniqueConnection);
  27. connect(m_sendDataSocket, SIGNAL(readChannelFinished()), this, SLOT(ProcReadChannelFinished()), Qt::UniqueConnection);
  28. connect(m_sendDataSocket, SIGNAL(bytesWritten(qint64)), this, SLOT(ProcBytesWritten(qint64)), Qt::UniqueConnection);
  29. QStringList lstr = backResult.split("(").last().split(")").first().split(",");
  30. int nAddress = lstr.at(0).toInt()<<24 |
  31. lstr.at(1).toInt()<<16 |
  32. lstr.at(2).toInt()<<8 |
  33. lstr.at(3).toInt();
  34. QHostAddress hostAddress(nAddress);
  35. int nPort = lstr.at(lstr.length() - 2).toInt() * 256 + lstr.last().toInt();
  36. m_sendDataSocket->connectToHost(hostAddress, nPort);
  37. //! APPE , 需要接远程文件的绝对路径
  38. QString appeShell;
  39. if (op.compare("Put") == 0)
  40. {
  41. appeShell = QString("APPE %1").arg(currentItem.file_remote_path);
  42. }
  43. else if (op.compare("Get") == 0)
  44. {
  45. //! 这里的REST后面的大小应该为本地保存的问价的大小
  46. appeShell = QString("REST 0");
  47. }
  48. m_ftpHandle->rawCommand(appeShell);
  49. }
  50. //! 发送数据
  51. else if (150 == nReplyCode)
  52. {
  53. if (op.compare("Put") == 0)
  54. {
  55. m_fileHandle = new QFile(currentItemFilePath);
  56. if (!m_fileHandle->open(QIODevice::ReadOnly))
  57. {
  58. qDebug() << "file open error ...";
  59. return ;
  60. }
  61. const qint64 fileSize = m_fileHandle->size();
  62. m_fileHandle->seek(currentItem.uploaded_size);
  63. while(!m_fileHandle->atEnd())
  64. {
  65. const qint64 nBlockSize = 16 * 1024 ;
  66. char buf[16 * 1024];
  67. qint64 nowPos = m_fileHandle->pos();
  68. qint64 readLen = m_fileHandle->read(buf, nBlockSize);
  69. if (readLen !=0 && readLen != -1)
  70. {
  71. m_sendDataSocket->write(buf, readLen);
  72. m_sendDataSocket->flush();
  73. emit DataTransferProgress(nowPos, fileSize);
  74. }
  75. }
  76. m_sendDataSocket->flush();
  77. m_sendDataSocket->close();
  78. m_sendDataSocket = NULL ;
  79. emit DataTransferProgress(m_fileHandle->pos(), m_fileHandle->size());
  80. m_procTask.remove(currentItemFilePath);
  81. m_fileHandle->close();
  82. //emit StartNextTask();
  83. }
  84. else if(op.compare("Get") == 0)
  85. {
  86. m_fileHandle = new QFile(currentItem.file_remote_path);
  87. if (!m_fileHandle->open(QIODevice::WriteOnly))
  88. {
  89. qDebug() << "file open error ...";
  90. return ;
  91. }
  92. }
  93. }
  94. else if(350 == nReplyCode)
  95. {
  96. QString shell = QString("RETR %1").arg(currentItemFilePath);
  97. m_ftpHandle->rawCommand(shell);
  98. }
  99. }

2. 断点下载时实现buffer读取的函数:

  1. void LHTFileTransfer::ProcReadyRead()
  2. {
  3. qDebug() << "[DownLoad] ProcReadyReady ....";
  4. QByteArray buffer = m_sendDataSocket->readAll();
  5. m_fileHandle->write(buffer);
  6. m_fileHandle->flush();
  7. emit DataTransferProgress(m_fileHandle->size(), 0);
  8. }

面临的问题以及后续需要优化的地方:

1. 字符编码问题,即当需要上传的文件名是中文名称时,需要对其进行转码。

2. 现在实现的是单线程,尚未添加多线程断点下载以及队列的实现。

实现FTP断点续传的更多相关文章

  1. 【大话QT之十】实现FTP断点续传(需要设置ftp服务器为“PASV”被动接收方式)

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传.下载)这一块现在既定了三种传输方式,即: ...

  2. Java ftp断点续传

    FtpTransFile类 import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcept ...

  3. 【大话QT之十】实现FTP断点续传

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在client改动或新添加一个文件时.该文件要同步上传到server端相应的用户文件夹下,因此针对传输数据(即:上传.下载)这一块如今既定了三种 ...

  4. ftp断点续传

    有时候ftp的文件太大了 容易断掉 使用shell下载 1 #!/bin/bash 2 cd /data2/GATK2/refSeqDB/1000genomePhase3 3 ftp -v -n 19 ...

  5. edtftpj让Java上传FTP文件支持断点续传

    在用Java实现FTP上传文件功能时,特别是上传大文件的时候,可以需要这样的功能:程序在上传的过程中意外终止了,文件传了一大半,想从断掉了地方继续传:或者想做类似迅雷下载类似的功能,文件太大,今天传一 ...

  6. 用windows自带的ftp.exe实现断点续传的方法

    摘自http://www.jb51.net/article/10604.htm 动画下载地址: http://www.chinesehack.org/soft/book/goonftp-jc.rar ...

  7. TCP/IP协议原理与应用笔记02:断点续传

    1.断点续传简介:       FTP(文件传输协议的简称)(File Transfer Protocol. FTP)客户端软件断点续传指的是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人 ...

  8. 学习笔记之 curl 命令用法详解

    [前言]     本文翻译和整理自 Linux-2.6.32 中和 curl 相关的 Manual Page 描述文档. 文档目的仅在提醒读者所遗忘的知识点,故在整理时削弱了阅读流畅性,适用于对 cu ...

  9. python基础----文件处理

    一.文件处理流程 打开文件,得到文件句柄并赋值给一个变量 通过句柄对文件进行操作 关闭文件 正趣果上果 Interesting fruit fruit 词:郭婞 曲:陈粒 编曲/混音/和声:燕池 萧: ...

随机推荐

  1. Hibernate学习笔记--环境搭建及运行

    1.hibernate开发包下载 http://sourceforge.net/projects/hibernate/files/ 如果不能访问请用代理http://dongtaiwang.com/l ...

  2. 虚拟机下ubuntu的minicom使用指南

    整理自ubuntu下的minicom的使用 minicom是linux下串口通信的软件,它的使用完全依靠键盘的操作,虽然没有"超级终端"那么易用,但是使用习惯之后读者将会体会到它的 ...

  3. Linq 筛选出一条数据

    InBoxInfo boxInfo = boxList.Find(p => p.GoodsID == goods.GoodsID.ToString().Trim() && p.S ...

  4. 【网络流24题】 No.12 软件补丁问题(最小转移代价 最短路)

    [题意] T 公司发现其研制的一个软件中有 n 个错误, 随即为该软件发放了一批共 m 个补丁程序. 每一个补丁程序都有其特定的适用环境, 某个补丁只有在软件中包含某些错误而同时又不包含另一些错误时才 ...

  5. 使用libCurl实现断点下载

    关键部分代码如下: #include "curl.h" #pragma comment(lib, "libcurl.lib") size_t CROS_Down ...

  6. Learing WCF Chapter1 WCF Services

    WCF ServicesWCF services are the new distributed boundary in an enterprise application—with an empha ...

  7. AC-BM算法原理与代码实现(模式匹配)

    AC-BM算法原理与代码实现(模式匹配) AC-BM算法将待匹配的字符串集合转换为一个类似于Aho-Corasick算法的树状有限状态自动机,但构建时不是基于字符串的后缀而是前缀.匹配 时,采取自后向 ...

  8. 如何在Azure环境里做好信息传递可扩展性经验分享

    作者 王枫 发布于2014年5月15日 综述 本文介绍建立一个在Azure上使用Azure服务总线, 高吞吐量短信平台的必要步骤.在这篇文章中提出的解决方案是在响应由客户的具体要求,建立一个基于Win ...

  9. Java正则表达式应用总结

    http://lavasoft.blog.51cto.com/ http://lavasoft.blog.51cto.com/62575/179324      Java正则表达式应用总结   一.概 ...

  10. response常见应用、response细节、输出随机图片、定时刷新网页

      response常见应用 向客户端输出中文数据 分别以OutputStream和PrintWriter输出 多学一招:使用HTML语言里面的<meta>标签来控制浏览器行为 思考:用O ...