应用需求:

网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传、下载)这一块现在既定了三种传输方式,即:Ftp传输、HTTP传输以及基于UDT的传输。且这三种数据传输方式是可配的,可以通过不同的接口调用。相比这三种方式,基于UDT的大量文件传输是比较值得研究与创新的地方,它在底层是基于UDP,在上层实现了可靠性的控制;同时它充分考虑到了基于在公网环境下基于Tcp进行传输时拥塞控制算法的缺点,实现了自己的拥塞控制算法,在实际测试中其性能也是明显高于基于Tcp的传输。关于UDT实现文件传输只进行了技术调研,还没有真正实现,这一部分内容将在后续文章中提及。这三天的时间只实现了基于FTP的支持断点续传的文件上传、下载。

实现原理:

离我们最近的断点续传的应用例子是:迅雷。当使用迅雷下载一个大文件时,它实现了下面的功能:1> 电脑突然断电或程序突然退出后,当我们重新启动迅雷时它还会从程序退出时已经下载的文件点继续向后下载,而不是文件又从头开始下载。2> 可以设置采用多个线程同时下载,每个线程只下载文件中的某一部分,例如:使用三个线程下载一个9000个字节的文件,则第一个线程下载第1—3000个字节,第二个线程下载第3001—6000个字节,第三个线程下载第6001—9000个字节。这三个线程是同时下载一个文件,只是下载不同的部分,它会把下载的文件片段暂存在某个位置,当三个线程全部下载完成时再拼成一个完整的文件。这里不用多说,其优点显而易见。

其实,断点续传实现的原理很简单,就是无论是上传还是下载时都可以实时记录下已经上传了或下载了多少字节,如果中间因为某种原因传输断开,下载启动时只需要再重新从已经下载的位置继续下载或上传就可以了。

利用Qftp实现断点续传:

QT中有一个实现Ftp的类:Qftp,它提供了基本的ftp的使用方式,连接ftp服务器:connectToHost;登录:login;上传:put;下载:get,使用这些方法可以实现与ftp服务器交互实现文件上传、下载。但是使用它原生提供的put与get方法,无法实现断点续传。因此,为了实现断点续传我们需要重新实现文件传输,并在其中添加断点续传的控制。其实Ftp文件传输的本质也是使用Tcp来实现底层的文件传输。大体思路就是:利用Qftp的connectToHost登录ftp服务器,使用login登录ftp服务器,使用rawCommand发送ftp原生态的命令,使用QTcpSocket实现文件数据的传输。

首先,使用QTcpSocket实现文件数据的传输,需要设置ftp服务器为“PASV”被动接收方式,即ftp服务器被动地接收来自客户端的连接请求。

Ftp服务器所有可以发送的原生命令有:http://www.nsftools.com/tips/RawFTP.htm。

实现断点上传的命令发送流程:

1、rawCommand("TYPE I");设置传输数据的类型:二进制数据或ASCII

2、rawCommand("PASV");设置服务器为被动接收方式。发送PASV命令后,服务器会返回自己开启的数据传输的端口,等待客户端连接进行数据传输。返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”,然后从返回的信息里面或去相关的信息,ftp服务器的IP地址:192.168.2.18;ftp服务器开启的用于数据传输的端口:118*256 + 32 = 30240;获得该信息后就需要建立TcpSocket的通信链路,连接ftp服务器。

3、rawCommand("APPE  remote-file-path");设置服务器端remote-file-path为追加的方式。如果此时改文件不存在,则服务器端会创建一个。

4、完成上述流程后,就可以打开本地文件进行读取,并通过tcpsocket链路发送出去(write)。

实现断点下载的命令发送流程:

1、rawCommand("TYPE I");设置传输数据的类型:二进制数据或ASCII

2、rawCommand("PASV");设置服务器为被动接收方式。发送PASV命令后,服务器会返回自己开启的数据传输的端口,等待客户端连接进行数据传输。返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”,然后从返回的信息里面或去相关的信息,ftp服务器的IP地址:192.168.2.18;ftp服务器开启的用于数据传输的端口:118*256 + 32 = 30240;获得该信息后就需要建立TcpSocket的通信链路,连接ftp服务器。

3、rawCommand("REST  size");该命令设置ftp服务器从本地文件的哪个地方开始进行数据传输。

4、rawCommand(“RETR  remote-file-path”);开始从远程主机传输文件。

文件上传时在设置APPE返回之后,就可以打开本地文件进行上传;文件下载时,收到PASV的返回信息建立tcpsocket的连接后,需要建立readyRead()的信号槽,在该槽函数中实现数据的读取。

关键代码:

1. 处理rawCommand()发送原生命令返回后的槽函数:

  1. void LHTFileTransfer::ProcRawCommandReply(int nReplyCode, QString strDetail)
  2. {
  3. //! TYPE
  4. if (200 == nReplyCode)
  5. {
  6. m_ftpHandle->rawCommand("PASV");
  7. if (currentItem.task_type.compare("Upload") == 0)
  8. {
  9. op = QString("Put");
  10. }
  11. else if (currentItem.task_type.compare("DownLoad") == 0)
  12. {
  13. op = QString("Get");
  14. }
  15. }
  16. //! PASV
  17. else if(227 == nReplyCode)
  18. {
  19. const QString backResult = strDetail;
  20. if (NULL != m_sendDataSocket)
  21. {
  22. m_sendDataSocket->close();
  23. delete m_sendDataSocket;
  24. }
  25. m_sendDataSocket = new QTcpSocket();
  26. connect(m_sendDataSocket, SIGNAL(readyRead()), this, SLOT(ProcReadyRead()), Qt::UniqueConnection);
  27. connect(m_sendDataSocket, SIGNAL(readChannelFinished()), this, SLOT(ProcReadChannelFinished()), Qt::UniqueConnection);
  28. connect(m_sendDataSocket, SIGNAL(bytesWritten(qint64)), this, SLOT(ProcBytesWritten(qint64)), Qt::UniqueConnection);
  29. QStringList lstr = backResult.split("(").last().split(")").first().split(",");
  30. int nAddress = lstr.at(0).toInt()<<24 |
  31. lstr.at(1).toInt()<<16 |
  32. lstr.at(2).toInt()<<8 |
  33. lstr.at(3).toInt();
  34. QHostAddress hostAddress(nAddress);
  35. int nPort = lstr.at(lstr.length() - 2).toInt() * 256 + lstr.last().toInt();
  36. m_sendDataSocket->connectToHost(hostAddress, nPort);
  37. //! APPE , 需要接远程文件的绝对路径
  38. QString appeShell;
  39. if (op.compare("Put") == 0)
  40. {
  41. appeShell = QString("APPE %1").arg(currentItem.file_remote_path);
  42. }
  43. else if (op.compare("Get") == 0)
  44. {
  45. //! 这里的REST后面的大小应该为本地保存的问价的大小
  46. appeShell = QString("REST 0");
  47. }
  48. m_ftpHandle->rawCommand(appeShell);
  49. }
  50. //! 发送数据
  51. else if (150 == nReplyCode)
  52. {
  53. if (op.compare("Put") == 0)
  54. {
  55. m_fileHandle = new QFile(currentItemFilePath);
  56. if (!m_fileHandle->open(QIODevice::ReadOnly))
  57. {
  58. qDebug() << "file open error ...";
  59. return ;
  60. }
  61. const qint64 fileSize = m_fileHandle->size();
  62. m_fileHandle->seek(currentItem.uploaded_size);
  63. while(!m_fileHandle->atEnd())
  64. {
  65. const qint64 nBlockSize = 16 * 1024 ;
  66. char buf[16 * 1024];
  67. qint64 nowPos = m_fileHandle->pos();
  68. qint64 readLen = m_fileHandle->read(buf, nBlockSize);
  69. if (readLen !=0 && readLen != -1)
  70. {
  71. m_sendDataSocket->write(buf, readLen);
  72. m_sendDataSocket->flush();
  73. emit DataTransferProgress(nowPos, fileSize);
  74. }
  75. }
  76. m_sendDataSocket->flush();
  77. m_sendDataSocket->close();
  78. m_sendDataSocket = NULL ;
  79. emit DataTransferProgress(m_fileHandle->pos(), m_fileHandle->size());
  80. m_procTask.remove(currentItemFilePath);
  81. m_fileHandle->close();
  82. //emit StartNextTask();
  83. }
  84. else if(op.compare("Get") == 0)
  85. {
  86. m_fileHandle = new QFile(currentItem.file_remote_path);
  87. if (!m_fileHandle->open(QIODevice::WriteOnly))
  88. {
  89. qDebug() << "file open error ...";
  90. return ;
  91. }
  92. }
  93. }
  94. else if(350 == nReplyCode)
  95. {
  96. QString shell = QString("RETR %1").arg(currentItemFilePath);
  97. m_ftpHandle->rawCommand(shell);
  98. }
  99. }

2. 断点下载时实现buffer读取的函数:

  1. void LHTFileTransfer::ProcReadyRead()
  2. {
  3. qDebug() << "[DownLoad] ProcReadyReady ....";
  4. QByteArray buffer = m_sendDataSocket->readAll();
  5. m_fileHandle->write(buffer);
  6. m_fileHandle->flush();
  7. emit DataTransferProgress(m_fileHandle->size(), 0);
  8. }

面临的问题以及后续需要优化的地方:

1. 字符编码问题,即当需要上传的文件名是中文名称时,需要对其进行转码。

2. 现在实现的是单线程,尚未添加多线程断点下载以及队列的实现。

实现FTP断点续传的更多相关文章

  1. 【大话QT之十】实现FTP断点续传(需要设置ftp服务器为“PASV”被动接收方式)

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传.下载)这一块现在既定了三种传输方式,即: ...

  2. Java ftp断点续传

    FtpTransFile类 import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcept ...

  3. 【大话QT之十】实现FTP断点续传

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在client改动或新添加一个文件时.该文件要同步上传到server端相应的用户文件夹下,因此针对传输数据(即:上传.下载)这一块如今既定了三种 ...

  4. ftp断点续传

    有时候ftp的文件太大了 容易断掉 使用shell下载 1 #!/bin/bash 2 cd /data2/GATK2/refSeqDB/1000genomePhase3 3 ftp -v -n 19 ...

  5. edtftpj让Java上传FTP文件支持断点续传

    在用Java实现FTP上传文件功能时,特别是上传大文件的时候,可以需要这样的功能:程序在上传的过程中意外终止了,文件传了一大半,想从断掉了地方继续传:或者想做类似迅雷下载类似的功能,文件太大,今天传一 ...

  6. 用windows自带的ftp.exe实现断点续传的方法

    摘自http://www.jb51.net/article/10604.htm 动画下载地址: http://www.chinesehack.org/soft/book/goonftp-jc.rar ...

  7. TCP/IP协议原理与应用笔记02:断点续传

    1.断点续传简介:       FTP(文件传输协议的简称)(File Transfer Protocol. FTP)客户端软件断点续传指的是在下载或上传时,将下载或上传任务(一个文件或一个压缩包)人 ...

  8. 学习笔记之 curl 命令用法详解

    [前言]     本文翻译和整理自 Linux-2.6.32 中和 curl 相关的 Manual Page 描述文档. 文档目的仅在提醒读者所遗忘的知识点,故在整理时削弱了阅读流畅性,适用于对 cu ...

  9. python基础----文件处理

    一.文件处理流程 打开文件,得到文件句柄并赋值给一个变量 通过句柄对文件进行操作 关闭文件 正趣果上果 Interesting fruit fruit 词:郭婞 曲:陈粒 编曲/混音/和声:燕池 萧: ...

随机推荐

  1. VOIP概述

    简介 VoIP(Voice over Internet Protocol)就是将模拟声音讯号(Voice)数字化,以数据封包(Data Packet)的型式在 IP 数据网络 (IP Network) ...

  2. Jar包可执行??

    第一次听说,jvm加载包,必须rwx么?

  3. windows远程桌面连接配置

    我的电脑 -> 属性 -> 远程 把两个checkbox勾上 运行(win + r) -> 输入secpol.msc回车 -> 找到本地策略 -> 安全选项 ->账 ...

  4. [wikioi]关押罪犯

    错误半天还是因为并查集写错了.写错的地方是合并X和Y的时候,应该把FX挂到FY上去,而不是把X挂到Y上或FY上去,因为FX和FY下面有一树别的节点. http://www.nocow.cn/index ...

  5. 方便的Chrome取色插件ColorPick Eyedropper [设计, FE必备]

    最近在和Design合作开发, 她发过来的原型图有各种各样色配色, 不想让她一个一个地标记颜色, 嫌效率低. 于是自己找到一款方便的Chrome取色插件, 叫做ColorPick Eyedropper ...

  6. Oracle - Unprocessed Material

    create table kol.MTL_MATERIAL_TRANS_TMP_140325 as select * from MTL_MATERIAL_TRANSACTIONS_TEMP ; upd ...

  7. C# 利用BarcodeLib.dll生成条形码

    首先效果: 1:首先下载BarcodeLib.dll 下载地址 http://pan.baidu.com/share/link?shareid=2590968386&uk=2148890391 ...

  8. svn文件提交时强制写注释

    这个操作需要修改版本库中的一个钩子文件,在你创建的版本库中有一个hooks文件夹,初始的时候其中有一个文件叫pre-commit.tmpl 在windows下将其修改为pre-commit.bat,在 ...

  9. Oracle 行拼接 wmsys.wm_concat扩展

    将多行数据拼接成一行: --wmsys.wm_concat group by a.flowid; 但有大小限制:字符串缓冲区太小,超过varchar 4000长度.扩展:更改返回类型为clob --T ...

  10. Bzoj 1674: [Usaco2005]Part Acquisition dijkstra,堆

    1674: [Usaco2005]Part Acquisition Time Limit: 5 Sec  Memory Limit: 64 MBSubmit: 337  Solved: 162[Sub ...