应用需求:

网盘开发工作逐步进入各部分的整合阶段,当用户在client改动或新添加一个文件时。该文件要同步上传到server端相应的用户文件夹下,因此针对传输数据(即:上传、下载)这一块如今既定了三种传输方式,即:Ftp传输、HTTP传输以及基于UDT的传输。

且这三种传输数据方式是可配的,能够通过不同的接口调用。相比这三种方式。基于UDT的大量文件传输是比較值得研究与创新的地方,它在底层是基于UDP,在上层实现了可靠性的控制;同一时候它充分考虑到了基于在公网环境下基于Tcp进行传输时拥塞控制算法的缺点,实现了自己的拥塞控制算法,在实际測试中其性能也是明显高于基于Tcp的传输。

关于UDT实现文件传输仅仅进行了技术调研,还没有真正实现。这一部分内容将在兴许文章中提及。这三天的时间仅仅实现了基于FTP的支持断点续传的文件上传、下载。

实现原理:

离我们近期的断点续传的应用样例是:迅雷。当使用迅雷下载一个大文件时,它实现了以下的功能:1> 电脑突然断电或程序突然退出后,当我们又一次启动迅雷时它还会从程序退出时已经下载的文件点继续向后下载,而不是文件又从头開始下载。2> 能够设置採用多个线程同一时候下载,每一个线程仅仅下载文件里的某一部分,比如:使用三个线程下载一个9000个字节的文件。则第一个线程下载第1—3000个字节,第二个线程下载第3001—6000个字节,第三个线程下载第6001—9000个字节。这三个线程是同一时候下载一个文件,仅仅是下载不同的部分。它会把下载的文件片段暂存在某个位置,当三个线程所有下载完毕时再拼成一个完整的文件。

这里不用多说,其长处显而易见。

事实上,断点续传实现的原理非常easy,就是不管是上传还是下载时都能够实时记录下已经上传了或下载了多少字节,假设中间由于某种原因传输断开,下载启动时仅仅须要再又一次从已经下载的位置继续下载或上传就能够了。

利用Qftp实现断点续传:

QT中有一个实现Ftp的类:Qftp,它提供了主要的ftp的使用方式,连接ftpserver:connectToHost;登录:login。上传:put;下载:get。使用这些方法能够实现与ftpserver交互实现文件上传、下载。

可是使用它原生提供的put与get方法,无法实现断点续传。因此。为了实现断点续传我们须要又一次实现文件传输。并在当中加入断点续传的控制。事实上Ftp文件传输的本质也是使用Tcp来实现底层的文件传输。大体思路就是:利用Qftp的connectToHost登录ftpserver,使用login登录ftpserver,使用rawCommand发送ftp原生态的命令,使用QTcpSocket实现文件数据的传输。

首先,使用QTcpSocket实现文件数据的传输,须要设置ftpserver为“PASV”被动接收方式。即ftpserver被动地接收来自client的连接请求。

Ftpserver全部能够发送的原生命令有:http://www.nsftools.com/tips/RawFTP.htm。

实现断点上传的命令发送流程:

1、rawCommand("TYPE I");设置数据传输的类型:二进制数据或ASCII

2、rawCommand("PASV")。设置server为被动接收方式。发送PASV命令后。server会返回自己开启的传输数据的port。等待client连接进行传输数据。

返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”,然后从返回的信息里面或去相关的信息,ftpserver的IP地址:192.168.2.18;ftpserver开启的用于传输数据的port:118*256 + 32 = 30240。获得该信息后就须要建立TcpSocket的通信链路。连接ftpserver。

3、rawCommand("APPE  remote-file-path");设置server端remote-file-path为追加的方式。

假设此时改文件不存在,则server端会创建一个。

4、完毕上述流程后,就能够打开本地文件进行读取,并通过tcpsocket链路发送出去(write)。

实现断点下载的命令发送流程:

1、rawCommand("TYPE I");设置数据传输的类型:二进制数据或ASCII

2、rawCommand("PASV");设置server为被动接收方式。发送PASV命令后,server会返回自己开启的传输数据的port,等待client连接进行传输数据。

返回的数据格式为:“227 Entering Passive Mode (192, 168, 2, 18, 118, 32)”。然后从返回的信息里面或去相关的信息,ftpserver的IP地址:192.168.2.18;ftpserver开启的用于传输数据的port:118*256 + 32 = 30240;获得该信息后就须要建立TcpSocket的通信链路。连接ftpserver。

3、rawCommand("REST  size");该命令设置ftpserver从本地文件的哪个地方開始进行传输数据。

4、rawCommand(“RETR  remote-file-path”);開始从远程主机传输文件。

文件上传时在设置APPE返回之后,就能够打开本地文件进行上传;文件下载时,收到PASV的返回信息建立tcpsocket的连接后,须要建立readyRead()的信号槽,在该槽函数中实现数据的读取。

关键代码:

1. 处理rawCommand()发送原生命令返回后的槽函数:

void LHTFileTransfer::ProcRawCommandReply(int nReplyCode, QString strDetail)
{
//! TYPE
if (200 == nReplyCode)
{
m_ftpHandle->rawCommand("PASV"); if (currentItem.task_type.compare("Upload") == 0)
{
op = QString("Put");
}
else if (currentItem.task_type.compare("DownLoad") == 0)
{
op = QString("Get");
}
} //! PASV
else if(227 == nReplyCode)
{
const QString backResult = strDetail; if (NULL != m_sendDataSocket)
{
m_sendDataSocket->close();
delete m_sendDataSocket;
} m_sendDataSocket = new QTcpSocket(); connect(m_sendDataSocket, SIGNAL(readyRead()), this, SLOT(ProcReadyRead()), Qt::UniqueConnection);
connect(m_sendDataSocket, SIGNAL(readChannelFinished()), this, SLOT(ProcReadChannelFinished()), Qt::UniqueConnection);
connect(m_sendDataSocket, SIGNAL(bytesWritten(qint64)), this, SLOT(ProcBytesWritten(qint64)), Qt::UniqueConnection); QStringList lstr = backResult.split("(").last().split(")").first().split(",");
int nAddress = lstr.at(0).toInt()<<24 |
lstr.at(1).toInt()<<16 |
lstr.at(2).toInt()<<8 |
lstr.at(3).toInt();
QHostAddress hostAddress(nAddress);
int nPort = lstr.at(lstr.length() - 2).toInt() * 256 + lstr.last().toInt();
m_sendDataSocket->connectToHost(hostAddress, nPort); //! APPE , 须要接远程文件的绝对路径
QString appeShell;
if (op.compare("Put") == 0)
{
appeShell = QString("APPE %1").arg(currentItem.file_remote_path);
}
else if (op.compare("Get") == 0)
{
//! 这里的REST后面的大小应该为本地保存的问价的大小
appeShell = QString("REST 0");
} m_ftpHandle->rawCommand(appeShell);
} //! 发送数据
else if (150 == nReplyCode)
{
if (op.compare("Put") == 0)
{
m_fileHandle = new QFile(currentItemFilePath); if (!m_fileHandle->open(QIODevice::ReadOnly))
{
qDebug() << "file open error ...";
return ;
} const qint64 fileSize = m_fileHandle->size(); m_fileHandle->seek(currentItem.uploaded_size); while(!m_fileHandle->atEnd())
{
const qint64 nBlockSize = 16 * 1024 ;
char buf[16 * 1024]; qint64 nowPos = m_fileHandle->pos(); qint64 readLen = m_fileHandle->read(buf, nBlockSize); if (readLen !=0 && readLen != -1)
{
m_sendDataSocket->write(buf, readLen);
m_sendDataSocket->flush();
emit DataTransferProgress(nowPos, fileSize);
}
} m_sendDataSocket->flush();
m_sendDataSocket->close();
m_sendDataSocket = NULL ; emit DataTransferProgress(m_fileHandle->pos(), m_fileHandle->size()); m_procTask.remove(currentItemFilePath); m_fileHandle->close(); //emit StartNextTask(); }
else if(op.compare("Get") == 0)
{
m_fileHandle = new QFile(currentItem.file_remote_path); if (!m_fileHandle->open(QIODevice::WriteOnly))
{
qDebug() << "file open error ...";
return ;
}
}
} else if(350 == nReplyCode)
{
QString shell = QString("RETR %1").arg(currentItemFilePath);
m_ftpHandle->rawCommand(shell);
}
}

2. 断点下载时实现buffer读取的函数:

void LHTFileTransfer::ProcReadyRead()
{
qDebug() << "[DownLoad] ProcReadyReady ....";
QByteArray buffer = m_sendDataSocket->readAll();
m_fileHandle->write(buffer); m_fileHandle->flush(); emit DataTransferProgress(m_fileHandle->size(), 0);
}

面临的问题以及兴许须要优化的地方:

1. 字符编码问题。即当须要上传的文件名称是中文名称时,须要对其进行转码。

2. 如今实现的是单线程,尚未加入多线程断点下载以及队列的实现。

【大话QT之十】实现FTP断点续传的更多相关文章

  1. 【大话QT之十】实现FTP断点续传(需要设置ftp服务器为“PASV”被动接收方式)

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传.下载)这一块现在既定了三种传输方式,即: ...

  2. 【大话QT之十二】基于CTK Plugin Framework的插件版本号动态升级

    应用需求: 某些场景下我们可能面临这种问题,在执行着的应用程序不能终止的情况下,升级某个功能(或添,或减.或改动).在不採用CTK Plugin Framework插件系统架构的情况下这将是非常困难的 ...

  3. 【大话QT之十六】使用ctkPluginFramework插件系统构建项目实战

    "使用ctkPluginFramework插件系统构建项目实战",这篇文章是写博客以来最纠结的一篇文章. 倒不是由于技术都多么困难,而是想去描写叙述一个项目架构採用ctkPlugi ...

  4. 【大话QT之十四】QT实现多语言切换

    功能需求: 网盘client要可以实现多国语言的切换,第一版要支持中.英文的切换. 在实现过程中感觉QT对多国语言的支持还是非常不错的.制作多语言包非常方便.切换的逻辑也非常easy. 以下就来看一下 ...

  5. 【大话QT之十三】系统软件自己主动部署实现方案

    本篇文章是对[大话QT之十二]基于CTK Plugin Framework的插件版本号动态升级文章的补充,在上篇文章中我们阐述的重点是新版本号的插件已经下载到plugins文件夹后应该怎样更新本地正在 ...

  6. 实现FTP断点续传

    应用需求: 网盘开发工作逐步进入各部分的整合阶段,当用户在客户端修改或新增加一个文件时,该文件要同步上传到服务器端对应的用户目录下,因此针对数据传输(即:上传.下载)这一块现在既定了三种传输方式,即: ...

  7. C#编程总结(十二)断点续传

    C#编程总结(十二)断点续传 我们经常使用下载工具,如bit精灵.迅雷.FlashGet,这些软件都支持断点续传. 断点续传即下载任务暂停后可以继续,而无需重新下载,即下载时需要通知服务器的起始位置. ...

  8. Qt使用QNetworkAccessManager实现Ftp操作

    版权声明:若无来源注明,Techie亮博客文章均为原创. 转载请以链接形式标明本文标题和地址: 本文标题:Qt使用QNetworkAccessManager实现Ftp操作     本文地址:http: ...

  9. Java ftp断点续传

    FtpTransFile类 import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundExcept ...

随机推荐

  1. ORACLE 參数文件介绍

    ORACLE数据库启动以后.通过select * from v$parameter这个语句能够查看到oracle数据库使用的全部參数. 对于oracle的參数文件,分为spfile 二进制文件和pfi ...

  2. springboot的常见配置

    1.Springboot热部署 热部署的意思就是当任何类发生改变时,通过JVM类加载的方式加载到虚拟机上,这样就不需要我们重启Application类了 做法: 1)添加一个依赖到pom.xml上: ...

  3. WPF向系统发送消息 并传递结构体

    场景 :需要开发一个通讯组件 流程为:界面-开启接收服务-通过发送组件发送信息到 其他客户端和服务端 接受服务接收其他客户端发送的消息 需要传递给对应组件或者界面 因此会出现类库重复引用问题.因为采用 ...

  4. [转]C#多线程和线程池

    鸣谢原文:http://www.cnblogs.com/wwj1992/p/5976096.html 1.概念  1.0 线程的和进程的关系以及优缺点 windows系统是一个多线程的操作系统.一个程 ...

  5. 下拉列表的使用(Ajax/数据联动)

    下拉列表联动

  6. python小项目之头像右上角加数字

    pillow介绍 一.Image类的属性:1.Format   2.Mode   3.Size    4.Palette    5.Info 二.类的函数:1.New   2.Open   3.Ble ...

  7. layer-list

    <?xml version="1.0" encoding="utf-8"?> <layer-list xmlns:android=" ...

  8. Temporary Tables临时表

    1简介 ORACLE数据库除了可以保存永久表外,还可以建立临时表temporary tables.这些临时表用来保存一个会话SESSION的数据, 或者保存在一个事务中需要的数据.当会话退出或者用户提 ...

  9. hdu 1532 Drainage Ditches 【ISAP 】

    还是不是很懂算法 先存一个模板先吧--- 看的这篇学的-- http://www.renfei.org/blog/isap.html #include<cstdio> #include&l ...

  10. k8s集群启动了上万个容器(一个pod里放上百个容器,起百个pod就模拟出上万个容器)服务器超时,无法操作的解决办法

    问题说明: 一个POD里放了百个容器,然后让K8S集群部署上百个POD,得到可运行上万个容器的实验目的. 实验环境:3台DELL裸机服务器,16核+64G,硬盘容量忽略吧,上T了,肯定够. 1.一开始 ...