C#限速下载网络文件
代码:
using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
using System.Threading;
using System.Threading.Tasks;
using System.Windows.Forms;
using Common.Utils;
using Utils; namespace 爬虫
{
public partial class Form1 : Form
{
#region 变量
/// <summary>
/// 已完成字节数
/// </summary>
private long completedCount = ;
/// <summary>
/// 是否完成
/// </summary>
private bool isCompleted = true;
/// <summary>
/// 数据块队列
/// </summary>
private ConcurrentQueue<MemoryStream> msQueue = new ConcurrentQueue<MemoryStream>();
/// <summary>
/// 下载开始位置
/// </summary>
private long range = ;
/// <summary>
/// 文件大小
/// </summary>
private long total = ;
/// <summary>
/// 一段时间内的完成节点数,计算网速用
/// </summary>
private long unitCount = ;
/// <summary>
/// 上次计时时间,计算网速用
/// </summary>
private DateTime lastTime = DateTime.MinValue;
/// <summary>
/// 一段时间内的完成字节数,控制网速用
/// </summary>
private long unitCountForLimit = ;
/// <summary>
/// 上次计时时间,控制网速用
/// </summary>
private DateTime lastTimeForLimit = DateTime.MinValue;
/// <summary>
/// 下载文件sleep时间,控制速度用
/// </summary>
private int sleepTime = ;
#endregion #region Form1
public Form1()
{
InitializeComponent();
}
#endregion #region Form1_Load
private void Form1_Load(object sender, EventArgs e)
{
lblMsg.Text = string.Empty;
lblByteMsg.Text = string.Empty;
lblSpeed.Text = string.Empty;
}
#endregion #region Form1_FormClosing
private void Form1_FormClosing(object sender, FormClosingEventArgs e)
{ }
#endregion #region btnDownload_Click 下载
private void btnDownload_Click(object sender, EventArgs e)
{
isCompleted = false;
btnDownload.Enabled = false;
string url = txtUrl.Text.Trim();
string filePath = CreateFilePath(url); #region 下载线程
Thread thread = new Thread(new ThreadStart(() =>
{
int tryTimes = ;
while (!HttpDownloadFile(url, filePath))
{
Thread.Sleep(); tryTimes++;
LogUtil.Log("请求服务器失败,重新请求" + tryTimes.ToString() + "次");
this.Invoke(new InvokeDelegate(() =>
{
lblMsg.Text = "请求服务器失败,重新请求" + tryTimes.ToString() + "次";
}));
HttpDownloadFile(url, filePath);
}
}));
thread.IsBackground = true;
thread.Start();
#endregion #region 保存文件线程
thread = new Thread(new ThreadStart(() =>
{
while (!isCompleted)
{
MemoryStream ms;
if (msQueue.TryDequeue(out ms))
{
using (FileStream fs = new FileStream(filePath, FileMode.Open, FileAccess.Write))
{
fs.Seek(completedCount, SeekOrigin.Begin);
fs.Write(ms.ToArray(), , (int)ms.Length);
fs.Close();
}
completedCount += ms.Length;
} if (total != && total == completedCount)
{
Thread.Sleep();
isCompleted = true;
} Thread.Sleep();
}
}));
thread.IsBackground = true;
thread.Start();
#endregion #region 计算网速/进度线程
thread = new Thread(new ThreadStart(() =>
{
while (!isCompleted)
{
Thread.Sleep(); if (lastTime != DateTime.MinValue)
{
double sec = DateTime.Now.Subtract(lastTime).TotalSeconds;
double speed = unitCount / sec / ; try
{
#region 显示速度
if (speed < )
{
this.Invoke(new InvokeDelegate(() =>
{
lblSpeed.Text = string.Format("{0}KB/S", speed.ToString("0.00"));
}));
}
else
{
this.Invoke(new InvokeDelegate(() =>
{
lblSpeed.Text = string.Format("{0}MB/S", (speed / ).ToString("0.00"));
}));
}
#endregion #region 显示进度
this.Invoke(new InvokeDelegate(() =>
{
string strTotal = (total / / ).ToString("0.00") + "MB";
if (total < * )
{
strTotal = (total / ).ToString("0.00") + "KB";
}
string completed = (completedCount / / ).ToString("0.00") + "MB";
if (completedCount < * )
{
completed = (completedCount / ).ToString("0.00") + "KB";
}
lblMsg.Text = string.Format("进度:{0}/{1}", completed, strTotal);
lblByteMsg.Text = string.Format("已下载:{0}\r\n总大小:{1}", completedCount, total); if (completedCount == total)
{
MessageBox.Show("完成");
}
}));
#endregion
}
catch { } lastTime = DateTime.Now;
unitCount = ;
}
}
}));
thread.IsBackground = true;
thread.Start();
#endregion #region 限制网速线程
thread = new Thread(new ThreadStart(() =>
{
while (!isCompleted)
{
Thread.Sleep(); if (lastTimeForLimit != DateTime.MinValue)
{
double sec = DateTime.Now.Subtract(lastTimeForLimit).TotalSeconds;
double speed = unitCountForLimit / sec / ; try
{
#region 限速/解除限速
double limitSpeed = ;
if (double.TryParse(txtSpeed.Text.Trim(), out limitSpeed))
{
if (speed > limitSpeed && sleepTime < )
{
sleepTime += ;
}
if (speed < limitSpeed - && sleepTime >= )
{
sleepTime -= ;
}
}
else
{
this.Invoke(new InvokeDelegate(() =>
{
txtSpeed.Text = "";
}));
}
#endregion
}
catch { } lastTimeForLimit = DateTime.Now;
unitCountForLimit = ;
}
}
}));
thread.IsBackground = true;
thread.Start();
#endregion }
#endregion #region HttpDownloadFile 下载文件
/// <summary>
/// Http下载文件
/// </summary>
public bool HttpDownloadFile(string url, string filePath)
{
try
{
if (!File.Exists(filePath))
{
using (FileStream fs = new FileStream(filePath, FileMode.Create))
{
fs.Close();
}
}
else
{
FileInfo fileInfo = new FileInfo(filePath);
range = fileInfo.Length;
} // 设置参数
HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)";
request.Proxy = null;
//发送请求并获取相应回应数据
HttpWebResponse response = request.GetResponse() as HttpWebResponse;
if (response.ContentLength == range)
{
this.Invoke(new InvokeDelegate(() =>
{
lblMsg.Text = "文件已下载";
}));
return true;
} // 设置参数
request = WebRequest.Create(url) as HttpWebRequest;
request.UserAgent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)";
request.Proxy = null;
request.AddRange(range);
//发送请求并获取相应回应数据
response = request.GetResponse() as HttpWebResponse;
//直到request.GetResponse()程序才开始向目标网页发送Post请求
Stream responseStream = response.GetResponseStream(); total = range + response.ContentLength;
completedCount = range; MemoryStream ms = new MemoryStream();
byte[] bArr = new byte[];
lastTime = DateTime.Now;
lastTimeForLimit = DateTime.Now;
int size = responseStream.Read(bArr, , (int)bArr.Length);
unitCount += size;
unitCountForLimit += size;
ms.Write(bArr, , size);
while (!isCompleted)
{
size = responseStream.Read(bArr, , (int)bArr.Length);
unitCount += size;
unitCountForLimit += size;
ms.Write(bArr, , size);
if (ms.Length > )
{
msQueue.Enqueue(ms);
ms = new MemoryStream();
}
if (completedCount + ms.Length == total)
{
msQueue.Enqueue(ms);
ms = new MemoryStream();
} Thread.Sleep(sleepTime);
}
responseStream.Close();
return true;
}
catch (Exception ex)
{
LogUtil.LogError(ex.Message + "\r\n" + ex.StackTrace);
return false;
}
}
#endregion #region 根据URL生成文件保存路径
private string CreateFilePath(string url)
{
string path = Application.StartupPath + "\\download";
if (!Directory.Exists(path))
{
Directory.CreateDirectory(path);
} string fileName = Path.GetFileName(url);
if (fileName.IndexOf("?") > )
{
return path + "\\" + fileName.Substring(, fileName.IndexOf("?"));
}
else
{
return path + "\\" + fileName;
}
}
#endregion } //end Form1类
}
测试截图:
C#限速下载网络文件的更多相关文章
- JAVA多线程下载网络文件
JAVA多线程下载网络文件,开启多个线程,同时下载网络文件. 源码如下:(点击下载 MultiThreadDownload.java) import java.io.InputStream; im ...
- Java读取并下载网络文件
CreateTime--2017年8月21日10:11:07 Author:Marydon import java.io.ByteArrayOutputStream; import java.io ...
- python下载网络文件
python下载网络文件 制作人:全心全意 下载图片 #!/usr/bin/python #-*- coding: utf-8 -*- import requests url = "http ...
- DELPHI TDownLoadURL下载网络文件
DELPHI XE6 FMX 附件:http://files.cnblogs.com/xe2011/IDHttp_fmx.7z unit Unit1; interface uses //引用 Vc ...
- 【python】下载网络文件到本地
# 下载网络图片文件到本地 import urllib.request rsp=urllib.request.urlopen("http://n.sinaimg.cn/ent/transfo ...
- java 下载网络文件
1.FileUtils.copyURLToFile实现: import java.io.File; import java.net.URL; import org.apache.commons.io. ...
- python使用wget下载网络文件
wget是一个从网络上自动下载文件的自由工具.它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理. ubuntu 安装wget pip install wget 从网络或本地硬盘下载文件(并 ...
- 解决FTPClient下载网络文件线程挂起问题
今天在windows上调试FTP下载文件时,出险线程假死,代码如下: if (inputStream != null) { byte[] data = null; ByteArrayOutputStr ...
- 网络编程(一):用C#下载网络文件的2种方法
使用C#下载一个Internet上的文件主要是依靠HttpWebRequest/HttpWebResonse和WebClient.具体处理起来还有同步和异步两种方式,所以我们其实有四种组合. 1.使用 ...
随机推荐
- ASP.NET Core应用的错误处理[1]:三种呈现错误页面的方式
由于ASP.NET Core应用是一个同时处理多个请求的服务器应用,所以在处理某个请求过程中抛出的异常并不会导致整个应用的终止.出于安全方面的考量,为了避免敏感信息的外泄,客户端在默认的情况下并不会得 ...
- PHP-----文件系统的交互
本文讲解php中于文件交互中所使用的函数 代码示例 <html> <head> <title> File Detail </title> </he ...
- AFNetworking 3.0 源码解读(七)之 AFAutoPurgingImageCache
这篇我们就要介绍AFAutoPurgingImageCache这个类了.这个类给了我们临时管理图片内存的能力. 前言 假如说我们要写一个通用的网络框架,除了必备的请求数据的方法外,必须提供一个下载器来 ...
- 【干货分享】流程DEMO-借款申请
流程名: 借款申请 业务描述: 当员工个人在工作中需要进行借款时,通过此项流程提交借款申请,审批通过后,财务部进行款项支付. 流程相关文件: 流程包.xml WebService业务服务.xm ...
- React Native Android gradle下载慢问题解决
很多人会遇到 初次运行 react-native run android的时候 gradle下载极慢,甚至会失败的问题 如下图 实际上这个问题好解决的 首先 把对应版本的gradle下载到本地任意一个 ...
- Atitit.你这些项目不都是模板吗?不是原创 集成和整合的方式大总结
Atitit.你这些项目不都是模板吗?不是原创 集成和整合的方式大总结 1.1. 乔布斯的名言:创新即整合(Creativity is just connecting things).1 1.2. ...
- 第14章 Linux启动管理(1)_系统运行级别
1. CentOS 6.x 启动管理 (1)系统运行级别 ①运行级别 运行级别 含义 0 关机 1 单用户模式,可以想象为Windows的安全模式,主要用于系统修复.(但不是Linux的安全模式) 2 ...
- 四、可空类型Nullable<T>到底是什么鬼
值类型为什么不可以为空 首先我们都知道引用类型默认值都是null,而值类型的默认值都有非null. 为什么引用类型可以为空?因为引用类型变量都是保存一个对象的地址引用(就像一个url对应一个页面),而 ...
- Kinect开发文章目录
整理了一下去年为止到现在写的和翻译的Kinect的相关文章,方便大家查看.另外,最近京东上微软在搞活动, 微软 Kinect for Windows 京东十周年专供礼包 ,如果您想从事Kinect开发 ...
- 页面元素坐标和偏移(clientX/pageX/screenX/layerX/offsetWidth/scrollWidth/clientWidth等)相关整理
鼠标事件都是在特定位置发生的,我们可以通过event事件对象的各种属性来获得事件发生的坐标位置,有相对于视口的,有相对于整个文档的,同样页面元素的位置也有相对视口的,也有滚动后的,这些都比较容易混淆, ...