c# 爬虫(三) 文件上传
在上一篇中,我们说了模拟登录,
下面我们说说附件上传。
据说,最早的http协议是不支持附件上传的,后来有添加了一个RFC 2045 协议,才支持附件上传,关于附件上传,请参见
http://www.cnblogs.com/greenerycn/archive/2010/05/15/csharp_http_post.html
好了,其实用C#模拟上传附件,主要的难点就在于如何构建此协议的格式以及编码。
作为备忘,我这里只放一段成品代码了。
参数:URL,上传控件的id,附件的本地全路径,传输的Key-value数据
public string HttpWebUpload(string url, string fileControlID, string fileFullPath, Dictionary<string, string> dic)
{
string fileContentType = "application/octet-stream";//"application/octet-stream";//"text/plain";//image/jpeg int index = fileFullPath.LastIndexOf('\\');
string filename = fileFullPath.Substring(index+1); var boundary = DateTime.Now.Ticks.ToString("x");
var beginBoundary = "--" + boundary;
var reqContentType = "multipart/form-data; boundary=" + boundary; var memStream = new MemoryStream();
var fileStream = new FileStream(fileFullPath, FileMode.Open, FileAccess.Read);
int fsLen = (int)fileStream.Length;
byte[] btfileValue = new byte[fsLen];
int r = fileStream.Read(btfileValue, 0, btfileValue.Length); StringBuilder fileHeader = new StringBuilder();
fileHeader.AppendLine(beginBoundary);
fileHeader.AppendLine(string.Format("Content-Disposition: form-data; name=\"{0}\"; filename=\"{1}\"", fileControlID, filename));
fileHeader.AppendLine(string.Format("Content-Type: {0}", fileContentType));
fileHeader.AppendLine();
var btfileKey = Encoding.UTF8.GetBytes(fileHeader.ToString()); StringBuilder dicData = new StringBuilder();
dicData.AppendLine();
foreach (var item in dic)
{ dicData.AppendLine(beginBoundary);
dicData.AppendLine(string.Format("Content-Disposition:form-data; name=\"{0}\"", item.Key));
dicData.AppendLine();
dicData.AppendLine(item.Value);
} dicData.AppendLine(beginBoundary + "--");
var btDic = Encoding.UTF8.GetBytes(dicData.ToString()); HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
req.Method = "POST";
req.AllowAutoRedirect = false;
req.ContentType = reqContentType;
if (!string.IsNullOrEmpty(UserAgent))
{
req.UserAgent = this.UserAgent;
} if (!string.IsNullOrEmpty(Cookie))
{
req.CookieContainer = new CookieContainer();
req.CookieContainer.SetCookies(req.RequestUri, this.Cookie);
} req.ContentLength = btfileKey.Length + btfileValue.Length + btDic.Length;
Stream postDataStream = req.GetRequestStream();
postDataStream.Write(btfileKey, 0, btfileKey.Length);
postDataStream.Write(btfileValue, 0, btfileValue.Length);
postDataStream.Write(btDic, 0, btDic.Length);
postDataStream.Close(); HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
string html = new StreamReader(resp.GetResponseStream()).ReadToEnd();
return html;
}
注意,这里如果需要cookie,则添加对应的cookie。
调用方法
string controlid = "fupCert";
string filefullPath = "f:\\3.pdf";
string url = "http://10.35.3.240/NT_HandbookExtend/FrmCertificate.aspx?type=N&zdtype=J&DELEGATENO=SBWJ16100001&ID=SB20161018000001%2c3206960757&Action=Modify&manualRecordID=SL20161018000001&tm=0.17032586549994377"; var hiddenVal = web.GetDoNetHiddenValuesByUrl(url);//获取__VIEWSTATE,与__EVENTVALIDATION隐藏域值 Dictionary<string, string> dic = new Dictionary<string, string>();
dic.Add("__EVENTARGUMENT", "");
dic.Add("__EVENTTARGET", "btnUpload");
dic.Add("__EVENTVALIDATION", hiddenVal.Eventvalidation);
dic.Add("__PREVIOUSPAGE", "EncayjCF95BJXxMazWGgd9UdPYeLp64GjuJlZ-rvnQ5n34-y7KQYllE35nAdVFvk0");
dic.Add("__VIEWSTATE", hiddenVal.Vievstate);
dic.Add("__VIEWSTATEENCRYPTED", "");
dic.Add("grdNavigatorPRE_EMS3_CUS_IMG$ctl06", "");
dic.Add("grdNavigatorPRE_EMS3_CUS_IMG$ctl07", "15");
dic.Add("grdNavigatorPRE_EMS3_CUS_IMG$labelRowCount", "8");
dic.Add("hfERP", "http://www.nteport.gov.cn/cerp/platform/erp/documentManagement/documentDocking.jsp");
dic.Add("hidFileType", "333");
dic.Add("hidID", "");
//web.UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)";
string html = web.HttpWebUpload(url, controlid, filefullPath, dic);
其他注意事项:
1.如果不限制文件类型,请使用 ContentType = "application/octet-stream";这个我也没怎么懂,尴尬。。。
2. 编码很重要,由于传参时,都是以流的形式传参,所以文件编码使用默认的编码方式,和其他构建的RFC 2045 协议格式,使用UTF-8编码。
c# 爬虫(三) 文件上传的更多相关文章
- jQuery插件之路(三)——文件上传(支持拖拽上传)
好了,这次咱一改往日的作风,就不多说废话了,哈哈.先贴上源代码地址,点击获取.然后直接进入主题啦,当然,如果你觉得我有哪里写的不对或者欠妥的地方,欢迎留言指出.在附上一些代码之前,我们还是先来了解下, ...
- web自动化之selenium(三)文件上传
1.上传标签为input #若上传文件的标签为<input>可以直接定位标签,然后send_keys(文件路径)可以直接上传 2.利用第三方软件Autoit上传 1.下载Autoit:ht ...
- SpringBoot2.0(三) 文件上传
SpringBoot中发起文件上传示例: /** * 文件上传 * @param multipartFile * @param path * @return */ @RequestMapping(va ...
- 服务器文档下载zip格式 SQL Server SQL分页查询 C#过滤html标签 EF 延时加载与死锁 在JS方法中返回多个值的三种方法(转载) IEnumerable,ICollection,IList接口问题 不吹不擂,你想要的Python面试都在这里了【315+道题】 基于mvc三层架构和ajax技术实现最简单的文件上传 事件管理
服务器文档下载zip格式 刚好这次项目中遇到了这个东西,就来弄一下,挺简单的,但是前台调用的时候弄错了,浪费了大半天的时间,本人也是菜鸟一枚.开始吧.(MVC的) @using Rattan.Co ...
- Java中实现文件上传下载的三种解决方案
第一点:Java代码实现文件上传 FormFile file=manform.getFile(); String newfileName = null; String newpathname=null ...
- 三 : spring-uploadify上传文件
一 : applicationContext.xml中:必须声明不然获取不到<!-- 上传文件的配置 --> <bean id="multipartResolver&quo ...
- Django文件上传三种方式以及简单预览功能
主要内容: 一.文件长传的三种方式 二.简单预览功能实现 一.form表单上传 1.页面代码 <!DOCTYPE html> <html lang="en"> ...
- 04springMVC结构,mvc模式,spring-mvc流程,spring-mvc的第一个例子,三种handlerMapping,几种控制器,springmvc基于注解的开发,文件上传,拦截器,s
1. Spring-mvc介绍 1.1市面上流行的框架 Struts2(比较多) Springmvc(比较多而且属于上升的趋势) Struts1(即将被淘汰) 其他 1.2 spring-mv ...
- upload三种上传方式(上)---Servlet---post---commons-fileupload.1.2.1.jar方式请求上传文件
上传前进行的配置选项: 1.在下方的Servers中,右键你的tomcat--open,选中下面两个配置. 第一个:Serve modules without publishing 作用:tomcat ...
- 文件上传的三种模式-Java
文件上传的三种方式-Java 前言:因自己负责的项目(jetty内嵌启动的SpringMvc)中需要实现文件上传,而自己对java文件上传这一块未接触过,且对 Http 协议较模糊,故这次采用渐进的方 ...
随机推荐
- c++第二十二天
p120~p124: 表达式 1.表达式由一个或者多个运算对象组成. 2.最简单的表达式是字面值和变量. 3.一元运算符作用于一个运算对象,二元则作用于两个.一个运算符到底是几元由上下文决定. 4.重 ...
- bzoj1618 / P2918 [USACO08NOV]买干草Buying Hay(完全背包)
P2918 [USACO08NOV]买干草Buying Hay 显然的完全背包 设$f[i]$为买$i$磅干草的最小代价 搞搞完全背包即可 注意到最后可能买的干草超出范围,但是价格可能更低. 于是我们 ...
- SQL优化之limit 1
在某些情况下,如果明知道查询结果只有一个,SQL语句中使用LIMIT 1会提高查询效率. 例如下面的用户表(主键id,邮箱,密码): create table t_user( id int prim ...
- Harbor 企业级 Docker Registry
HarBor项目:https://github.com/vmware/harbor 下载:https://github.com/vmware/harbor/releases 安装文档:https:// ...
- 利用HTML中map标签实现整张图片带有可点击区域的图像映射:
实现效果说明:一整张背景图片,实现图标区域出现链接,可点击跳转到指定页面. <div class="brand"> <img src="images/b ...
- JPA使用指南 javax.persistence的注解配置
@SuppressWarnings("serial") @Entity @Table(name="T_X") public class X implements ...
- tomcat 容器下web项目由http改为https操作步骤及相关的坑
一.https介绍: HTTPS(全称:Hypertext Transfer Protocol over Secure Socket Layer),是以安全为目标的HTTP通道,简单讲是HTTP ...
- 解决ubuntu登陆失败,"Failed to start session"的问题
我是在虚拟机中安装了Ubuntu 14.04 系统,在Ubuntu 中执行 apt-get update 和 apt-get upgrade 命令后,然后重启系统. 但是,在重启成功后,在登 ...
- 学习笔记20151211——AXI4 STREAM DATA FIFO
AXI4 STREAM DATA FIFO是输入输出接口均为AXIS接口的数据缓存器,和其他fifo一样是先进先出形式.可以在跨时钟域的应用中用于数据缓冲,避免亚稳态出现.支持数据的分割和数据拼接.在 ...
- SharePoint Development - Custom Content Type using Visual Studio 2010 based SharePoint 2010
博客地址 http://blog.csdn.net/foxdave 本文所述均来自之前实际的项目模块 首先再论述一下SharePoint ContentType内容类型 SharePoint的列表和文 ...