c# 爬虫(三) 文件上传
在上一篇中,我们说了模拟登录,
下面我们说说附件上传。
据说,最早的http协议是不支持附件上传的,后来有添加了一个RFC 2045 协议,才支持附件上传,关于附件上传,请参见
http://www.cnblogs.com/greenerycn/archive/2010/05/15/csharp_http_post.html
好了,其实用C#模拟上传附件,主要的难点就在于如何构建此协议的格式以及编码。
作为备忘,我这里只放一段成品代码了。
参数:URL,上传控件的id,附件的本地全路径,传输的Key-value数据
public string HttpWebUpload(string url, string fileControlID, string fileFullPath, Dictionary<string, string> dic)
{
string fileContentType = "application/octet-stream";//"application/octet-stream";//"text/plain";//image/jpeg int index = fileFullPath.LastIndexOf('\\');
string filename = fileFullPath.Substring(index+1); var boundary = DateTime.Now.Ticks.ToString("x");
var beginBoundary = "--" + boundary;
var reqContentType = "multipart/form-data; boundary=" + boundary; var memStream = new MemoryStream();
var fileStream = new FileStream(fileFullPath, FileMode.Open, FileAccess.Read);
int fsLen = (int)fileStream.Length;
byte[] btfileValue = new byte[fsLen];
int r = fileStream.Read(btfileValue, 0, btfileValue.Length); StringBuilder fileHeader = new StringBuilder();
fileHeader.AppendLine(beginBoundary);
fileHeader.AppendLine(string.Format("Content-Disposition: form-data; name=\"{0}\"; filename=\"{1}\"", fileControlID, filename));
fileHeader.AppendLine(string.Format("Content-Type: {0}", fileContentType));
fileHeader.AppendLine();
var btfileKey = Encoding.UTF8.GetBytes(fileHeader.ToString()); StringBuilder dicData = new StringBuilder();
dicData.AppendLine();
foreach (var item in dic)
{ dicData.AppendLine(beginBoundary);
dicData.AppendLine(string.Format("Content-Disposition:form-data; name=\"{0}\"", item.Key));
dicData.AppendLine();
dicData.AppendLine(item.Value);
} dicData.AppendLine(beginBoundary + "--");
var btDic = Encoding.UTF8.GetBytes(dicData.ToString()); HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
req.Method = "POST";
req.AllowAutoRedirect = false;
req.ContentType = reqContentType;
if (!string.IsNullOrEmpty(UserAgent))
{
req.UserAgent = this.UserAgent;
} if (!string.IsNullOrEmpty(Cookie))
{
req.CookieContainer = new CookieContainer();
req.CookieContainer.SetCookies(req.RequestUri, this.Cookie);
} req.ContentLength = btfileKey.Length + btfileValue.Length + btDic.Length;
Stream postDataStream = req.GetRequestStream();
postDataStream.Write(btfileKey, 0, btfileKey.Length);
postDataStream.Write(btfileValue, 0, btfileValue.Length);
postDataStream.Write(btDic, 0, btDic.Length);
postDataStream.Close(); HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
string html = new StreamReader(resp.GetResponseStream()).ReadToEnd();
return html;
}
注意,这里如果需要cookie,则添加对应的cookie。
调用方法
string controlid = "fupCert";
string filefullPath = "f:\\3.pdf";
string url = "http://10.35.3.240/NT_HandbookExtend/FrmCertificate.aspx?type=N&zdtype=J&DELEGATENO=SBWJ16100001&ID=SB20161018000001%2c3206960757&Action=Modify&manualRecordID=SL20161018000001&tm=0.17032586549994377"; var hiddenVal = web.GetDoNetHiddenValuesByUrl(url);//获取__VIEWSTATE,与__EVENTVALIDATION隐藏域值 Dictionary<string, string> dic = new Dictionary<string, string>();
dic.Add("__EVENTARGUMENT", "");
dic.Add("__EVENTTARGET", "btnUpload");
dic.Add("__EVENTVALIDATION", hiddenVal.Eventvalidation);
dic.Add("__PREVIOUSPAGE", "EncayjCF95BJXxMazWGgd9UdPYeLp64GjuJlZ-rvnQ5n34-y7KQYllE35nAdVFvk0");
dic.Add("__VIEWSTATE", hiddenVal.Vievstate);
dic.Add("__VIEWSTATEENCRYPTED", "");
dic.Add("grdNavigatorPRE_EMS3_CUS_IMG$ctl06", "");
dic.Add("grdNavigatorPRE_EMS3_CUS_IMG$ctl07", "15");
dic.Add("grdNavigatorPRE_EMS3_CUS_IMG$labelRowCount", "8");
dic.Add("hfERP", "http://www.nteport.gov.cn/cerp/platform/erp/documentManagement/documentDocking.jsp");
dic.Add("hidFileType", "333");
dic.Add("hidID", "");
//web.UserAgent = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)";
string html = web.HttpWebUpload(url, controlid, filefullPath, dic);
其他注意事项:
1.如果不限制文件类型,请使用 ContentType = "application/octet-stream";这个我也没怎么懂,尴尬。。。
2. 编码很重要,由于传参时,都是以流的形式传参,所以文件编码使用默认的编码方式,和其他构建的RFC 2045 协议格式,使用UTF-8编码。
c# 爬虫(三) 文件上传的更多相关文章
- jQuery插件之路(三)——文件上传(支持拖拽上传)
好了,这次咱一改往日的作风,就不多说废话了,哈哈.先贴上源代码地址,点击获取.然后直接进入主题啦,当然,如果你觉得我有哪里写的不对或者欠妥的地方,欢迎留言指出.在附上一些代码之前,我们还是先来了解下, ...
- web自动化之selenium(三)文件上传
1.上传标签为input #若上传文件的标签为<input>可以直接定位标签,然后send_keys(文件路径)可以直接上传 2.利用第三方软件Autoit上传 1.下载Autoit:ht ...
- SpringBoot2.0(三) 文件上传
SpringBoot中发起文件上传示例: /** * 文件上传 * @param multipartFile * @param path * @return */ @RequestMapping(va ...
- 服务器文档下载zip格式 SQL Server SQL分页查询 C#过滤html标签 EF 延时加载与死锁 在JS方法中返回多个值的三种方法(转载) IEnumerable,ICollection,IList接口问题 不吹不擂,你想要的Python面试都在这里了【315+道题】 基于mvc三层架构和ajax技术实现最简单的文件上传 事件管理
服务器文档下载zip格式 刚好这次项目中遇到了这个东西,就来弄一下,挺简单的,但是前台调用的时候弄错了,浪费了大半天的时间,本人也是菜鸟一枚.开始吧.(MVC的) @using Rattan.Co ...
- Java中实现文件上传下载的三种解决方案
第一点:Java代码实现文件上传 FormFile file=manform.getFile(); String newfileName = null; String newpathname=null ...
- 三 : spring-uploadify上传文件
一 : applicationContext.xml中:必须声明不然获取不到<!-- 上传文件的配置 --> <bean id="multipartResolver&quo ...
- Django文件上传三种方式以及简单预览功能
主要内容: 一.文件长传的三种方式 二.简单预览功能实现 一.form表单上传 1.页面代码 <!DOCTYPE html> <html lang="en"> ...
- 04springMVC结构,mvc模式,spring-mvc流程,spring-mvc的第一个例子,三种handlerMapping,几种控制器,springmvc基于注解的开发,文件上传,拦截器,s
1. Spring-mvc介绍 1.1市面上流行的框架 Struts2(比较多) Springmvc(比较多而且属于上升的趋势) Struts1(即将被淘汰) 其他 1.2 spring-mv ...
- upload三种上传方式(上)---Servlet---post---commons-fileupload.1.2.1.jar方式请求上传文件
上传前进行的配置选项: 1.在下方的Servers中,右键你的tomcat--open,选中下面两个配置. 第一个:Serve modules without publishing 作用:tomcat ...
- 文件上传的三种模式-Java
文件上传的三种方式-Java 前言:因自己负责的项目(jetty内嵌启动的SpringMvc)中需要实现文件上传,而自己对java文件上传这一块未接触过,且对 Http 协议较模糊,故这次采用渐进的方 ...
随机推荐
- 解决use -D_SCL_SECURE_NO_WARNINGS的问题
加入预处理器(项目属性----C/C++----预处理----预处理器定义): _SCL_SECURE_NO_WARNINGS
- pycharm 模板添加作者时间信息
在pycharm使用过程中,对于每次新建文件的shebang行和关于代码编写者的一些个人信息快捷填写,使用模板的方式比较方便. 方法如下: 1.打开pycharm,选择File-Settings 2. ...
- CentOS7.2 安装nginx-1.10.3
nginx-1.10.3 下载nginx 检查是否安装了依赖库: [root@localhost ~]# rpm -q gcc gcc-4.8.5-11.el7.x86_64 [root@localh ...
- 安装etcd集群
kuberntes 系统使用 etcd 存储所有数据,是最重要的组件之一,注意 etcd集群只能有奇数个节点(1,3,5...),本文档使用3个节点做集群. 一.基础环境 软件包 etcd下载地址:h ...
- POJ 1170 Shopping Offers(完全背包+哈希)
http://poj.org/problem?id=1170 题意:有n种花的数量和价格,以及m种套餐买法(套餐会便宜些),问最少要花多少钱. 思路:题目是完全背包,但这道题目不好处理的是套餐的状态, ...
- UVa 11582 巨大的斐波那契数!(幂取模)
https://vjudge.net/problem/UVA-11582 题意: 输入两个非负整数a.b和正整数n,你的任务是计算f(a^b)除以n的余数.f[0]=0,f[1]=1,f[i+2]=f ...
- zoj Candies 思维
http://acm.zju.edu.cn/changsha/showProblem.do?problemId=31 题意: 给你n个非负整数,然后输入n个x[i],x[i] == -1表示第i个数不 ...
- java 23种设计模式,一般情况下,常用的有哪些? 转载
原址:http://wangle.iteye.com/blog/196972 工厂模式, 工厂方法模式,单例模式, 外观(Facade)模式, 观察者(Observer)模式,桥接(Bridge)模式 ...
- C#中json字符串的序列化和反序列化
改文章转自:https://www.cnblogs.com/shang201215019/p/7907655.html 什么是 Json ? Json[javascript对象表示方法] ...
- Intellij Idea 将java项目打包成jar
1.菜单:File->project stucture 2.在弹窗最左侧选中Artifacts->"+",选jar,选择from modules with depend ...