前言: 工作上要接触很多移动设备,进行测试,所以抓包软件不能少,但是看你习惯,你要是说我喜欢charles,也可以,毕竟我也买不起苹果电脑,就不拿charles装在windows上了,还是乖乖的Fiddler吧,哈哈哈,看你习惯.反正charles是比Fiddler强大一丢丢,但是看个人爱好吧.据说Fiddler的苹果版正在开发中.配置Fiddler的教程不教.但是不适合所有人,比如一些比较简单的知识点我就不写,毕竟是自己的学习笔记啦. 正文: 第一章 瞎记-前期知识储备 一.http协议和抓包…

前言 不适合小白,因为很多需要小白来掌握的东西我都没有写,就是补充自己还不会的东西,所以,有些同僚看起来可能感觉不是很清楚. 正文: 瞎记2-什么是代理服务器 1.web代理服务器,是在客户端和服务器之间的中间人角色.对于客户端,代理服务器就是服务器一端(接收request,返回response).对于服务器来说,代理服务器就是客户端(接收response,发送request). 2.代理服务器的优点和功能: 共享网络,提高访问速度,突破访问限制,隐藏身份. 突破访问限制,就是当前无法访问一些网…

Http: 不安全.可以很容易被拦截,或者其他的嗅探工具发现.怎么样做到安全?起码一下两点: 1.浏览器和we服务器之间的内容应该只有浏览器和web服务器能看到通信内容. 2.Http请求和Http的请求响应内容不会被第三方篡改 我们肯定会想到加密算法,对称和非对称加密,DES,RSA等.Page16.对称加密是密钥同时扮演加密和解密的角色,只要不公开密钥,并且密钥安全就可以保证安全.非对称加密,不同客户端和服务器间使用不同对称加密算法,通过协商解决. Https: 就是加密后的http,浏览器…

接着上次的记,前面看了稀疏自编码.按照讲义,接下来是Vectorized, 翻译成向量化?暂且这么认为吧. Vectorized: 这节是老师教我们编程技巧了,这个向量化的意思说白了就是利用已经被优化了的数值运算来编程,矩阵的操作 尽量少用for循环,用已有的矩阵运算符来操作.这里只是粗略的看了下,有些小技巧还是不错的. PCA: PCA这个以前都接触过了,简单说就是两步: 1.协方差矩阵 其中x(i)是输入样本(假设已经均值化). 2.SVD分解,得出U向量.其中U向量的每列就是样本的新的方向…

由于早年在管理领域耕耘了一段时间,完美错过了Spring的活跃期, 多少对这个经典的技术带有一种遗憾的心态在里面的, 从下面的我的生涯手绘图中大概可以看出来我的经历. 最近由于新介入到了工业数字化领域,工作也专注于业务应用, 不怎么搞平台了,平台更多的是采取与友商战略合作的方式, 也有机会重新认识并学习一下这个被完美错过的经典技术. 以下是本次的随记. 一.本次的代码地址 https://github.com/quchunhui/demo-macket/tree/master/springboo…

大数据的时代,网络爬虫已经成为了获取数据的一个重要手段. 但要学习好爬虫并没有那么简单.首先知识点和方向实在是太多了,它关系到了计算机网络.编程基础.前端开发.后端开发.App 开发与逆向.网络安全.数据库.运维.机器学习.数据分析等各个方向的内容,它像一张大网一样把现在一些主流的技术栈都连接在了一起.正因为涵盖的方向多,因此学习的东西也非常零散和杂乱,很多初学者搞不清楚究竟要学习哪些知识,学习过程中遇到反爬也不知道用什么方法来解决,本篇我们来做一些归纳和总结. 很多人学习python,不知道从…

慕课网视频教程:http://www.imooc.com/learn/443 ====Maven是什么 Maven是基于项目对象模型(POM),可以通过一小段描述信息来管理项目的构建.报告和文档的软件项目管理工具.简单的来说,Maven可以帮我们来管理项目. ====下载Maven 官网:http://maven.apache.org/ ====配置环境变量 M2_HOME=C:\Program Files\apache-maven-3.3.3 然后将M2_HOME加入到Path中.下命令行窗口…

====Kafka消费者模型 参考博客:http://www.tuicool.com/articles/fI7J3m --分区消费模型 分区消费架构图 图中kafka集群有两台服务器(Server),每台服务器有2个分区(Patition),共4个分区. 由四个消费者实例(Consumer)来消费4个分区. 当然,Consumer1不一定对应Patition1,但是必须建立1对1的对应关系. 分区消费伪代码描述 --组(Group)消费模型 组消费架构图 途中有两个服务器Server1和Serv…

在此写博客之际,热烈庆祝母校苏州科技学院,正式改名为苏州科技大学. 一晃眼,从自己投身IT行业已经两年有余,期间经历了结婚.买房等人生大事,非常感谢我的老婆,谢谢她这么爱我,嫁给我这个码农,呵呵... 时间过得太快,到现在依稀记得,刚刚实习的那段日子,那段日子,简单而开心,用的是winform技术.. 之后毕业了,也就到了毕业离开的公司,去了一家新加坡的外企,每天充满而实在,用的是MVC技术等系统. 然后,由于要挣钱结婚.买房,一身来到魔都-上海.阴错阳错,来到泰州靖江出差,每天虽然累但是快乐,…

前面Andrew Ng的讲义基本看完了.Andrew讲的真是通俗易懂,只是不过瘾啊,讲的太少了.趁着看完那章convolution and pooling, 自己又去翻了翻CNN的相关东西. 当时看讲义时,有一点是不太清楚的,就是讲义只讲了一次convolution和一次pooling,而且第一次的convolution很容易理解,针对一副图像来的,但是经过一次convolution和pooling 后,一副图像变成了好多副特征图(feature map)这时候再进行convolution时,该…

图像大小与参数个数: 前面几章都是针对小图像块处理的,这一章则是针对大图像进行处理的.两者在这的区别还是很明显的,小图像(如8*8,MINIST的28*28)可以采用全连接的方式(即输入层和隐含层直接相连).但是大图像,这个将会变得很耗时:比如96*96的图像,若采用全连接方式,需要96*96个输入单元,然后如果要训练100个特征,只这一层就需要96*96*100个参数(W,b),训练时间将是前面的几百或者上万倍.所以这里用到了部分联通网络.对于图像来说,每个隐含单元仅仅连接输入图像的一小片相邻…

线性解码器(Linear Decoder) 前面第一章提到稀疏自编码器(http://www.cnblogs.com/bzjia-blog/p/SparseAutoencoder.html)的三层网络结构,我们要满足最后一层的输出:a(3)≍a(1)(即输入值x)的近似重建.考虑到在最后一层的a(3)=f(z(3)),这里f一般用sigmoid函数或tanh函数等非线性函数,而将输出界定在一个范围内(比如sigmoid函数使结果在[0,1]中).这对于有些数据组,例如MNIST手写数字库中其输入…

前面记到了深度网络这一章.当时觉得练习应该挺简单的,用不了多少时间,结果训练时间真够长的...途中debug的时候还手贱的clear了一下,又得从头开始运行.不过最终还是调试成功了,sigh~ 前一篇博文讲了深度网络的一些基本知识,这次讲义中的练习还是针对MNIST手写库,主要步骤是训练两个自编码器,然后进行softmax回归,最后再整体进行一次微调. 训练自编码器以及softmax回归都是利用前面已经写好的代码.微调部分的代码其实就是一次反向传播. 以下就是代码: 主程序部分: stacked…

这一个多周忙别的事去了,忙完了,接着看讲义~ 这章讲的是深度网络(Deep Network).前面讲了自学习网络,通过稀疏自编码和一个logistic回归或者softmax回归连接,显然是3层的.而这章则要讲深度(多层)网络的优势. Deep Network: 为什么要使用深度网络呢?使用深度网络最主要的优势在于,它能以简洁的方式来表达比浅层网络大得多的函数集合.正式点说,可以找到一些函数,它们能够用k层网络简洁的表达出来(这里的简洁指的是使用隐层单元的数目与输入单元数目是多项式关系),但是对一…

接着看讲义,接下来这章应该是Self-Taught Learning and Unsupervised Feature Learning. 含义: 从字面上不难理解其意思.这里的self-taught learning指的是用非监督的方法提取特征,然后用监督方法进行分类.比如用稀疏自编码+softmax regression. 对于非监督特征学习,有两种类型,一类是self-taught learning,一类是semi-supervised learning.看他们的定义不如看讲义中给出的那个…

最近开始看Deep Learning,随手记点,方便以后查看. 主要参考资料是Stanford 教授 Andrew Ng 的 Deep Learning 教程讲义:http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial.这个讲义已经有人翻译了(赞一个),可以参见邓侃的新浪博客http://blog.sina.com.cn/s/blog_46d0a3930101h6nf.html.另外,博客园里有一个前辈关于讲义中练习的一系列文…

最近才接触mvc,也是才接触linq语法,还有EntiyFramework,个人感觉这种开发模式还是挺不错的,随手记点笔记,简单做个增删改查吧 一.实例化上下文ObjectContext: 引用空间那些就跳过了.. db_testEntities test = new db_testEntities(); 二.用linq语法从数据库查询数据: 使用linq语句查询返回的数据类为IQueryable类型: IQueryable<MvcTest.Models.T_UserInfo> list =…

首先,这个不是写个新手看的,内容比较粗略,把几个关键点自己列一下,以做记录 首先,我对andriod不懂,对java本身也不是非常熟,也从来没写过andriod或java的程序,但本着曾经对编程的理解,想动动手. 一.准备工作,装环境,java jdk, AS(andriod studio),apk反编译工具 jadx 这个步骤有几点提醒一下,一是网上关于AS的版本较旧,安装后要配置很多环境,我用的3.2,安装即可用 apk反编译工具,网上推荐的步骤也较为繁琐,但把apk的打包过程讲了一下,也可…

今天看到一个抓包笔记, 因为是老早抓包的需求, 后期不用就忘了, 换电脑桌面软件图标都没了, 点开看了一下一脸懵逼... 这是啥...  以后有需要在看一遍吧! Fiddler抓包使用教程-扫盲篇 http://blog.csdn.net/zhaoyanjun6/article/details/72823370 Fiddler简介 http://blog.csdn.net/ohmygirl/article/details/17846199 Fiddler抓包简易教程 https://www.ji…

第一步:设置Fiddler  windows下安装证书 打开fiddler 查看证书是否安装 说明已安装成功 设置端口号(下面手机设置代理所需要的) 第二部  手机端安装证书 通过fiddler查看电脑的ip地址 设置代理: 打开手机浏览器,输入电脑ip店址和端口号,进入页面后点击fiddler证书 此时已安装好证书 第三步  抓取https请求 我这边用的是京东到家APP,打开app 发现已经能抓取到https请求了 注意: 1.使用有线网抓取,无线暂时无法抓取 2.当无法抓取到时,关闭fid…

今天准备看看Flask框架,找到一套博客系统源码,拿来学习学习 https://github.com/xpleaf/Blog_mini 演示地址 http://140.143.205.19 技术框架 后台语言:Python Web框架:Python Flask 设计模式:工厂模式(程序结构清晰) 前端框架:Bootstrap3 数据库:sqlite或MySQL 数据库设计:一对一/一对多/多对多/高级多对多(高级自引用) 包引用报错 编译器报错如下 [pylint] E0611:No name…

微架构的思想在各大互联网公司越来越普及,特此记录Spring Boot的一些细节问题! 网上spring-boot的教程一堆一堆,就没有必要再详细记录了 1:建议通过Idea 来创建spring-boot + maven 项目 2:spring-boot 默认可以加载的配置文件有两种 1 当前目录下 2 config/目录下 目录结构大概是这个样子 demo(your project name) -src -mian -test -config -application.properties 这…

入行IT也已经很多年了,厌倦了Windows平台的工作, 4月初突然抽风买了台Mac就开始决定转身做iOS/OS X下的App开发了. 从适应Mac机器到开始编程没有花费太长时间,也因为有C#和Jave等语言的基础,逛了逛诸如Cocoa China等几个论坛,查看并比较了苹果的官网文档. 发现还是苹果的官方文档最靠谱.学着学着忽然觉得应该记录下自己的点点滴滴. 在随便搜索和查看了很多“入门秘籍”之后,我觉得不论是对自己还是对其他想进入这个领域的人来说,所有的开始可以从下面这个链接出发: 马上着手…

本人正值科研之年,同时也在使用Weka来做相关数据挖掘和机器学习的论文工作. 为了记录自己的学习历程,也便于分享和带领入门的你们.废话不多说,直接上干货!…

1 # Python爬虫学习第一记 8.24 (代码有点小,请放大看吧) 2 3 #实现有道翻译,模块一: $fanyi.py 4 5 import urllib.request 6 import urllib.parse 7 import json 8 9 # word 是将要传入的翻译的内容 10 11 def fanyi(word): 12 while 1: 13 # 去掉url中的 _o 可以解决反爬虫机制 14 url = 'http://fanyi.youdao.com/transl…

1.根据官网的练习视频,分组时可多选列,之后使用回形针按钮创建分组,并重新命名即可,截图如下: 2.但在Tableau10中打开练习工作簿练习时,并没有直接显示分组后结果,仅仅是创建了分组的纬度,结果如下: 3.使用练习工作簿中的数据源并建立新的图标测试,仍是步骤2中的效果,如图所示: 4.在新建的练习工作簿中测试后,使用图例中分组可以直接将多选的列合并,如下图所示: 5.于是,返回官方视频中的练习工作簿,并开启图例(标记选项区下策空白处右键),设置分组显示,步骤如下图所示: PS:个人猜测可能…

度量的聚合与取消聚合 a.根据度量指标分析时,有的度量值在直接拖取后,所展示的结果如下图所示: b.此时,如果需要展示所有数据的散点图,则可以取消菜单中的“分析-聚合度量”选项,如下图所示: c.调整完截图如下所示:     …

推荐慕课网视频:http://www.imooc.com/video/10055 ====Storm的起源. Storm是开源的.分布式.流式计算系统 什么是分布式呢?就是将一个任务拆解给多个计算机去执行,让许多机器共通完成同一个任务, 把这个多机的细节给屏蔽,对外提供同一个接口.同一个服务,这样的系统就是分布式系统. 在多年以前并没有非常范用的分布式系统,即使存在,也都是限定在指定的领域, 当然,也有人尝试从中提取出共通的部分,发明一个通用的分布式系统,但是都没有很好的结果. 后来,Googl…

讲义中的第四章,讲的是Softmax 回归.softmax回归是logistic回归的泛化版,先来回顾下logistic回归. logistic回归: 训练集为{(x(1),y(1)),...,(x(m),y(m))},其中m为样本数,x(i)为特征. logistic回归是针对二分类问题的,因此类标y(i)∈{0,1},.其估值函数(hypothesis )如下: 代价函数: softmax 回归: softmax回归解决的是多分类问题,即y(i)∈{1,2,...,k}.(这里softmax…

上一篇讲的Softmax regression,当时时间不够,没把练习做完.这几天学车有点累,又特别想动动手自己写写matlab代码 所以等到了现在,这篇文章就当做上一篇的续吧. 回顾: 上一篇最后给出了softmax regression的代价函数和其偏导数,当然要实现的话基本也就是这两个函数的实现,为方便查看,这里再写一遍: 代价函数: 偏导数: 实现: 实现过程就是对MNIST手写数字库进行的分类(数字从0~9共10个). 说实话,上面代价函数对于我这matlab用的不熟的人来说,着实吓了…