工作环境 巧妇有了米炊 众所周知,Caffe是在Linux下写的,所以长久以来,大家都认为跑Caffe,先装Linux. niuzhiheng大神发起了caffe-windows项目(解决了一些编译.API相异问题) 以及willyd大神发起的caffe-windows-dependencies项目(整理了依赖库,修正了LMDB在NTFS分区的Bug) 我们现在可以很欢乐地在Windows上研究Caffe源码,以及山寨它了. 编辑器 在Windows下涉及CUDA,Visual Studio必然…

你说你学过操作系统这门课?写个无Bug的生产者和消费者模型试试! ——你真的学好了操作系统这门课嘛? 在第壹章,展示过这样图: 其中,左半部分构成了新版Caffe最恼人.最庞大的IO系统. 也是历来最不重视的一部分. 第伍章又对左半部分的独立性进行了分析,我是这么描述到: Datum和Blob(Batch)不是上下文相关的. Blob包含着正向传播的shape信息,这些信息只有初始化网络在初始化时才能确定. 而Datum则只是与输入样本有关. 所以,Datum的读取工作可以在网络未初始化之前就开…

你为Class外访问private对象而苦恼嘛?你为设计序列化格式而头疼嘛? ——欢迎体验Google Protocol Buffer 面向对象之封装性 历史遗留问题 面向对象中最矛盾的一个特性,就是“封装性”. 在上古时期,大牛们无聊地设计了三种访问域: public.private.protected. 大多数C++初学者都是疑惑的,甚至是对于传统C程序员而言. 在C规范中,没有class(类)的概念,只有struct(结构体)的概念. 面向对象的C++中,尽管将C规范的struct移植过来…

请以“仰望星空与脚踏实地”作为题目,写一篇不少于800字的文章.除诗歌外,文体不限. ——2010·北京卷 仰望星空 规范性 Caffe诞生于12年末,如果偏要形容一下这个框架,可以用"须敬如师长". 这是一份相当规范的代码,这个规范,不应该是BAT规范,那得是Google规范. 很多自称码农的人应该好好学习这份代码,改改自己丑陋的C++编程习惯. 下面列出几条重要的规范准则: ★const 先说说const问题,Google为了增加代码的可读性,明确要求: 不做修改的量(涵盖函数体内…

消费者 回忆:生产者提供产品的接口 在第捌章,IO系统(二)中,生产者DataReader提供了外部消费接口: class DataReader { public: ......... BlockingQueue<Datum*>& free() const { return ptr_pair->free; } BlockingQueue<Datum*>& full() const { return ptr_pair->full; } .........…

数据变形 IO(二)中,我们已经将原始数据缓冲至Datum,Datum又存入了生产者缓冲区,不过,这离消费,还早得很呢. 在消费(使用)之前,最重要的一步,就是数据变形. ImageNet ImageNet提供的数据相当Raw,不仅图像尺寸不一,ROI焦点内容比例也不一,如图: [Krizhevsky12]给出了CNN打ImageNet的基本预处理,非常经典的" Random 256-224 Crop",即: 首先,对图片进行统一的缩放,无视宽高比,统一缩放成256*256(可利用Op…

听说Google出了TensorFlow,那么Caffe应该叫什么? ——BlobFlow 神经网络时代的传播数据结构 我的代码 我最早手写神经网络的时候,Flow结构是这样的: struct Data { vector<double> feature; int y; Data(vector<double> feature,int y):feature(feature),y(y) {} }; vector<double> u_i,v_i,u_j,v_j; 很简陋的结构,…

生产者 双缓冲组与信号量机制 在第陆章中提到了,如何模拟,以及取代根本不存的Q.full()函数. 其本质是:除了为生产者提供一个成品缓冲队列,还提供一个零件缓冲队列. 当我们从外部给定了固定容量的零件之后,生产者的产能就受到了限制. 由两个阻塞队列组成的QueuePair,并不是Caffe的独创,它实际上是生产者与消费者的编程方式之一. 在大部分操作系统教材中,双缓冲区free.full通常由两个信号量empty.full实现. 信号量(Semaphore)由操作系统底层实现,并且几乎没有人会…

你说你会关系数据库?你说你会Hadoop? 忘掉它们吧,我们既不需要网络支持,也不需要复杂关系模式,只要读写够快就行.    ——论数据存储的本质 浅析数据库技术 内存数据库——STL的map容器 关系数据库横行已久,似乎大家已经忘了早些年那些简陋的数据存储模式. 在ACM选手中,流传着“手艹数据库”的说法,即利用map<string,type>或者map<int,type>, 按照自己编码规则,将数据暂存起来,等待调用. 这就是KV数据库,最简陋的数据库,也是最实用的数据库. S…

你左手是内存,右手是显存,内存可以打死显存,显存也可以打死内存. —— 请协调好你的主存 从硬件说起 物理之觞 大部分Caffe源码解读都喜欢跳过这部分,我不知道他们是什么心态,因为这恰恰是最重要的一部分. 内存的管理不擅,不仅会导致程序的立即崩溃,还会导致内存的泄露,当然,这只针对传统CPU程序而言. 由于GPU的引入,我们需要同时操纵俩种不同的存储体: 一个受北桥控制,与CPU之间架起地址总线.控制总线.数据总线. 一个受南桥控制,与CPU之间仅仅是一条可怜的PCI总线. 一个传统的C++程…

不精通多线程优化的程序员,不是好程序员,连码农都不是. ——并行计算时代掌握多线程的重要性 线程与操作系统 用户线程与内核线程 广义上线程分为用户线程和内核线程. 前者已经绝迹,它一般只存在于早期不支持多线程的系统中. 它用模拟的方式实现一个模拟的多线程系统,不支持异步. 即,一个线程被阻塞了,其它线程也会被阻塞. 当今的操作系统几乎都默认提供了内核线程API,底层由操作系统实现. 内核线程的好处在于,它们之间支持异步,是"真"多线程. 操作系统的流氓软件 不过,内核线程也给线程的使用…

你需要一个管家,随手召唤的那种,想吃啥就吃啥. ——设计一个全局线程管理器 一个机器学习系统,需要管理一些公共的配置信息,如何存储这些配置信息,是一个难题. 设计模式 MVC框架 在传统的MVC编程框架中,通常采取设立数据中心的做法,将所有配置信息存在其中. 同时,将数据中心指针共享至所有类,形成一个以数据为中心,多重引用的设计模式. 如图,以MFC默认编程思路为例: 这种编程框架,虽然思路清晰,但是需要将共享指针传来传去,显得相当赘余. 全局静态框架 这是一种新手程序员经常习惯干的事. 不设立…

2017年11月22日00:25:54 对lib下面的TH的大致结构基本上理解了,我阅读pytorch底层代码的目的是为了知道 python层面那个_C模块是个什么东西,底层完全黑箱的话对于理解pytorch的优缺点太欠缺了. 看到 TH 的 Tensor 结构体定义中offset等变量时不甚理解,然后搜到个大牛的博客,下面是第一篇: 从零开始山寨Caffe·零:必先利其器 快速浏览了一下这个系列,看的压力山大... 大致理解是offset是为了让Tensor在内存中线性化存储,计算和传输成本低…

知乎上的讨论:https://www.zhihu.com/question/27982282 从0开始山寨caffe系列:http://www.cnblogs.com/neopenx/archive/2016/02.html caffe源码阅读系列:http://blog.csdn.net/xizero00?viewmode=contents http://blog.csdn.net/langb2014/article/category/5998589/1 Google Protocol Buf…

原生JS写的仿C#的字符串format函数,在此基础上又增加了便于JS使用的字面量对象参数. 参照C#中的规则,调用的时候会检测字符串格式,如果字符串格式不规范,或者传入的参数为null或undefined,则抛出异常,并且加入了console.trace,方便查找错误. 有了这个format函数,js拼接字符串的时候就方便多了. 功能基本实现,代码有待优化. String.prototype.format2 = function (args) { var s = this, vals = []…

http://www.25hoursaday.com/CsharpVsJava.html ECMA-334 关键字 累计103 个,其中关键字77个,上下文关键字26个.(c#5.0) 标识符 1. 与C语言相比,标识符中可包含@符号: @class. 对比记忆: JavaScript中的$符号,swift中则通过'class' 来使用关键字做标识符. 2. 遵循C#的Pascal命名法,入口函数Main方法,首字母大写. 控制台输入输出 static void Main(string[] ar…

class Program { static void Main(string[] args) { //DateTime dt = DateTime.Now; //Console.WriteLine("{0}", dt);//2014-3-27 10:19:24 原来形式 //Console.WriteLine("{0:d}", dt);//2014-3-27 "d":约束的结果,以短时间输出 //Console.WriteLine("…

Ø  简介 在开发中最常见的数据类型就是 String 类型,即字符串类型.为什么要单独讨论下这个类型,是因为:它是系统内置的基础数据类型:它的使用频率非常高:它是一个特殊的引用类型.其实大家都会使用它,但可能或多或少了解不够全面,本文主要是抱着:学习.巩固.总结的目的去加深对它的了解,主要学习以下几点: 1.   什么是 string 类型 2.   创建 string 对象的方式 3.   string 的常用静态方法 4.   string 的常用实例方法 5.   string 的常用扩…

上面2个函数定义好了,那么剩下的编写网络就比较容易了,我们在ResNet结构介绍中有一个表,再贴出来: Layer_name Output_size 20-layer ResNet Conv1 32 X 32 Kernel_size=3 X 3 Num_output = 16 Stride = 1 Pad = 1 Conv2_x 32 X 32 {3X3,16; 3X3,16} X 3 Conv3_x 16 X 16  {3X3,16; 3X3,16} X 3 Conv4_x 8 X 8  {3…

3.搭建网络: 搭建网络之前,要确保之前编译 caffe 时已经 make pycaffe 了. 步骤1:导入 Caffe 我们首先在 ResNet 文件夹中建立一个 mydemo.py 的文件,本参考资料我们用 spyder 打开.要导入 Caffe 的话直接 import caffe 是不可以的,因为系统找不到 caffe module,这时候要告诉系统 caffe 在哪里可以导入,因此需要添加 caffe 的路径,准确地说是 caffe-master/python 路径.为了以后的方便,我…

声明:Caffe 系列文章是我们实验室 黄佳斌 大神所写的内部学习文档,已经获得他的授权允许. 本参考资料是在 Ubuntu14.04 版本下进行,并且默认 Caffe 所需的环境已经配置好,下面教大家如何搭建 KaiMing He 的 Residual Network(残差网络). Cite: He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE…

标签:NodeJS,Heroku 0 搭建一个个人独立博客,这是我好久之前就在计划的一件事了. 这个暑假,我学习了廖雪峰老师的NodeJS教程,又偶然在V2EX上发现了Heroku这个平台,可以免费在上面部署各种语言的小项目.于是,就有了这一篇文章. 1 模块构想 说是构想,自我感觉可以归于YY. 1. 类Material风格扁平主题 学过CSS,也做过一个类似的小项目,这点估计比较简单...吧 2. MarkDown 语法解析支持 博客必须标配.再说了,MD一共就就那几种语法,肯定很容易...…

index.js var http = require("http"); http.createServer(function(request, response) { response.writeHead(200, {"Content-Type": "text/plain"}); response.write("Hello World"); response.end(); }).listen(8888); console.l…

一.Java 简介 Java是由Sun Microsystems公司于1995年5月推出的Java面向对象程序设计语言和Java平台的总称.由James Gosling和同事们共同研发,并在1995年正式推出. Java分为三个体系: JavaSE(J2SE)(Java2 Platform Standard Edition,java平台标准版) JavaEE(J2EE)(Java 2 Platform,Enterprise Edition,java平台企业版) JavaME(J2ME)(Java…

http://www.cnblogs.com/neopenx/default.html?page=1 这个博主很牛逼,写的东西也很好,多学学,无论是对框架,还是对自己学习c++帮助都非常大…

一.深度学习中常用的调节参数 本节为笔者上课笔记(CDA深度学习实战课程第一期) 1.学习率 步长的选择:你走的距离长短,越短当然不会错过,但是耗时间.步长的选择比较麻烦.步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优 一般来说,前1000步,很大,0.1:到了后面,迭代次数增高,下降0.01,再多,然后再小一些. 2.权重 梯度消失的情况,就是当数值接近于正向∞,求导之后就更小的,约等于0,偏导为0 梯度爆炸,数值无限大 对于梯度消失现象:激活函数 Sigmo…

从 13 年专科毕业开始,一路跌跌撞撞走了很多弯路,做过餐厅服务员,进过工厂干过流水线,做过客服,干过电话销售可以说经历相当的“丰富”. 最后的机缘巧合下,走上了前端开发之路,作为一个非计算机专业且低学历的人来说,自学编程其实不是件容易的事情,不过庆幸的是自己坚持下来了. 目前工作还算不错,收入在目前所在的城市不算高,不算低,生活也还过得去,继续加油努力,也希望自己在今后更上一层. 从 16 年下半年开始,我真正接触前端,到现在 2 年多的时间.开始之初,我没有任何的语言基础,完全从零的小白开始…

http://www.embeddedlinux.org.cn/emb-linux/entry-level/201612/21-6005.html 随着深度学习快速发展的浪潮,许多有兴趣的工作者都转入了这个有着很好前景的研究中.工欲善其事,必先利其器.Caffe是一个很不错的深度学习框架,但它的安装步骤比较繁琐,将许多新手拒之门外,于是我就写了这篇博客,主要是我之前安装Caffe也是费了很多时间,由零基础慢慢学习,很羡慕那些有师兄师姐可以帮助的人. 下面开始正式介绍相关安装步骤,该教程主要包括以…

认识Caffe与Caffe2 目录: 一.Caffe的作者-贾扬清 二.Caffe简介--Caffe.Caffe2.Caffe2Go 三.认识Caffe 四.认识Caffe2 五.认识Caffe2Go     正文: 一.Caffe的作者-贾扬清 Caffe 作者:贾扬清,任Facebook研究科学家,曾在Google Brain工作.在AI领域有数年的研究经历.在UC Berkeley获得计算机科学博士学位,在清华大学获得硕士和本科学位.对两款流行的深度学习框架做过贡献:Caffe的作者,Te…

没想到写了个前言就受到很多朋友的支持,大家的推荐就是我最大的动力(推荐得我热血沸腾,大家就用推荐来猛砸我吧O^-^O),谢谢大家支持. 其实框架开发大家都知道,不过要想写得通俗点,我个人觉得还是挺吃力的.在本系列中,我不会很深入的去讲述那些映射啊关系啊(绕得我头都晕了,这些请大家去查看相关的文档学习吧)......概念上的东西会少讲,直接上实例,讲实际应用.当然如果您觉得这样很不尊重面向对象什么的,那也没办法,只能说我们不在一个频道上. 本人是个技术宅,第一次写长篇连载经验不足,有时候会词不达意…