在线最优化求解(Online Optimization)之二:截断梯度法(TG) 在预备篇中我们做了一些热身,并且介绍了L1正则化在Online模式下也不能产生较好的稀疏性,而稀疏性对于高维特征向量以及大数据集又特别的重要.因此,从现在开始,我们沿着提升模型稀疏性的主线进行算法介绍. 为了得到稀疏的特征权重 ,最简单粗暴的方式就是设定一个阈值,当的某维度上系数小于这个阈值时将其设置为称作简单截断).这种方法实现起来很简单,也容易理解.但实际中(尤其在OGD里面)的某个系数比较小可能是因为该维度训…

在线最优化求解(Online Optimization)之五:FTRL 在上一篇博文中中我们从原理上定性比较了L1-FOBOS和L1-RDA在稀疏性上的表现.有实验证明,L1-FOBOS这一类基于梯度下降的方法有比较高的精度,但是L1-RDA却能在损失一定精度的情况下产生更好的稀疏性.那么这两者的优点能不能在一个算法上体现出来?这就是FTRL要解决的问题. FTRL(Follow the Regularized Leader)是由Google的H. Brendan McMahan在2010年提出…

在线最优化求解(Online Optimization)之三:FOBOS FOBOS (Forward-Backward Splitting)是由John Duchi和Yoram Singer提出的[11].从全称上来看,该方法应该叫FOBAS,但是由于一开始作者管这种方法叫FOLOS(Forward Looking Subgradients),为了减少读者的困扰,作者干脆只修改一个字母,叫FOBOS. 1. 算法原理 在FOBOS中,将权重的更新分为两个步骤:   公式 (1) 前一个步骤实际…

在线最优化求解(Online Optimization)之四:RDA 不论怎样,简单截断.TG.FOBOS都还是建立在SGD的基础之上的,属于梯度下降类型的方法,这类型方法的优点就是精度比较高,并且TG.FOBOS也都能在稀疏性上得到提升.但是有些其它类型的算法,例如RDA从另一个方面来求解Online Optimization并且更有效地提升了特征权重的稀疏性.RDA(Regularized Dual Averaging)是微软十年的研究成果.RDA是Simple Dual Averaging…

在线最优化求解(Online Optimization)之一:预备篇 动机与目的 在实际工作中,无论是工程师.项目经理.产品同学都会经常讨论一类话题:“从线上对比的效果来看,某某特征或因素对xx产品的最终效果有很大的影响”.这类话题本质上说的是通过已有的数据反映出某些特定的因素对结果有很强的正(或负)相关性.而如何定量计算这种相关性?如何得到一套模型参数能够使得效果达到最优?这就是最优化计算要做的事情. 举一类典型点的例子:在推荐和广告计算中,我们经常会需要对某些值进行预测,例如在一条推荐或广告…

      码工具网站提供免费的在线二维码生成服务,可以把网址.文本.电子邮件.短信.电话号码.电子名片.wifi网络等信息生成对应的二维码图片.你可以设置二维码图片的格式(png,jpg,gif).容错率.图片大小.颜色和LOGO图片等.该工具使用起来简单.便捷.功能强大.         即使你不是程序员,不会ps技术,也可以在线制作出来有创意的二维码,把普通黑白二维码在线设计的更加创意,更加个性,更加美化,把微信二维码编辑的更加创意吸引粉丝,做一个动态二维码名片更吸引客户用.      …

文档在线预览的另一种实现方式采用的技术栈是OpenOffice + pdf.js, office文档转换为pdf的工作依然由OpenOffice的服务来完成,pdf生成后我们不再将其转换为其他文件而是直接将pdf文件通过js框架直接展示到web页面,这样相对于方案一的实现少了一层转换,效率会更快,而且pdf.js由mozilla团队维护,不用担心后期维护问题,客户端浏览器不需要安装pdf阅读器插件,唯一的要求是浏览器必须支持html5.这种方案的实现过程是: 通过OpenOffice的服务将of…

上一篇文章已经介绍了整个安装过程了.只要在浏览器中输入文档转换server的ip,会自动跳转,出现如下页面. 那么就可以实现本地文档预览了,你可以试试.(注意:是本地哦,路径不要写错,类似“\\file\share”.如果不能预览,那么还要注意文档的权限哦,不多说.) 看到这个,就算完成80%以上的工作了,因为不需要写任何代码,只要安装好服务器,就可以实现本地文件预览了.那么问题就来了,怎么实现http预览,跨服务器预览呢?且看下面. 如果要想实现http访问,跨服务器访问,那么就要实现wopi…

Angular4.0基础知识见上一篇博客 路由 简介 接下来学习路由的相关知识 本来是不准备写下去的,因为当时看视频学的时候感觉自己掌握的不错 ( 这是一个灰常不好的想法 ) ,过了一段时间才发现Angular这个对我这个PHP程序猿来说不太常用的东西非常容易忘!幸好之前去写了笔记. 首先需要先了解一个概念(SPA),也就是单页面应用,一个页面只加载一次,不再刷新,只改变页面部分内容的应用. 路由的作用就是为每一个视图分配一个唯一的URL,进入这个URL的时候,使应用跳到某个特定的视图状态. 创…

第二课主要内容如下: 代码格式 基本语法 关键字 循环判断 函数 容器 面向对象 文件读写 多线程 错误处理 代码格式 syntax基本语法 a = 1234 print(a) a = 'abcd' print(a) try: print(b) except Exception as e: print(e) a = [1, 2, 3 , 4] def func(a): a[0] = 2 func(a) print(a) try: # Python 2.x 支持 print(100, 200, 3…