AutoLearn - Automated Feature Generation and Selection - 2017 ICDM 核心思想: 用特征之间两两回归的方法,发现相关特征的额外信息. 主要流程如下: 第一,特征预处理阶段,对原始特征的信息增益进行判断,剔除低于某个阈值的特征: 第二,挖掘相关特征阶段,对于两两的特征,判断相关性,保留高于某个阈值的特征对: 第三,特征生成阶段,根据两个特征之间的相关关系(线性或者非线性),使用领回归或者核领回归的方法,用一个特征去预测另外一个特征,新…

IEEE VR 2018 1.Avatars and Virtual Humans--人物和虚拟人物 2.Augmented Reality--增强现实 3.Body and Mind--人体和思想(人体运动.用户的感知) 4.Active Haptics--触觉 5.Cybersickness--网络病(模拟器病) 6.Locomotion & Walking--运动和行走 7.3D hand Interaction and Physics--手的交互 8.Social VR--社会与虚拟现实…

-本博客为原创内容,转载需注明本人- 前几天有个师妹将要毕业,需要准备毕业论文,但是论文调研需要数据资料,上知网一查,十几万条数据!指导老师让她手动copy收集,十几万的数据手动copy要浪费多少时间啊,然后她就找我帮忙.我想了一下,写个爬虫程序去爬下来或许是个不错的解决方案呢!之前一直听其他人说爬虫最好用python,但是我是一名Java工程师啊!鲁迅曾说过,学python救不了中国人,但是Java可以! ​ 好啦,开个玩笑,主要是她急着要,我单独学一门语言去做爬虫,有点不现实,然后我就用了J…

一面: 大部分是问项目相关的.只记住了几个关键的问题. 1.手写快排 2.生成模型与判别模型的区别 分类问题:2种形式: F(x)=y p(y|x) 生成模型:由数据学习联合分布概率p(x,y),然后求出条件概率分布p(y|x) p(y|x) = p(x,y)/p(x) 例如,朴素贝叶斯. 判别模型: 直接学习p(y|x),不用联合分布概率. 3.svm 核函数作用? 解决线性不可分问题,减少计算量. 4.你的专业是通信工程,通信是做什么的? 5.通信工程中有哪些机器学习的知识? 6.聊比赛,3…

之前已经发过一篇文章来介绍我写的AutoML综述,最近把文章内容做了更新,所以这篇稍微细致地介绍一下.由于篇幅有限,下面介绍的方法中涉及到的细节感兴趣的可以移步到论文中查看. 论文地址:https://arxiv.org/abs/1908.00709 1. Introduction 以往的模型都是靠大佬们不断试错和调参炼丹炼出来的,而且不同场景或者不同类型的数据集又得设计不同的网络模型,而我等穷&菜鸡在设计模型的天赋和计算资源上都比不过大佬们.幸运的是终于有体恤民意的大佬提出了Neural Ar…

[论文笔记系列]AutoML:A Survey of State-of-the-art (上) 上一篇文章介绍了Data preparation,Feature Engineering,Model Selection,这篇文章会继续介绍后面的内容. 4. Model Generation 4.2 Hyperparameters optimization 4.2.1 Grid&Random Search 下图很直观地展示了网格搜索(grid search)和随机搜索(random search)的…

1.找一篇目标研究领域的中文综述,读懂,对该领域有了些基本的了解,如何找到好的综述,就是要关注一些大牛的实验组的综述和进展: 2.找该中文综述引用的外文文献来看,通常是一些比较经典的文献 3.找这些外文文献引用的外文文献,发现另外一些比较经典的文献: 4.使用google scholar及一些专业数据库的他引查询功能,找到引用这些经典文献的较新的研究论文,了解最前沿的进展,这里面有一个技巧就是,变化关键字,并且从其他文章的关键字获取关键字. 当然,这些都是操作层面的东西.对于做研究来说,最重要的…

本文为Awesome-AutoML-Papers的译文. 1.AutoML简介 Machine Learning几年来取得的不少可观的成绩,越来越多的学科都依赖于它.然而,这些成果都很大程度上取决于人类机器学习专家来完成如下工作: 数据预处理 Preprocess the data 选择合适的特征 Select appropriate features 选择合适的模型族 Select an appropriate model family 优化模型参数 Optimize model hyperp…

原文地址: https://www.cnblogs.com/marsggbo/p/9308518.html ------------------------------------------------------------------------------------------------------------ 本文为Awesome-AutoML-Papers的译文. 1.AutoML简介 Machine Learning几年来取得的不少可观的成绩,越来越多的学科都依赖于它.然而,这…

理论部分 方法介绍 本节将详细介绍AMC的算法流程.AMC旨在自动地找出每层的冗余参数. AMC训练一个强化学习的策略,对每个卷积层会给出其action(即压缩率),然后根据压缩率进行裁枝.裁枝后,AMC算法直接对裁剪后的网络惊醒精度的测试,不经过fine-tune过程,这种精度测量结果是fine-tune后得到最优模型的精度的一中近似,而且可以加速整个训练过程. 问题定义 在深度神经网络中,通过建超每层的参数个数,达到模型压缩和加速的效果.通常有2中裁枝方法:细精度裁枝和结构化裁枝.细精度裁枝…

本文由厦门大学计算机系教师林子雨翻译,翻译质量很高,本人只对极少数翻译得不太恰当的地方进行了修改. [摘要]:Spanner 是谷歌公司研发的.可扩展的.多版本.全球分布式.同步复制数据库.它是第一个把数据分布在全球范围内的系统,并且支持外部一致性的分布式事务.本文描述了 Spanner 的架构.特性.不同设计决策的背后机理和一个新的时间 API,这个 API 可以暴露时钟的不确定性.这个 API 及其实现,对于支持外部一致性和许多强大特性而言,是非常重要的,这些强大特性包括:非阻塞的读.不采用…

分布式键值存储系统ETCD调研 简介 etcd是一个开源的分布式键值存储工具--为CoreOS集群提供配置服务.发现服务和协同调度.Etcd运行在集群的每个coreos节点上,可以保证coreos集群的稳定,可靠的运行.当集群网络出现动荡,或者当前master节点出现异常时,etcd可以进行master节点的选举工作,同时恢复集群中损失的数据.   目的: 一个高可用的 Key/Value 存储系统,主要用于分享配置和服务发现 接口: REST接口(HTTP+JSON)方便集群中每一个主机访问…

计算所科研实践随笔 被淹没在论文海里的两个星期. 早上7:10分起床,草草洗漱,7:30出发,开始漫长的1小时通勤.从地铁站的安检口起,队便排的极长,让人看得头皮发麻.下到了轨道旁稍好,但每趟呼啸而来的地铁里都是满满当当,常常要等2,3趟我才能有幸站上去.我从不奢望座位.在等一趟不那么满的地铁的过程中,有时很满的地铁来了,门易开人墙难开,门快关时有些赶得急的人就踏上地铁背过身来拼命地往后压,最后强行挤出了个位置来,我在外面看得见那努力的表情. 虽说这行为不大雅观,素质上可能偏向于负面,但我脑子里…

本文先对FCN的会议论文进行了粗略的翻译,使读者能够对论文的结构有个大概的了解(包括解决的问题是什么,提出了哪些方案,得到了什么结果).然后,给出了几篇博文的连接,对文中未铺开解释的或不易理解的内容作了详尽的说明.最后给出了FCN代码的详解(待更新). Fully Convolutional Networks for Semantic Segmentation 用于语义分割的全卷积网络 摘要 卷积网络是可以产生具有层次结构的特征的强大的视觉模型.我们展示了只通过由端到端,像素像素训练的卷积网络进…

原文:JxKing的博客 | JxKing Blog 前言 AutoML是指尽量不通过人来设定超参数,而是使用某种学习机制,来调节这些超参数.这些学习机制包括传统的贝叶斯优化,多臂老虎机(multi-armed bandit),进化算法,还有比较新的强化学习. 我将AutoML分为传统AutoML ,自动调节传统的机器学习算法的参数,比如随机森林,我们来调节它的max_depth, num_trees, criterion等参数. 还有一类AutoML,则专注深度学习.这类AutoML,不妨称之…

论文: Multi-Fidelity Automatic Hyper-Parameter Tuning via Transfer Series Expansion 我们都知道实现AutoML的基本思路是不断选取不同的超参数组成一个网络结构,然后使用这个网络结构在整个数据集上进行评估 (假设评估值为\(f_H(X)=\mathcal{L}(δ,D^{train},D^{valid})\),X表示某一组超参数) ,最后选择出评估性能最好的网络参数. 但是基于full dataset进行评估cost太…

论文笔记系列-Neural Network Search :A Survey 论文 笔记 NAS automl survey review reinforcement learning Bayesian Optimization evolutionary algorithm  注:本文主要是结合自己理解对原文献的总结翻译,有的部分直接翻译成英文不太好理解,所以查阅原文会更直观更好理解. 本文主要就Search Space.Search Strategy.Performance Estimatio…

版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/83542784 10 月 27 日(周六)上午,PaperWeekly 携手清华大学计算机系推出了计算未来轻沙龙第三期线下活动--揭秘 AutoML 技术.来自中国科学技术大学.中国科学院自己主动化研究所和探智立方的三位嘉宾,系统而深入地分享了他们各自在自己主动机器学习领域的最新研究进展. 本文将独家分享本期活动的完整视频回想和嘉宾…

从回归分析的出现到深度学习的蓬勃发展,这条算法的进化路线与其说是「机器替代人」,不如说是「机器帮助人类完毕我们不擅长的事」. 这份「不擅长」列表里有「不擅长从大量数据中寻找规律」.「不擅长同一时候完毕大量变量的优化」.「不擅长从高维数据中提取特征」.在今天,又有一批研究者在反省人类是否也「不擅长进行模型设计与模型调优」,以及机器怎样能提供帮助.近两年,以谷歌为代表的公司再次将这一类问题以 AutoML 之名推向众人视野之中.试图探讨这一技术是否能让很多其它行业专家能够跨越project与算法的障…

首发于我的gitpages博客 https://helenawang.github.io/2018/10/10/代码相似度计算框架调研 代码相似度计算框架调研 研究现状 代码相似度计算是一个已有40年研究历史的问题了.它的应用范围广泛,主要包括代码抄袭检测[3].软件维护中的相似代码查找等. Whale[1]于1988年首次提出一个代码相似性检测的通用框架和步骤,将检测过程分为以下两个阶段: 代码格式转换 + 相似度确定 后来很多检测方法都参考这一框架,并将检测过程细分为四个部分: 预处理 ->…

AutoML 即通过自动化的机器学习实现人工智能模型的快速构建,它可以简化机器学习流程,方便更多人利用人工智能技术.近日,软件行业巨头 Salesforce 开源了其 AutoML 库 TransmogrifAI.Salesforce Einstein 数据科学高级总监 Shubha Nabar 在 Medium 上撰文介绍了该 AutoML 库,包括工作流程和设计原则等. GitHub 链接:https://github.com/salesforce/TransmogrifAI Transmo…

原论文:Auto-FPN: Automatic Network Architecture Adaptation for Object Detection Beyond Classification 之前的AutoML都是应用在图像分类或者语言模型上,AutoFPN成功地将这技术应用到了目标检测任务上. 传统two-stage目标检测网络结构 在介绍AutoFPN之前,首先大致介绍一下two-stage目标检测网络的结构组成. backbone:即用来提取图像特征的网络结构,常用ResNet或VGG…

原文: Wu X, Zhu X, Wu G Q, et al. Data mining with big data[J]. IEEE transactions on knowledge and data engineering, 2013, 26(1): 97-107. 大数据中的数据挖掘 Xindong Wu, Fellow, IEEE, Xingquan Zhu, Senior Member, IEEE, Gong-Qing Wu, and Wei Ding, Senior Member,…

标题:基于C/S和B/S混合结构的中职学校教务管理系统设计与实现 一.基本信息 时间:2008 来源:中 国 海 洋 大 学 关键词:: 教务管理信息系统;C/S和B/S混合结构;UML;USE CASE图; 二.研究内容 中职学校教务管理信息系统主要采用结构化分析方法 , 在教务管理系统的需求和业务流程基础上 , 以软件工程思想为指导进行系统分析 . 系统设计 . 系统实施 . 系统运行维护与评价 .它从问题提出开始 , 包括确立系统 目标及总体功能结构 ,分析现有系统业务和数据处理 , 确定…

论文名称:MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning 论文地址:https://arxiv.org/abs/1903.10258 开源代码:https://github.com/megvii-model/MetaPruning 目录 导语 简介 方法 PruningNet Training Pruned-Network Search 实验 Comparisons with state-of-the…

主流的序列到序列模型都是基于含有encoder和decoder的复杂的循环或者卷积网络.而性能最好的模型在encoder和decoder之间加了attentnion机制.本文提出一种新的网络结构,摒弃了循环和卷积网络,仅基于attention机制. self-attention是一种attention机制,它是在单个序列中计算每个位置与其他不同位置关系从而计算序列.Transformer是第一个完全依靠self-attention机制来计算输入和输出表示. 模型架构     encoder 编码…

原文地址: https://jinxin0924.github.io/2017/12/21/AutoML%E6%80%BB%E7%BB%93/ Posted by JxKing on December 21, 2017 --------------------------------------------------------------------------------------------------------------- 前言 AutoML是指尽量不通过人来设定超参数,而是使用…

原文地址: http://www.sohu.com/a/249973402_610300 原作:George Seif 夏乙 安妮 编译整理 ======================================================= AutoML和神经架构搜索(NAS),是深度学习领域的新一代王者. 这些方法能快糙猛地搞定机器学习任务,简单有效,高度符合当代科技公司核心价值观. 它们背后原理如何,怎样使用? 技术博客TowardDataScience有一篇文章,就全面介绍了关…

逐步会更新阅读过的AutoML文献(其实是NAS),以及自己的一些思考 Progressive Neural Architecture Search,2018ECCV的文章: 目的是:Speed up NAS by proposing an alternative algorithm (Progressive Search), 具体方法:采取Learning transferable architectures for scalable image recognition中相似的搜索空间,也就是…

前言 一年一度的数据库领域顶级会议VLDB 2019于美国当地时间8月26日-8月30日在洛杉矶召开.在本届大会上,阿里云数据库产品团队多篇论文入选Research Track和Industrial Track. 本文将对入围Research Track的论文<iBTune: Individualized Buffer Tuning for Largescale Cloud Databases>进行详细解读,以飨读者. 注:本文由阿里云智能事业群艾奥.池院.洪林.谭剑.祺星.铁赢共同撰写. 1…