Learn Git and GitHub without any code!

Using the Hello World guide, you’ll start a branch, write comments, and open a pull request.

Read the guide

XDL算法解决方案

 
songyue1104 edited this page on 21 Dec 2018 · 4 revisions
 

阿里开源深度学习框架 XDL，面向广告、推荐、搜索场景

 

阅读数：10522018 年 11 月 28 日

 

AI 前线导读： 11 月 28 日，阿里巴巴旗下大数据营销平台阿里妈妈宣布开源深度学习框架 XDL。这是阿里巴巴首次公开的深度学习框架，也是业界首个面向高维稀疏数据场景的深度学习开源框架，突破了现有深度学习开源框架大都面向图像、语音等低维稠密数据而设计的现状。

更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）

双 11，阿里巴巴集中展示了其商业操作系统，半个月之后，阿里巴巴宣布将其中一大重要业务板块——阿里妈妈的重要技术框架——X-Deep Learning（XDL）进行开源。据称，这也是该商业操作系统中最具商业价值的业务板块之一。
 
作为阿里巴巴旗下的大数据营销平台，阿里妈妈基于自身广告业务，自主研发了深度学习框架 XDL，并已经大规模部署应用在核心生产场景。

面向高维稀疏业务场景，提升广告、推荐、搜索效率

随着深度学习的风靡，阿里妈妈发现，已有的开源框架很难满足其广告场景的规模性及生产迭代要求，自研面向工业应用的分布式深度学习框架随即被提上了日程。

于是，XDL 应运而生，旨在解决具有高维稀疏性的业务场景中面临的问题。XDL 针对阿里妈妈业务数据高维稀疏的场景特点进行了优化，自 2016 年下半年开始逐步部署到阿里妈妈的业务系统，至 2017 年初全面完成了生产化。以阿里妈妈定向广告为例，XDL 框架助力了业务场景所有核心算法的深度学习创新，当年，以 XDL 为基础的深度学习算法升级带来的广告收入提升超过百亿。

高维稀疏性既是阿里妈妈业务场景的重要特征，也是互联网的众多核心应用场景（如广告 / 推荐 / 搜索等）的特征，覆盖了大多数互联网企业的数据应用模式。对于难以与 BAT 研发能力比肩的众多互联网公司而言，工业级深度学习框架 XDL 及内置算法方案的开源，将助力各大公司的技术升级，大大提升广告 / 推荐 / 搜索场景的精准性，缩短技术迭代周期。

不仅是广告场景，互联网其它的核心场景如推荐、搜索等，也具有典型的高维稀疏数据特性，例如微博、抖音、今日头条等都属于该范畴内。因此，XDL 在这些场景中也具有非常高的通用性，这为开源提供了基础。不管是以广告、推荐、搜索为代表业务的企业级用户，还是对此感兴趣的个人用户，都可以加入到开源计划当中。

值得一提的是，在阿里巴巴 XDL 开源之前，业界的深度学习开源框架基本是面向图像、语音处理等场景数据而设计，这与整个人工智能领域的研究重点有关，图像和语音是率先取得理论突破的场景，但在工业级互联网场景中实现大突破还属首次。

开放与易用性

据阿里妈妈透露，XDL 框架从设计之初，就具备了足够的开放性和易用性，开源是水到渠成的一步。

XDL 创造性地采用了桥接的架构（Bridging）设计理念，重点打造面向工业级应用的分布式规模能力，单机能够处理的计算则引用现有开源框架。这种桥接的架构，使得 XDL 跟业界的开源社区是无缝对接的，例如用户可以非常方便地在 XDL 框架上应用基于 Tensorflow 或者 Pytorch 编写的最先进开源深度学习算法。

此外，对于已经在使用其它开源框架的企业或者个人用户，也可以在原有系统基础上轻松进行扩展，获得 XDL 带来的高维稀疏数据场景下的分布式能力。

系统化解决方案将分批发布

除了核心的 XDL 训练框架外，阿里妈妈透露将全面开源面向高维稀疏数据场景的系统化解决方案，计划分批次对外发布，包括面向在线实时服务的高性能深度学习预估引擎、面向全库实时检索的全新深度学习匹配引擎；同时还内置阿里妈妈自主研发的一系列创新算法，涉及 CTR 预估模型、CVR 预估模型、匹配召回模型、模型压缩训练算法等。

 
 
 
 
 

zzXDL的更多相关文章

随机推荐

  1. mysql 的基本命令

    引子:Excel 最简单的数据库 Mysql:属于大型数据库 一.基本命令: 启动服务: 说明: 以管理员身份运行cmd 格式: net start 服务名称 实例: net start mysql ...

  2. ASP.NET开发实战——（十一）ASP.NET MVC 与数据库之EntityFramework配置与连接字符串

    前几篇文章中介绍了如何使用Entity Framework来操作数据库,但是对EF的配置.连接字符串的指定仍然存在一些疑问,EF可以通过两种方式来实现配置,分别是代码方式和配置文件. 本章将通过以下几 ...

  3. ILRuntime 学习

    ILRuntime: https://github.com/Ourpalm/ILRuntime Demo: https://github.com/Ourpalm/ILRuntimeU3D 中文在线文档 ...

  4. JavaScript查找两个数组的相同元素和相差元素

    let intersection = a.filter(v => b.includes(v)) 返回交集数组 let difference = a.concat(b).filter(v => ...

  5. github README.md创建不了

    在项目主页上,点击‘Add a README’按钮,如下图: 进入编辑界面,编辑好内容后,提交按钮的状态为灰化不可点击,如下图: 不知道为什么会出现这种情况,但是我无意中点击了Ctrl+Enter竟然 ...

  6. Java 基础系列：不变性

    1.1 定义 不可变类(Immutable Objects):当类的实例一经创建,其内容便不可改变,即无法修改其成员变量. 可变类(Mutable Objects):类的实例创建后,可以修改其内容. ...

  7. c# lock 锁

    lock语句 lock 语句获取给定对象的互斥 lock,执行语句块,然后释放 lock. 持有 lock 时,持有 lock 的线程可以再次获取并释放 lock. 阻止任何其他线程获取 lock 并 ...

  8. 被“org.springframework.boot.web.support.SpringBootServletInitializer;”耽搁的两天

    org.springframework.boot.web.support.SpringBootServletInitializer 改为: org.springframework.boot.conte ...

  9. 机器学习（十）-------- 降维(Dimensionality Reduction)

    降维(Dimensionality Reduction) 降维的目的:1 数据压缩 这个是二维降一维 三维降二维就是落在一个平面上. 2 数据可视化 降维的算法只负责减少维数,新产生的特征的意义就必须 ...

  10. 《 .NET并发编程实战》实战习题集 - 5 - 并发查找等待算法

    先发表生成URL以印在书里面.等书籍正式出版销售后会公开内容.