大数据云计算 AI

智慧金融时代，大数据和AI如何为业务赋能

前言:宜信技术人物专访是宜信技术学院推出的系列性专题,我们邀请软件研发行业的优秀技术人,分享自己在软件研发领域的实践经验和前瞻性观点. 第一期专访我们邀请到宜信科技中心AI中台负责人王东老师,从大数据和AI赋能金融业务的角度,分享了中台.大数据.AI等软件研发趋势为业务赋能的经验与思路. 王东老师从技术视角到业务视角,在中台的落地契机.AI与大数据关系.AI和大数据技术的落地等方面提出了自己的看法. 记者:很多人将金融行业的发展划分为三个阶段:信息金融时代,主要指银行卡的出现,银行开始做集中的数…

大数据与 AI 生态中的开源技术总结

本文由云+社区发表作者:堵俊平在数据爆炸与智能革命的新时代,新的平台与应用层出不穷,开源项目推动了前沿技术和业界生态快速发展.本次分享将以技术和生态两大视角来看大数据和人工智能技术的发展,通过分析当下热门的开源产品和技术,来梳理未来的行业生态以及技术趋势. 我们今天的主题分为三块,第一是从开源的角度看技术.产品和生态,第二,我们从腾讯云大数据的角度梳理开源的实践,并跟大家分享一下我们最近一段时间或者最近一年以来我们的贡献和成果.最后会跟大家一起探讨一下开源的大数据以及AI这个生态当中的一些热…

新的一年，来看看大数据与AI的未来展望

服务端、实时、大数据、AI计算

服务端.实时.大数据.AI计算,各种各样的计算,计算机本质是什么,计算机的本质是利用compute的计算速度为人提供更优的计算结果. 所以实时也好,准实时.离线.AI本质上是两个维度,实时准实时强调计算的速度,大数据 AI强调数据量以及速度. 1.实时计算,扩量的两个方式多线程多核计算,以及多个机器.每个机器多线程多核计算. 2.大数据.AI强调数据量更多多机器进行计算,来处理多个机器计算.…

大数据和AI怎么与现代教育相结合？

大数据和AI怎么与现代教育相结合? 比尔·盖茨曾预言,"5年以后,你将可以在网上免费获取世界上最好的课程,而且这些课程比任何一个单独大学提供的课程都要好." 现在看来,虽然并不是每个网上课程都能强过大学教程,但是在线教育已经成为现实,据业内人士估算,目前中国在线教育用户数量过亿,市场规模达数千亿元,而且线上学习者也是受益良多. 不仅在线教育成为了新的风口,同时在大数据与人工智能的加持下,教育行业的相关应用正在进入深水期,现代教育的形式正在悄然改变. 大数据 AI赋能教育目前,大数据…

大数据、AI“武装”企业服务：风控、检索、安全

大数据.AI“武装”企业服务:风控.检索.安全小饭桌创业课堂2017-05-06 15:26:42阅读(127)评论(0) + - 文|吴杨可月 - - 小饭桌创业研究院出品 - 两件秘闻,将美国大数据公司Palantir从幕后推向前台—— 一是,Palantir的旗下产品在整合40年的记录及海量数据并充分挖掘之后,找到了前纳斯达克主席麦道夫“庞氏骗局”的大量确凿证据: 二是,通过其大数据挖掘能力,Palantir帮美国政府找到本拉登的老巢. 人们这才惊叹的发现,这家低调且离大众很远的公司,估…

终于有人把云计算、大数据和 AI 讲明白了

最近学习hadoop以及生态,顺便看到了这篇文章,总结的很到位,转载下. 我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会提到大数据,谈人工智能的时候也会提大数据,谈人工智能的时候也会提云计算.所以说感觉他们又相辅相成不可分割,如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系,所以有必要解释一下. 一.云计算最初是实现资源管理的灵活性我们首先来说云计算,云计算最初的目…

云计算、大数据和 AI

我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会提到大数据,谈人工智能的时候也会提大数据,谈人工智能的时候也会提云计算.所以说感觉他们又相辅相成不可分割,如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系,所以有必要解释一下. 一.云计算最初是实现资源管理的灵活性我们首先来说云计算,云计算最初的目标是对资源的管理,管理的主要是计算资源,网络资源,存储资源三个方面. 1.…

终于有人把云计算、大数据和 AI 讲明白了【深度好文】

一个执着于技术的公众号我今天要讲这三个话题,一个是云计算,一个大数据,一个人工智能,我为什么要讲这三个东西呢?因为这三个东西现在非常非常的火,它们之间好像互相有关系,一般谈云计算的时候也会提到大数据,谈人工智能的时候也会提大数据,谈人工智能的时候也会提云计算.所以说感觉他们又相辅相成不可分割,如果是非技术的人员来讲可能比较难理解说这三个之间的相互关系,所以有必要解释一下. / 云计算最初的目标 / 我们首先来说云计算.云计算最初的目标是对资源的管理,管理的主要是计算资源.网络资源.存储资源三个…

GIS-"地理空间大数据与AI的碰撞"学习笔记

1.关系人工智能>机器学习>神经网络>深度学习 2.机器学习-两个过程训练/学习过程:样本数据.学习器.模型参数测试/预测过程:预测.预测值 3.神经网络机器学习模拟人脑神经元构成神经网络学习算法数百亿的神经元,链接构成神经网络,受制于数据量和计算能力得益于大数据.云计算的发展和普及 4.深度学习极其复杂的模型.自动提取特征.海量/全样本.GPU加速传统机器学习依赖数据特征工程.人工规则 5.人工智能应用领域语音识别:Siri.小啦.小冰.智能音响........ 图像…

JMeter轻松实现大数据量AI图像识别接口测试

****************************************************************************** 本文主要介绍利用Jmeter进行AI图像识别接口测试 1.测试需求关键点分析 2.测试准备工作 3.测试过程与测试结果统计 ****************************************************************************** 一.测试需求关键点分析 1)AI图片稽查算法模型优化功能需求…

互联网,IT,大数据,机器学习,AI知识tag云

互联网基础: tcp/ip网络,linux运维,DNS,ipv6 web前端: javascript, es6, 组件化开发, vuejs, angularjs, react html5, css3,less, sass svg, canvas webpack, gulp, npm,yarn web后端: PHP, laravel, Java, Spring, Nodejs express, python flash 数据持久化: mysql, sql语言部署和运维: docker, k8s,…

Hadoop云计算大数据书籍分享

1. 推荐书名大数据云计算利器: Hadoop, The Definitive Guide, 1Ed.pdf(第1版) 大数据云计算利器: Hadoop, The Definitive Guide, 2Ed.pdf(第2版) 大数据云计算利器: Hadoop, The Definitive Guide, 3Ed.pdf(第3版) 大数据云计算利器: Hadoop, The Definitive Guide.pdf(中文版) 2.下载地址欢迎下载,请访问我的csdn资源…

大数据，物联网（Internet of Things），万物互联网（Internet of Everything），云计算，雾计算，边缘计算（Edge Computing）的区别和联系

大数据是一种规模大到在获取.存储.管理.分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模.快速的数据流转.多样的数据类型,高价值性和准确性五大特征,即5V(Volume, Velocity, Variety, Value, Veracity).大数据代表了互联网的信息层,是互联网智慧和意识产生的基础. 大数据必然无法用单台的计算机进行处理,必须采用分布式架构.它的特色在于对海量数据进行分布式数据挖掘,但它必须依托云计算的分布式处理.分布式数据库和云存储.虚拟化技术. 物…

AI加持的阿里云飞天大数据平台技术揭秘

摘要:2019云栖大会大数据&AI专场,阿里云智能计算平台事业部研究员关涛.资深专家徐晟来为我们分享<AI加持的阿里云飞天大数据平台技术揭秘>.本文主要讲了三大部分,一是原创技术优化+系统融合,打破了数据增长和成本增长的线性关系,二是从云原生大数据平台到全域云数仓,阿里开始从原生系统走入到全域系统模式,三是大数据与AI双生系统,讲如何更好的支撑AI系统以及通过AI系统来优化大数据系统. 直播回放 >>> 以下是精彩视频内容整理说到阿里巴巴大数据,不得不提到的是10年…

贾扬清谈大数据&AI发展的新挑战和新机遇

摘要:2019云栖大会大数据&AI专场,阿里巴巴高级研究员贾扬清为我们带来<大数据AI发展的新机遇和新挑战>的分享.本文主要从人工智能的概念开始讲起,谈及了深度学习的发展和模型训练,以及数据的爆发增长,着重阐述了算法.数据和算力的闭环. 直播回放 >>> 以下是精彩视频内容整理: 作为一个研究者的身份,在这么多年AI的科研工作之中,有哪些有意思的事情? 说到人工智能,从十几年前我开始做人工智能的时候,我当时认为毕业可能就失业了,我们永远不会像做数据库.系统.架构的人那…

本地 vs. 云：大数据厮杀的最终幸存者会是谁？— InfoQ专访阿里云智能通用计算平台负责人关涛

摘要: 本地大数据服务是否进入消失倒计时?云平台大数据服务最终到底会趋向多云.混合云还是单一公有云?集群规模增大,上云成本将难以承受是误区还是事实?InfoQ 将就上述问题对阿里云智能通用计算平台负责人关涛进行了专访. 一家企业什么时候会决定上云?过去,这个问题的答案可能是当企业发现需要购买新的硬件进行新一轮资本投入时,往往倾向于考虑另一种替代方案,比如云,这可能更多还是从成本方面考虑:或者,当企业出现某种弹性计算需求时,云平台是非常好的实现 IT 资源“削峰”的方案. 不同于现有技术边界的“替…

大数据之HBase

大数据之HBase数据插入优化之多线程并行插入实测案例一.引言: 上篇文章提起关于HBase插入性能优化设计到的五个参数,从参数配置的角度给大家提供了一个性能测试环境的实验代码.根据网友的反馈,基于单线程的模式实现的数据插入毕竟有限.通过个人实测,在我的虚拟机环境下,单线程插入数据的值约为4w/s.集群指标是:CPU双核1.83,虚拟机512M内存,集群部署单点模式.本文给出了基于多线程并发模式的,测试代码案例和实测结果,希望能给大家一些启示: 二.源程序: 1 import org.apac…

关于大数据时代传统商业存储的思考：中心存储 VS 分布式存储

尊重原创,转载请注明出处:http://anzhan.me ; http://blog.csdn.net/anzhsoft 今天和我们部门的老大1*1, 大家面对面沟通了一下到新的项目组的想法.而且也将我对传统商业存储在当前大数据云计算发展如火如荼的背景下,如何改进,融合交流了我的看法. 传统的商业存储,诞生于大型机,小型机时代.那时候将所有的硬盘集中的放到几个机架上,大型机通过光纤,ISCSI等高速连接到存储系统上.存储系统需要保证高并发,高IO读写速度,数据冗余备份等保护. 现在x86服务器…

DataPipeline | PayPal庞姬桦：大数据在小微企业贷款上的运用

庞姬桦女士毕业于北京大学和美国哥伦比亚大学,目前担任PayPal公司消费者风险管理总监,负责通过大数据实现对互联网金融风险的侦测.跟踪.管控和防范.在加入PayPal之前,曾任职于渣打银行(中国)和美国运通公司,具有超过15年的银行风险管理和研发丰富从业经验. 导言 DataPipeline致力于帮助企业打通内外部的各种数据,小微企业的贷款是涵盖大量内外部数据源的一个典型场景,无论是贷前.贷中还是贷后,都需要融合大量的.及时的数据以判断小微企业的经营水平.传统的做法看的是纸质的报表,近几年的做法…

为什么说LAXCUS颠覆了我的大数据使用体验

切入正题前,先做个自我介绍. 本人是从业三年的大数据小码农一枚,在帝都一家有点名气的广告公司工作,同时兼着大数据管理员的职责. 平时主要的工作是配合业务部门,做各种广告大数据计算分析工作,然后制成各种图表,提供给领导和客户,做为他们业务决策的辅助依据. 因为敏感性和安全的原因,我们的广告数据都是保存在公司自己的服务器里,而不是云上,并且做了各种隔离,防止有人盗取.大数据平台用的是目前流行的OpenStack + Hadoop谱系组合. 这套软件组合虽然时不时给我出点难题,但是好在部门里还有两位技…

大数据freestyle: 共享单车轨迹数据助力城市合理规划自行车道

编者按:近年来,异军突起的共享单车极大地解决了人们共同面临的“最后一公里”难题,然而,共享单车发展迅猛,自行车道建设却始终没有能够跟上脚步.幸运的是摩拜单车大量的轨迹数据为我们提供了一种新的思路:利用大数据和AI技术,使用一种数据驱动的方式更为合理地规划自行车道的建设. 在刚刚结束的SIGKDD 2017大会上,微软亚洲研究院城市计算组发表了一篇名为“Planning Bike Lanes based on Sharing Bikes’ Trajectories”的论文,利用摩拜自行车的轨迹大数…

互联网的大数据神话——NoSQL

本文摘抄于:<纵横大数据--云计算数据基础设施> 何小朝著 Chapter5. NewSQL--关系数据库联邦/联合 5.4.2 互联网的神话对强一致性的要求放松,是因为互联网的分布式特性,使数据一致性的要求水平不得不降低,而对于用户来说是可以接受的. 更重要的一点:知名的互联网企业,除了其业务经营与发展以外,他们同时拥有最强的.最庞大的IT研发支持体系.为了满足其业务的需要,他们都在公共开源的基础上进行了大量的研发工作:开源能满足的,就采用拿来主义,不能满足需求的,就自行研发.互联网企…

阿里巴巴大数据产品最新特性介绍--机器学习PAI

以下内容根据演讲视频以及PPT整理而成. 本次分享主要围绕以下五个方面: PAI产品简介自定义算法上传数加智能生态市场 AutoML2.0自动调参 AutoLearning自动学习一.PAI产品简介与功能发展 1. PAI-Studio 在PAI的架构图中,最下层的是PAI的计算框架和数据资源.PAI可支持MaxCompute.OSS.HDFS和NAS等多种数据资源.在数据资源和多种计算框架基础之上,诞生出了PAI的最早形态:PAI-Studio——可视化建模实验平台,Studio中包括了…

AI时代，还不了解大数据？

如果要问最近几年,IT行业哪个技术方向最火?一定属于ABC,即AI + Big Data + Cloud,也就是人工智能.大数据和云计算. 这几年,随着互联网大潮走向低谷,同时传统企业纷纷进行数字化转型,基本各个公司都在考虑如何进一步挖掘数据价值,提高企业的运营效率.在这种趋势下,大数据技术越来越重要.所以,AI时代,还不了解大数据就真的OUT了! 相比较AI和云计算,大数据的技术门槛更低一些,而且跟业务的相关性更大.我个人感觉再过几年,大数据技术将会像当前的分布式技术一样,变成一项基本的技能要…