[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答] Q1:我想问,hdfs的namenode挂了,怎么处理? 使用ZooKeeper: 使用Mesos: 使用Yarn: Q2:用python和scala区别大吗? 就代码的风格而言是不大的: 世界上也有很多人使用python开发Spark程序: 但是最为推荐的是Scala,因为Spark框架是用Scala编写的,在API方面对Scala的支持也是最好的: Q3:对几百T的数据,现在SPARK支持得如何? Spark能够非…

决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第4期互动问答分享]  Q1:Spark SQL和Shark有啥区别? Shark需要依赖于Hadoop上Hive去做SQL语句的解析和分析Spark,而SQL是主要依赖了Catalyst这个新的查询优化框架,在把SQL解析成逻辑执行计划之后,利用Catalyst包里的一些类和接口,执行了一些简单的执行计划优化,最后变成RDD的计算: Databricks表示,Shark更多是对Hive的改造,替换了Hive的物理执行引擎,因此会…

决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第3期互动问答分享] Q1: groupbykey是排好序的吗?分组排序怎么实现? groupByKey在一个由(K,V)对组成的数据集上调用,返回一个(K,Seq[V])对的数据集,所以是没有排序的: 要想分组排序,首先要使用groupByKey完成分组功能,然后使用sortWith这个函数对指完成排序实现: 完整代码如下所示: spark.textFile(...).groupByKey().map{p => val sort…

"决胜云计算大数据时代" Spark亚太研究院100期公益大讲堂 [第15期互动问答分享] Q1:AppClient和worker.master之间的关系是什么? AppClient是在StandAlone模式下SparkContext.runJob的时候在Client机器上应       用程序的代表.要完毕程序的registerApplication等功能. 当程序完毕注冊后Master会通过Akka发送消息给client来启动Driver: 在Driver中管理Task和控制Wo…

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第13期互动问答分享] Q1:tachyon+spark框架现在有很多大公司在使用吧? Yahoo!已经在长期大规模使用: 国内也有公司在使用: Q2:impala和spark sql如何选择呢? Impala已经被官方宣布“安乐死”,被官方温柔的放弃: Spark SQL是Spark的核心子框架,同时能够和图计算.机器学习框架无缝集成,强烈推荐使用! Q3:如果有程序采用流式不停往tachyon集群写数据,但tachyon内存…

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第10期互动问答分享] Q1:Spark on Yarn的运行方式是什么? Spark on Yarn的运行方式有两种:Client和Cluster模 Client模式如下所示: Cluster模式如下所示: Q2:Yarn的框架内部是如何实现的? 公开课: 上海:9月26-28日,<决胜大数据时代:Hadoop.Yarn.Spark企业级最佳实践> 北京: 10月26-28日, <决胜大数据时代:Hadoop.Yarn…

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第8期互动问答分享] Q1:spark线上用什么版本好? 建议从最低使用的Spark 1.0.0版本,Spark在1.0.0开始核心API已经稳定: 从功能的角度考虑使用最新版本的Spark 1.0.2也是非常好的,Spark 1.0.2在Spark 1.0.1的基础上做了非常多的改进: Spark 1.0.2改进参考 http://spark.apache.org/releases/spark-release-1-0-2.ht…

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第7期互动问答分享] Q1:Spark中的RDD到底是什么? RDD是Spark的核心抽象,可以把RDD看做“分布式函数编程语言”. RDD有以下核心特征: A list of partitions A function for computing each split A list of dependencies on other RDDs Optionally, a Partitioner for key-value RDD…

“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 [第6期互动问答分享] Q1:spark streaming 可以不同数据流 join吗? Spark Streaming不同的数据流可以进行join操作:       Spark Streaming is an extension of the core Spark API that allows enables high-throughput, fault-tolerant stream processing of live…

Spark亚太研究院100期公益大讲堂 [第5期互动问答分享] Q1:spark怎样支持即席,应该不是spark sql吧,是hive on spark么? Spark1.0 以前支持即席查询的技术是Shark; Spark 1.0和 Spark 1.0.1支持的即席查询技术是Spark SQL; 尚未发布的Spark 1.1开始 Spark SQL是即席查询的核心,我们期待Hive on Spark也能够支持即席查询: Q2:现在spark 1.0.0版本是支持hive on spark么,它…

Q1:Master和Driver的是同一个东西吗? 两者不是同一个东西,在Standalone模式下Master是用于集群资源管理和调度的,而Driver适用于指挥Worker上的Executor通过多线的方式处理任务的: Master位于集群的管理节点,一般和 NameNode在同一个节点上: Driver一般都位于客户机上,客户机一般都不属于集群,但是和集群在同一个网络环境下,因为客户机中的Driver要和集群中的Executor频繁的交互: Q2:Standalone和Yarn之间如何选择…

Q1:docker成熟度如何? Docker是2013年和2014年最火爆的云计算开源项目: Baidu公司是中国使用Docker最为深入和最大规模的公司,线上稳定运行数十万个Docker容器,目前已经使用Docker全面全面升级了自己的BAE,升级后的BAE无论是性能还是业务表现均超出预期: Q2:Docker与云计算OpenStack之间定位究竟有什么不同? Docker是轻量级虚拟化完整解决方案: Docker是PaaS最佳实现: Docker是基于Linux的Process Contai…

活动快速入口:https://activity.huaweicloud.com/language_speech_promotion0.html 语音交互与自然语言处理 语音交互是一种人机交互方式,以开放API的方式提供给用户,用户通过实时访问和调用API获取语音交互结果.自然语言处理是针对各类企业及开发者提供的用于文本分析及挖掘的云服务,旨在帮助用户高效的处理文本. 目前语音语义产品主要价值体现在 实现人机对话:通过自然语言处理技术,快速解析用户输入的自然语言中所表达的意图,并根据相关意图做出对…

评注: 开源的分布式监控系统 转:http://www.infoq.com/cn/articles/distributed-real-time-monitoring-and-control-system?utm_campaign=rightbar_v2&utm_source=infoq&utm_medium=articles_link&utm_content=link_text 2011年底,我加入大众点评网,出于很偶然的机会,决定开发CAT,为各个业务线打造分布式实时监控系统,C…

第一部分 Python基础篇 1:为什么学习Python 家里有在这个IT圈子里面,也想让我接触这个圈子,然后给我建议学的Python, 然后自己通过百度和向有学过Python的同学了解了Python,Python这门语言,入门比较简单, 它简单易学,生态圈比较强大,涉及的地方比较多,特别是在人工智能,和数据分析这方面.在未来我觉得是往自动化, 人工智能这方面发展的,所以学习了Python 2:通过什么途径学习Python 刚开始接触Python的时候,到网上里面跟着视频学基础,再后来网上到看技…

  WOT大数据处理技术分会场,PingCAP CTO黄东旭.易观智库CTO郭炜.Mob开发者服务平台技术副总监林荣波.宜信技术研发中心高级架构师王东及商助科技(99Click)顾问总监郑泉五位讲师,分别针对时下热门的HTAP数据库TiDB.去ETL化的IOTA架构.数据工厂架构.实时敏捷大数据理念实践.基于场景的大数据营销等话题,展开实践分享. 作者:查士加来源:51CTO 2018年5月18-19日,由51CTO主办的全球软件与运维技术峰会在北京召开.来自全球企业的技术精英汇聚北京,畅谈软件…

一.团队成员及分工 团队名称:I know 团队成员: 陈家权:选题报告word撰写 赖晓连:ppt制作,原型设计 雷晶:ppt制作,原型设计 林巧娜:原型设计,博客随笔撰写 庄加鑫:选题报告word撰写 二.选题报告内容 选题报告:戳我 PPT:再戳我 原型链接 1.选题范围与来源: 相信每个同学在上大学的时候都满怀着憧憬,却又充满着各种各样的疑问.有的时候想询问学长学姐,但是却难于开口,想百度一下,有些关于本校的问题也很难搜到. 这个时候...你就需要一款APP!对!没错!就是它!福大知道!…

一.团队成员及分工 团队名称:I know 团队成员: 陈家权:选题报告word撰写 赖晓连:ppt制作,原型设计 雷晶:ppt制作,原型设计 林巧娜:原型设计,博客随笔撰写 庄加鑫:选题报告word撰写 二.选题报告内容 选题报告:戳我 PPT:再戳我 原型链接:https://modao.cc/app/77d7efb50c0bb5f19366b67bc29777046d14605a 1.选题范围与来源: 相信每个同学在上大学的时候都满怀着憧憬,却又充满着各种各样的疑问.有的时候想询问学长学姐…

一.团队成员及分工 团队名称:I know 团队成员: 陈家权:选题报告word撰写 赖晓连:ppt制作,原型设计 雷晶:ppt制作,原型设计 林巧娜:原型设计,博客随笔撰写 庄加鑫:选题报告word撰写 二.选题报告内容 选题报告:戳我 PPT:再戳我 原型链接:https://modao.cc/app/77d7efb50c0bb5f19366b67bc29777046d14605a 1.选题范围与来源: 相信每个同学在上大学的时候都满怀着憧憬,却又充满着各种各样的疑问.有的时候想询问学长学姐…

SEM是Search Engine Marketing的缩写,中文意思是搜索引擎营销.SEM是一种新的网络营销形式.SEM所做的就是全面而有效的利用搜索引擎来进行网络营销和推广.SEM追求最高的性价比,以最小的投入,获最大的来自搜索引擎的访问量,并产生商业价值. 编辑摘要   目录 [隐藏 ] 1 概念 2 服务方式 3 搜索引擎营销(SEM)的服务流程 4 SEM概念的升级和拓展 5 营销常用方法 6 营销方法 7 营销优势 8 营销现状 9 目标层次原理 10 SEM与SEO.SMO的区别…

本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57ad7a70eaed47bb2699e68e Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了腾讯WXG Android开发工程师——张绍文,为大家分享<微信热补丁Tinker的实践演进之路>. 分享内容简介: Tinker 是微信官方的 Android 热补丁解决…

本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57a42ee6503dfcb22007ede8 Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了腾讯SNG Web前端开发工程师——吕鸣,为大家分享<H5 视频直播那些事>. 如何加入 Dev Club? 移动端开发经验 >= 2 年,微信扫描下方群管理微信二维…

本文来自于腾讯Bugly公众号(weixinBugly),未经作者同意,请勿转载,原文地址:https://mp.weixin.qq.com/s/FbiSLPxFdGqJ00WgpJ94yw 导语 精神哥前阵子去参加了好友小青在北京办的T沙龙,探讨移动端热更新相关的话题.Bugly 曾为大家介绍过不少腾讯内部的热更新的框架,正好这次看到了美团,去哪儿以及微博同学在应用热更新方面的实践. 上周为大家整理了<美团大众点评 Hybrid 化建设>,本周我们继续带来"去哪儿网 无线 iOS…

1.百度的招聘启示 如图: 下面是输出代码: if(window.console){ var cons = console; if(cons){ cons.log("%c\n ", "font-size:41px;background:url(http://cdn.iknow.bdimg.com/static/common/pkg/module_zed9cd9fd.png) no-repeat -140px -1px"); cons.log("想和我们共同…

本文来自于腾讯Bugly公众号(weixinBugly),未经作者同意,请勿转载,原文地址:http://mp.weixin.qq.com/s/rNGD6SotKoO8frmxIU8-xw 本期 T 沙龙探讨了移动端热更新相关的话题.由于沙龙时间的限制,本期我们选取了美团的 Hybrid 化建设.去哪儿的跨平台 ListView 性能优化.微博 Android 端热更新踩过的坑话题.还期待热更新.热修复哪些话题?欢迎留言给我们.也欢迎报名参加 T 沙龙分享自己开发中的心得. Hybrid 是移动…

本文来自于腾讯bugly开发者社区,未经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/581c2c46bef1702a2db3ae53 Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了 腾讯 WXG Android 高级工程师"闫国跃",为大家分享<微信mars 的高性能日志模块 xlog>. 大家好 我是来自腾讯微信的闫国跃,很荣幸…

本文来自于腾讯bugly开发者社区,未经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/581301b146dfb1456904df8d Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了 腾讯 TEG 安全平台部的张彦玲.陈秋滢.华珊珊三位嘉宾,为大家分享<腾讯验证码的十二年>. 内容简介: 验证码的诞生就是用来对抗自动机,但随着OCR技术的发展,腾讯验证…

本文来自于腾讯bugly开发者社区,未经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/5809bb47cc5e52161640c5c8 Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了 腾讯 TEG 技术工程师"文亚飞",为大家分享<深度学习在OCR中的应用>. 大家好,我是文亚飞,来自腾讯TEG,目前负责图像识别相关的工作.OCR(…

本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/58009392302e4725036142fc Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了 腾讯 SNG iOS 开发工程师"段定龙",为大家分享<QQ电话适配iOS10 Callkit框架分享>. 分享内容简介: 苹果在iOS 10开放了系…

本文来自于腾讯bugly开发者社区,非经作者同意,请勿转载,原文地址:http://dev.qq.com/topic/57d28349101cd07a5404c415 Dev Club 是一个交流移动开发技术,结交朋友,扩展人脉的社群,成员都是经过审核的移动开发工程师.每周都会举行嘉宾分享,话题讨论等活动. 本期,我们邀请了蘑菇街 Android 开发工程师——小创,为大家分享<安卓单元测试:What, Why and How>. 分享内容简介: 单元测试一直是软件开发过程中保证软件质量.提高…