阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要:MapReduce是Hadoop的核心,是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算.概念"Map(映射)"和"Reduce(化简)",及他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性. 本文分享自华为云社区<[云小课]EI第…

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要:欢迎来到DGC数据开发的世界,花十分钟跟着云小课一起学习云数据开发.本文主要介绍DGC数据开发的基本概念.优势.应用场景及数据开发的示例,帮助您快速掌握智能数据开发. 本文分享自华为云社区<[云小课]EI第36课 DGC数据开发之基础入门篇(10分钟扫盲)>,原文作者:阅识风云 DGC数据开发简介 数据湖治理中心…

阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要:购买Redis实例时,实例类型有单机.主备.Proxy集群.Cluster集群和读写分离这么多种,该怎么选?别担心,本篇云小课把每个Redis实例类型的特点优势给您一一道来. 本文分享自华为云社区<[云小课]应用平台第40课 云小课教您如何选择Redis实例类型>,作者: 阅识风云. 购买Redis实例时,实例类型…

spark streaming中维护kafka偏移量到外部介质 以kafka偏移量维护到redis为例. redis存储格式 使用的数据结构为string,其中key为topic:partition,value为offset. 例如bobo这个topic下有3个分区,则key-value结构如下: bobo:0的偏移量为x bobo:1的偏移量为y bobo:2的偏移量为z 消费时指定offset 主要是如下两个方法: createKafkaStream()创建kakfa流 getOffsets…

spark是迭代式的内存计算框架,具有很好的高可用性.sparkStreaming作为其模块之一,常被用于进行实时的流式计算.实时的流式处理系统必须是7*24运行的,同时可以从各种各样的系统错误中恢复. 在实际使用中,容错和数据无丢失显得尤为重要.最近看了官网和一些博文,整理了一下对Spark Streaming的容错和数据无丢失机制. checkPoint机制可保证其容错性.spark中的WAL用来改进恢复机制,保证数据的无丢失. checkPoint机制介绍 Spark Streaming需…

Intro 这篇是对一个Spark (Streaming)作业的log进行分析.用来加深对Spark application运行过程,优化空间的各种理解. Here to Start 从我这个初学者写得一个Spark Streaming程序开始... package com.wttttt.spark /** * Created with IntelliJ IDEA. * Description: * Author: wttttt * Github: https://github.com/wttt…

spark streaming从指定offset处消费Kafka数据 -- : 770人阅读 评论() 收藏 举报 分类: spark() 原文地址:http://blog.csdn.net/high2011/article/details/53706446 首先很感谢原文作者,看到这篇文章我少走了很多弯路,转载此文章是为了保留一份供复习用,请大家支持原作者,移步到上面的连接去看,谢谢 一.情景:当Spark streaming程序意外退出时,数据仍然再往Kafka中推送,然而由于Kafka默认…

摘要:搬迁本地数据至OBS,包括OBS工具方式.CDM方式.DES磁盘方式.DES Teleport方式和云专线方式,每种方式特点不同,本节课我们就一起看看有什么区别. 已有的业务数据可能保存在本地的自建存储服务器上,也有可能保存在第三方云厂商中,可能大家首要面临的问题就是还不清楚如何将自己的业务数据搬迁至OBS.华为云OBS提供全场景的数据迁移解决方案,满足从离线到在线,从云下到云上,从友商云到华为云,从GB级到EB级的数据迁移需求,实现“企业数据迁移零门槛”.前面小课已经为大家介绍迁移第三方…

摘要:本文带你了解网络云产品和相关的知识内容. 华为云网络服务大家族提供了丰富的云产品,可以满足用户的各种网络互联需求.相应地,华为云帮助中心也贴心的奉上了你想了解的所有网络云产品知识. 可是小课最近收到很多同学反馈,网络服务帮助文档虽然全面,但是对于一些文档中提到的网络基础概念却似懂非懂,影响对产品的理解及使用. 为此,小课搜集了一箩筐的网络知识,供大家学习参考~ IP地址 当我们搭建一套网络环境的时候,我们首先要根据业务需求进行一下规划,要考虑把环境搭建在哪个网段,搭建的网络环境怎么连接到I…

摘要:本篇主要分享IPv4与IPv6的区别和IPv6的应用场景,助您快速理解华为云IPv6双栈及IPv6 EIP. IPv6的由来 上节课我们讲了公网IP与私网IP,了解了IP地址的一些知识. 我们一般常见的IP地址,例如:192.168.0.1,这种由32位二进制数值组成的IP地址,属于IPv4地址.IPv4即第四代互联网协议.过去几十年来世界互联网用户一直使用的是IPv4,地址数量是2^32,大约43亿个,看起来好像非常多.随着物联网.移动互联网.5G等技术的发展,不久的将来,人与人.人与物…