…

…

…

…

…

…

…

1 大数据概述 大数据特性:4v volume velocity variety value 即大量化.快速化.多样化.价值密度低 数据量大:大数据摩尔定律 快速化:从数据的生成到消耗,时间窗口小,可用于生成决策的时间非常少:1秒定律,这和传统的数据挖掘技术有着本质区别(谷歌的dremel可以在1秒内调动上千台服务器处理PB级数据) 价值密度低,商业价值高 大数据影响: 对科学研究影响:出现科学研究第四方式数据(前三个分别是实验.理论.计算) 对思维方式影响:全样而非抽样.效率而非准确.相关而非…

简单学习云数据库系统架构(以UMP系统为例) 一.UMP系统概述 低成本和高性能的MySQL云数据库方案 二.UMP系统架构 架构设计遵循以下原则: 保持单一的系统对外入口,并且为系统内部维护单一的资源池 消除单点故障,保证服务的高可用性 报站系统具有良好的可伸缩性,能够动态地增加,删除计算与储存节点 保证分配给用户的资源也是弹性可伸缩的,资源之间相互隔离,确保应用和数据安全 UMP系统中的角色包括: Controller服务器 Proxy服务器 Agent服务器 Web控制台 日志分析服务器…

在hadoop生态越来越完善的背景下,集群多用户租用的场景变得越来越普遍,多用户任务下的资源调度就显得十分关键了.比如,一个公司拥有一个几十个节点的hadoop集群,a项目组要进行一个计算任务,b项目组要计算一个任务,集群到底先执行哪个任务?如果你需要提交1000个任务呢?这些任务又是如何执行的? 为了解决上面的问题,就需要在hadoop集群中引入资源管理和任务调度的框架.这就是--Yarn. YARN的发展 Yarn在第一代的时候,框架跟hdfs差不多.一个主节点jobtracker,用来分配…