Big Data架构师技能图谱
大数据通用处理平台
- Spark
- Flink
- Hadoop
分布式存储
HDFS
资源调度
Yarn
Mesos
机器学习工具
- Spark Mlib
- TensorFlow (Google 系)
- Amazon Machine Learning
- DMTK (微软分布式机器学习工具)
数据分析/数据仓库(SQL类)
- Pig
- Hive
- kylin
- Spark SQL,
- Spark DataFrame
- Impala
- Phoenix
- ELK
8.1 ElasticSearch
8.2Logstash
8.3Kibana
消息队列
- Kafka(纯日志类,大吞吐量)
- RocketMQ
- ZeroMQ
- ActiveMQ
- RabbitMQ
流式计算
- Storm/JStorm
- Spark Streaming
- Flink
日志收集
Scribe
Flume
编程语言
- Java
- Python
- R
- Ruby
- Scala
数据分析挖掘
MATLAB
SPSS
SAS
数据可视化
- R
- D3.js
- ECharts
- Excle
- Python
机器学习
机器学习基础
- 聚类
- 时间序列
- 推荐系统
- 回归分析
- 文本挖掘
- 决策树
- 支持向量机
- 贝叶斯分类
- 神经网络
机器学习工具
- Mahout
- Spark Mlib
- TensorFlow (Google 系)
- Amazon Machine Learning
- DMTK (微软分布式机器学习工具)
算法
一致性
- paxos
- raft
- gossip
数据结构
- 栈,队列,链表
- 散列表
- 二叉树,红黑树,B树
- 图
常用算法
1.排序
插入排序
桶排序
堆排序
2.快速排序
3,最大子数组
4.最长公共子序列
5.最小生成树
最短路径
6.矩阵的存储和运算
云计算
云服务
- SaaS
- PaaS
- IaaS
- Openstack
- Docker
End.
转自:http://www.36dsj.com/archives/4520
来源:http://www.ha97.com/5734.html
Big Data架构师技能图谱的更多相关文章
- Android 架构师技能图谱
# Android 架构师技能图谱 ## 架构与设计 - 设计模式 - 重构 - 技术选型 - 特性 - 可用性 - 性能 - 包大小 - 方法数 - 文档 - 技术支持 - UI架构模式 - MVC ...
- 架构师技能图谱 V1.2
系统架构能力 基本理论 扩展性设计 可用性设计 可靠性设计 一致性设计 负载均衡设计 过载保护设计 灾难恢复和备份 协议设计 二进制协议 文本协议 接入层架构设计 DNS 轮询 动静态分离 静态化 反 ...
- Android 架构师技能图谱(转载)
架构与设计 设计模式 重构 技术选型 特性 可用性 性能 包大小 方法数 文档 技术支持 UI架构模式 MVC MVP MVVM 研发工具 集成开发环境 Android Studio Sublime ...
- .NET架构师技能体系
.NET架构师应该掌握什么样的技术?其实这个问题很简单,去看看招聘.NET架构师的公司的职位要求就知道了.比如:http://www.cnblogs.com/guwei4037/p/5615471.h ...
- 软件系统分析师与架构师技能大PK(您具备了哪些呢?)
博客转处:http://blog.csdn.net/china_video_expert/article/details/38335613 软件系统分析师与架构师在职责与技能方面没有明显的界线,你中有 ...
- Java架构师技能发展脑图
图中还有好多东西不会,先把图保存好,逐项击破
- 谈谈.NET架构师面试及如何设计面试题
上星期:应老东家的要求,帮其面试.NET架构师. 于是:老东家进行了一星期的简历收集: 终于:在一堆简历里,精挑细选了四个: 约了:周末上午下午各两个. 面试者年龄:在30-35岁左右,差不多10年. ...
- linux架构师之路!
目录 1.shell编程总结 2.python编程总结 3.网络基础总结 4.存储的基本知识 5.linux常用 架构学习目录 1.网站架构 2.架构师技术图谱 3.python之路 4.IBM技术主 ...
- 34张史上最全IT架构师技术知识图谱 最新下载
本文是笔者多年来积累和收集的知识技能图谱,小编极力推荐分享给身边的技术人儿,希望这份技术知识图谱能够帮助到每一位奋斗在技术路上的小伙伴. 下面是笔者多年来积累和收集的知识技能图谱,有的是笔者原创总结的 ...
随机推荐
- Simple But Useful Samples About 'grep' Command(简单实用的grep 命令)
Do the following: grep -rnw '/path/to/somewhere/' -e "pattern" -r or -R is recursive, -n i ...
- 如何使用Android中的OpenGL ES媒体效果
引自:http://www.2cto.com/kf/201506/404366.html Android的媒体效果框架允许开发者可以很容易的应用多种令人印象深刻的视觉效果到照片或视频之上.作为这个媒体 ...
- UITabBarItem's appearance
1.我们知道,用tabBarController创建出来默认的tabBar似这个样子滴... -----------------我是图片分割线----------------------------- ...
- SSH整合中为获取表单对象Action类实现的接口及拦截器配置
保存员工或者用户信息时,以员工为例,是通过表单收集信息的,需要把这些信息赋给一个对象,然后保存到数据库中.对应的Action类须实现Preparable接口及ModelDriven接口,且在Actio ...
- Keychain 浅析
什么是Keychain? 根据苹果的介绍,iOS设备中的Keychain是一个安全的存储容器,可以用来为不同应用保存敏感信息比如用户名,密码,网络密码,认证令牌.苹果自己用keychain来保存Wi- ...
- Course
Coursera计算机专业课程列表 巴黎中央理工学院人工视觉中的离散推理和学习 教授 Nikos Paragios & Pawan Kumar Jan 10th 2014 8 ...
- [转]使用Openssl的AES加密算法
转自:http://www.thinkemb.com/wordpress/?p=18 参考:http://blog.csdn.net/shuanyancao/article/details/89859 ...
- Python -- Web -- 使用框架
Python的web框架有很多: Flask,Django,Zope2,Web.py,Web2py,Pyramid,Bottle, Tornado... Flask 轻量级,比较简单 from fla ...
- 转:loadrunner经典面试题
在LoadRunner中为什么要设置思考时间和pacing 答: 录制时记录的是客户端和服务端的交互,如果要精确模拟 用户的行为,那么客户操作客户端时花费了很多时间要怎么模拟呢?录入 填写提交的内容, ...
- git 管理多个私钥
.ssh/config文件: host imspring hostname 182.92.153.2 IdentityFile ~/.ssh/id_rsa port 22