请选择 进入手机版 | 继续访问电脑版

【D1V1网】防未病大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
热搜: 活动 交友

社区广播台

查看: 81|回复: 0

[威客] 如何快速成为大数据开发实战专家?

[复制链接]
发表于 2017-2-25 01:17:09 | 显示全部楼层 |阅读模式


作者:诺蓝

下面是StuQ 发布的大数据工程师技能图谱(仅供参考)
大数据通用处理平台
  • Spark
  • Flink
  • Hadoop
分布式存储
HDFS
资源调度
Yarn
Mesos
机器学习工具
Mahout
  • Spark Mlib
  • TensorFlow (Google 系)
  • Amazon Machine Learning
  • DMTK (微软分布式机器学习工具)
数据分析/数据仓库(SQL类)
  • Pig
  • Hive
  • kylin
  • Spark SQL,
  • Spark DataFrame
  • Impala
  • Phoenix
  • ELK
8.1 ElasticSearch
8.2Logstash
8.3Kibana
消息队列
  • Kafka(纯日志类,大吞吐量)
  • RocketMQ
  • ZeroMQ
  • ActiveMQ
  • RabbitMQ
流式计算
  • Storm/JStorm
  • Spark Streaming
  • Flink
日志收集
Scribe
Flume
编程语言
  • Java
  • Python
  • R
  • Ruby
  • Scala
数据分析挖掘
MATLAB
SPSS
SAS
数据可视化
  • R
  • D3.js
  • ECharts
  • Excle
  • Python
机器学习机器学习基础
  • 聚类
  • 时间序列
  • 推荐系统
  • 回归分析
  • 文本挖掘
  • 决策树
  • 支持向量机
  • 贝叶斯分类
  • 神经网络
机器学习工具
  • Mahout
  • Spark Mlib
  • TensorFlow (Google 系)
  • Amazon Machine Learning
  • DMTK (微软分布式机器学习工具)
算法一致性
  • paxos
  • raft
  • gossip
数据结构
  • 栈,队列,链表
  • 散列表
  • 二叉树,红黑树,B树

常用算法1.排序
插入排序
桶排序
堆排序
2.快速排序
3,最大子数组
4.最长公共子序列
5.最小生成树
最短路径
6.矩阵的存储和运算
云计算云服务
  • SaaS
  • PaaS
  • IaaS
  • Openstack
  • Docker
End.



您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表