发布时间:2017-11-18 12:49:02编辑:丝画阁阅读(1220)
https://www.wukong.com/answer/6489291452340764942/?iid=15960040963&app=news_article&share_ansid=6489291452340764942&tt_from=mobile_qq&utm_source=mobile_qq&utm_medium=toutiao_android&utm_campaign=client_share
基本内容:
1、Linux命令基础实战
大数据架构体系结构及开源组件介绍
Linux基本操作
2、Hadoop基础
Hadoop基础,对Hadoop架构、核心组件HDFS/YARN做了深入浅出的介绍,让你快速把握Hadoop的核心技术和工作原理,逐渐形成分布式思维;
Hadoop介绍
Hadoop运行模式
3、Hadoop集群搭建
Hadoop集群搭建——安装Linux虚拟机
Hadoop集群搭建——远程连接
Hadoop集群搭建(on Linux)——Hadoop(上)
Hadoop集群搭建(on Linux)——Hadoop(下)
Hadoop集群搭建(on Mac)——Hadoop
4、HDFS原理
番外篇-课程体系
HDFS架构原理
FS Shell命令介绍及实践
5、YARN工作原理
YARN的产生背景
YARN的设计思想
YARN的基本架构
YARN的工作流程(小结)
6、Sqoop
Sqoop,作为关系型数据库与Hadoop之间的桥梁,批量传输数据,让你自然的从关系型数据库过度到Hadoop平台,在关系型数据库与Hadoop之间游刃有余的进行数据导入导出;
Sqoop & Hive课程内容介绍
Sqoop介绍与安装
Sqoop的基本使用
Sqoop 导入参数详解
Sqoop导入实战
Sqoop增量导入(上)
Sqoop增量导入(下)
Sqoop导出实战(上)
Sqoop导出实战(下)
Sqoop Job
7、Hive
Hive,基于Hadoop大数据平台的数据仓库,可以让你实现传统数据仓库中的绝大部分数据处理、统计分析,让你在Hadoop大数据平台上感受到Hive QL带来的便利的交互式查询体验;Mars将以日志分析或其他示例带大家熟练掌握Hive的应用;
Hive架构介绍(一)
Hive架构介绍(二)
Hive环境搭建(一)
Hive环境搭建(二)
Hive CLI初探
Beeline介绍
Hive数据类型
Hive表一——标准建表语句解析&内、外表
Hive表二——文件及数据格式
Hive分区&桶&倾斜概念
Hive表——Alter
Hive视图&索引简介
Hive表——show & Desc命令
Hive数据导入--load
Hive数据导入--insert
Hive分区表实战
Hive复杂数据类型的嵌套实例
Hive源码阅读环境
Hive执行原理
Hive查询优化
UDF函数实例
Hive终极实例——日志分析
(1)网站日志分析的术语、架构介绍
(2)建表及数据准备
(3)数据处理及统计分析
(4)数据采集到统计分析结果的crontab定时调度
8、HBase
HBase,列式存储数据库,提供了快速的查询方式,是Apache Kylin的默认数据存储结果;
HBase介绍及架构
HBase安装
HBase操作实战
Hive与HBase集成实战
9、Kylin
Kylin,基于Hadoop的OLAP分析引擎,在Kylin中可以实现传统OLAP的各种操作,直接读取Hive的数据或流式数据作为数据源,把这些数据根据业务模型构建成Cube,Kylin提供了基于Hadoop(MapReduce)的Cube构建,Build完成的Cube数据直接存储于HBase中。Kylin提供了Web UI供查询,包括一些图表展现,是基于大数据的完美OLAP工具;
维度建模
Kylin背景及原理架构
Kylin环境搭建
维度建模知识
Kylin Cube Build步骤解析
Kylin Cube实战
Kylin 增量Cube
Kylin 优化
10、Spark
Spark,基于内存计算的大数据计算引擎,提供了Spark SQL、Spark MLlib(基于Spark的机器学习)、SparkR等框架适应不同的应用需求,Spark专题将和大家一起实践操作各种应用和算法;
Spark集群搭建
Spark Core
Spark WordCount(Spark-shell/pyspark..)
IDEA IntelliJ搭建Spark开发环境
Spark编程实例
Spark SQL及DataFrame
Spark SQL实例
Spark Streaming
Spark Streaming实例
Spark MLlib
Spark MLlib应用实例
Spark R介绍
关键字:
上一篇:Linux-检查一下系统的安全性
下一篇:一个很好的php分词类库
本站部分内容来源网络及网友上传,本站未必能一一鉴别其是否为公共版权或其版权归属,如果您认为侵犯您的权利,本站将表示非常抱歉!
请您速联系本站,本站一经核实,立即删除。删文删帖联系【2789291421@qq.com】