toc:BigData

toc:BigData

Content #

DMP(Data Management Platform) DMP中KV数据库、数据管道和数据仓库的选型 移动计算程序到数据所在位置进行计算 MapReduce的shuffle过程 事件时间(Event Time)和处理时间(Processing Time) Lambda架构 典型的互联网大数据平台的架构 物联网大数据平台的架构

Flume #

一个Source可以对应多个Channel,一个Channel也可以对应多个Source。一个Channel可以对应多个Sink,但一个Sink只能对应一个Channel。

sub:Spark