解决OLAP系统数据时效性问题的两种思路

解决OLAP系统数据时效性问题的两种思路

Content #

OLAP和OLTP通过ETL来衔接 体系的主要问题就是 OLAP 系统的数据时效性, T+1 太慢了。进入大数据时代后,商业决策更加注重数据的支撑,而且数据分析也不断向一线操作渗透,这都要求 OLAP 系统更快速地反映业务的变化。

两种解决思路 #

  1. 用准实时数据计算替代原有批量 ETL 过程,重建 OLAP 体系; Kappa架构

  2. 弱化甚至是干脆拿掉 OLAP,直接在 OLTP 系统内扩展,也就是 HTAP。

HTAP(Hybrid Transaction/Analytical Processing)就是混合事务分析处理。

它打破了 OLTP 和 OLAP 之间的隔阂,在一个数据库系统中同时支持事务型数据库场景和分析型数据库场景。这个构想非常美妙,HTAP 可以省去繁琐的 ETL 操作,避免批量处理造成的滞后,更快地对最新数据进行分析。

Viewpoints #

From #

18 | HTAP是不是赢者通吃的游戏?