772017-07-06
88
99### 标签
10- PostgreSQL , confluent , bottledwater-pg , mq , kafka , 数据流动
10+ PostgreSQL , confluent , bottledwater-pg , mq , kafka , 数据流动
1111
1212----
1313
@@ -37,7 +37,8 @@ http://baike.baidu.com/item/%E6%B2%B3%E6%B5%81%E6%96%87%E5%8C%96/3895706
3737
3838那么如何让数据流动起来呢?
3939
40- ## 从源头说起
40+ ## 河流形态 1 - 流式
41+ ### 从源头说起
4142
4243水的源头通常发源自大的山脉和冰川,例如长江源(三江源之一):即长江的源头、也即通天河的几个源头,在青藏高原腹地昆仑山脉和唐古拉山脉之间。
4344
@@ -55,9 +56,9 @@ http://baike.baidu.com/item/%E6%B2%B3%E6%B5%81%E6%96%87%E5%8C%96/3895706
5556
5657confluent是一个开源的数据流平台。
5758
58- http://docs.confluent.io/current/
59+ http://docs.confluent.io/current/
5960
60- ## PostgreSQL 河流的形成
61+ ### PostgreSQL 河流的形成
6162
6263![ pic] ( 20170706_01_pic_003.png )
6364
7576
7677当搬运工不在需要时,记得在PG数据库中删除对应的SLOT(例如 select pg_drop_replication_slot('bottledwater');)。
7778
78- ### 其他数据库河流的形成
79+ #### 其他数据库河流的形成
7980与PG类似。
8081
81- ## 应用案例 - 河流生态
82+ ### 应用案例 - 河流生态
8283
83- ### 1 数据实时汇聚和分析
84+ #### 1 数据实时汇聚和分析
8485例如业务有多个OLTP数据库(例如本文提到的PostgreSQL、MySQL等),通过本文提到的方法,可以将数据实时的写入到分析型的数据库(例如RDS PostgreSQL, HybridDB for PostgreSQL)。
8586
8687分析人员可以在分析库中看到延迟较低的在线业务产生的数据。
8788
88- ### 2 流计算
89+ #### 2 流计算
8990通过本文提到的方法,将数据实时从OLTP数据库流出,并流入流计算业务数据库(例如 pipelineDB),实现数据的实时预警、实时流式计算等。
9091
91- ### 3 实时索引
92+ #### 3 实时索引
9293将流出的数据,实时写入全文检索软件(例如ES),并实时的创建全文索引。
9394
9495PS:PostgreSQL数据库本身还提供了FDW或UDF接口,也可以实现实时的对接ES全文检索。
@@ -99,16 +100,29 @@ PS:PostgreSQL数据库本身还提供了FDW或UDF接口,也可以实现实
99100
100101[ 《PostgreSQL 行级 全文检索》] ( ../201604/20160419_01.md )
101102
102- ### 4 实时缓存
103+ #### 4 实时缓存
103104使用本文提到的方法,我们可以将数据实时的在缓存系统进行回放,实时的更新缓存。
104105
105- 更多用法,等你来发掘。
106-
106+ 流式河流的形态,用户可以使用河流中的数据,但是用完就消失了,你无法对它进行重复享用。因此我们再介绍一种形态,蓄式河流。
107+
108+ ## 河流形态 2 - 蓄式
109+ 蓄式河流,数据会永久的存在于河流中,供给生态业务共享使用,阿里云的OSS对象存储是一个海量的蓄式河流。
110+
111+ 用户可以将数据(不管什么类型的数据)写入OSS,对接数据消费者,例如阿里云RDS PostgreSQL, 阿里云HybridDB for PostgreSQL,通过FDW对接OSS,对数据进行分析和使用。
112+
113+ PostgreSQL 具备强大的OLTP能力,同时具备透明读写OSS的能力,是蓄式河流生态中数据处理非常重要的角色。业务方可以将它作为数据分析、在线事务处理的数据库。
114+
115+ HybridDB for PostgreSQL ,具备PG功能的同时,还具备了横向扩展能力,是面向OLAP设计的一款产品,分析能力卓越。业务方可以将其作为蓄式河流生态中的数据分析角色。
116+
117+ ![ pic] ( 20170706_01_pic_004.jpg )
118+
119+ ![ pic] ( 20170706_01_pic_005.jpg )
120+
107121## 参考
108122
109123http://docs.confluent.io/current/
110124
111125https://github.com/confluentinc/bottledwater-pg
112126
113- https://www.confluent.io/blog/bottled-water-real-time-integration-of-postgresql-and-kafka/
127+ https://www.confluent.io/blog/bottled-water-real-time-integration-of-postgresql-and-kafka/
114128
0 commit comments