Skip to content

Commit 23c3ed8

Browse files
committed
new doc
1 parent cd626df commit 23c3ed8

File tree

3 files changed

+27
-13
lines changed

3 files changed

+27
-13
lines changed

201707/20170706_01.md

Lines changed: 27 additions & 13 deletions
Original file line numberDiff line numberDiff line change
@@ -7,7 +7,7 @@ digoal
77
2017-07-06
88

99
### 标签
10-
PostgreSQL , confluent , bottledwater-pg , mq , kafka , 数据流动
10+
PostgreSQL , confluent , bottledwater-pg , mq , kafka , 数据流动
1111

1212
----
1313

@@ -37,7 +37,8 @@ http://baike.baidu.com/item/%E6%B2%B3%E6%B5%81%E6%96%87%E5%8C%96/3895706
3737

3838
那么如何让数据流动起来呢?
3939

40-
## 从源头说起
40+
## 河流形态 1 - 流式
41+
### 从源头说起
4142

4243
水的源头通常发源自大的山脉和冰川,例如长江源(三江源之一):即长江的源头、也即通天河的几个源头,在青藏高原腹地昆仑山脉和唐古拉山脉之间。
4344

@@ -55,9 +56,9 @@ http://baike.baidu.com/item/%E6%B2%B3%E6%B5%81%E6%96%87%E5%8C%96/3895706
5556

5657
confluent是一个开源的数据流平台。
5758

58-
http://docs.confluent.io/current/
59+
http://docs.confluent.io/current/
5960

60-
## PostgreSQL 河流的形成
61+
### PostgreSQL 河流的形成
6162

6263
![pic](20170706_01_pic_003.png)
6364

@@ -75,20 +76,20 @@ PS:
7576

7677
当搬运工不在需要时,记得在PG数据库中删除对应的SLOT(例如 select pg_drop_replication_slot('bottledwater');)。
7778

78-
### 其他数据库河流的形成
79+
#### 其他数据库河流的形成
7980
与PG类似。
8081

81-
## 应用案例 - 河流生态
82+
### 应用案例 - 河流生态
8283

83-
### 1 数据实时汇聚和分析
84+
#### 1 数据实时汇聚和分析
8485
例如业务有多个OLTP数据库(例如本文提到的PostgreSQL、MySQL等),通过本文提到的方法,可以将数据实时的写入到分析型的数据库(例如RDS PostgreSQL, HybridDB for PostgreSQL)。
8586

8687
分析人员可以在分析库中看到延迟较低的在线业务产生的数据。
8788

88-
### 2 流计算
89+
#### 2 流计算
8990
通过本文提到的方法,将数据实时从OLTP数据库流出,并流入流计算业务数据库(例如 pipelineDB),实现数据的实时预警、实时流式计算等。
9091

91-
### 3 实时索引
92+
#### 3 实时索引
9293
将流出的数据,实时写入全文检索软件(例如ES),并实时的创建全文索引。
9394

9495
PS:PostgreSQL数据库本身还提供了FDW或UDF接口,也可以实现实时的对接ES全文检索。
@@ -99,16 +100,29 @@ PS:PostgreSQL数据库本身还提供了FDW或UDF接口,也可以实现实
99100

100101
[《PostgreSQL 行级 全文检索》](../201604/20160419_01.md)
101102

102-
### 4 实时缓存
103+
#### 4 实时缓存
103104
使用本文提到的方法,我们可以将数据实时的在缓存系统进行回放,实时的更新缓存。
104105

105-
更多用法,等你来发掘。
106-
106+
流式河流的形态,用户可以使用河流中的数据,但是用完就消失了,你无法对它进行重复享用。因此我们再介绍一种形态,蓄式河流。
107+
108+
## 河流形态 2 - 蓄式
109+
蓄式河流,数据会永久的存在于河流中,供给生态业务共享使用,阿里云的OSS对象存储是一个海量的蓄式河流。
110+
111+
用户可以将数据(不管什么类型的数据)写入OSS,对接数据消费者,例如阿里云RDS PostgreSQL, 阿里云HybridDB for PostgreSQL,通过FDW对接OSS,对数据进行分析和使用。
112+
113+
PostgreSQL 具备强大的OLTP能力,同时具备透明读写OSS的能力,是蓄式河流生态中数据处理非常重要的角色。业务方可以将它作为数据分析、在线事务处理的数据库。
114+
115+
HybridDB for PostgreSQL ,具备PG功能的同时,还具备了横向扩展能力,是面向OLAP设计的一款产品,分析能力卓越。业务方可以将其作为蓄式河流生态中的数据分析角色。
116+
117+
![pic](20170706_01_pic_004.jpg)
118+
119+
![pic](20170706_01_pic_005.jpg)
120+
107121
## 参考
108122

109123
http://docs.confluent.io/current/
110124

111125
https://github.com/confluentinc/bottledwater-pg
112126

113-
https://www.confluent.io/blog/bottled-water-real-time-integration-of-postgresql-and-kafka/
127+
https://www.confluent.io/blog/bottled-water-real-time-integration-of-postgresql-and-kafka/
114128

201707/20170706_01_pic_004.jpg

109 KB
Loading

201707/20170706_01_pic_005.jpg

106 KB
Loading

0 commit comments

Comments
 (0)