Skip to content

Commit 1d4f413

Browse files
digoaldigoal
committed
new doc
1 parent 1d257f3 commit 1d4f413

16 files changed

+1022
-0
lines changed

‎197001/20190123_04.md‎

Lines changed: 39 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,39 @@
1+
## 监测数据 - 基于规则(拐点、爆点)动态调整监测粒度 - 动作、分析、可视化
2+
3+
### 作者
4+
digoal
5+
6+
### 日期
7+
2019-01-23
8+
9+
### 标签
10+
PostgreSQL , 拐点 , 捕获 , 分析 , 记录 , 可视化
11+
12+
----
13+
14+
## 背景
15+
在数据库管理过程中，经常会遇到这样的窘境，过去数据库可能出现过一些负载异常，当需要去排查时，可能无法得到当时数据库系统到底发生了什么？
16+
17+
为了解决这个问题，我们通常会不管三七二十一，把所有数据都采集下来，为了得到一个小概率事件的原因，需要作出较大的牺牲（通常采集大量明细数据，会损耗性能）。
18+
19+
那么有没有其他方法？
20+
21+
## 动态调整采集粒度
22+
23+
监测数据，定义规则，当触发规则时，执行对应行动。
24+
25+
例如：
26+
27+
当负载超过指定阈值时，采集更多明细（当前执行SQL，连接数，锁等待，等等）。
28+
29+
在可视化过程中，可以对于这类触发了阈值的点，鼠标移过去，可以进行二级展示。
30+
31+
32+
<a rel="nofollow" href="http://info.flagcounter.com/h9V1" ><img src="http://s03.flagcounter.com/count/h9V1/bg_FFFFFF/txt_000000/border_CCCCCC/columns_2/maxflags_12/viewers_0/labels_0/pageviews_0/flags_0/" alt="Flag Counter" border="0" ></a>
33+
34+
35+
## [digoal's 大量PostgreSQL文章入口](https://github.com/digoal/blog/blob/master/README.md "22709685feb7cab07d30f30387f0a9ae")
36+
37+
38+
## [免费领取阿里云RDS PostgreSQL实例、ECS虚拟机](https://free.aliyun.com/ "57258f76c37864c6e6d23383d05714ea")
39+

‎197001/readme.md‎

Lines changed: 1 addition & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -2,6 +2,7 @@
22

33
### 文章列表
44
----
5+
##### 20190123_04.md [《监测数据 - 基于规则(拐点、爆点)动态调整监测粒度 - 动作、分析、可视化》](20190123_04.md)
56
##### 20190122_05.md [《流量交换、利益交换、供需交换 - 裂变、流量推广行为思考》](20190122_05.md)
67
##### 20190122_04.md [《如何树立产品FLAG》](20190122_04.md)
78
##### 20190122_03.md [《产品竞争力差异化思考》](20190122_03.md)

‎201901/20190120_03.md‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -12,6 +12,8 @@ PostgreSQL , 恢复 , 时间点恢复 , PITR , restore_command , recovery.conf ,
1212
----
1313

1414
## 背景
15+
政治正确非常重要，对于数据库来说亦如此，一个基于流复制的HA架构的集群，如果还有一堆只读节点，当HA集群发生了主备切换后，这些只读节点能否与新的主节点保持同步关系（类似与政治正确），很重要。
16+
1517
基于流复制的主从库模式，主库和从库都可以归档WAL日志。如果使用的是异步复制，主库和从库可能存在一定的WAL差异，如果从库激活，会启用新的时间线。
1618

1719
意味着老的时间线上的WAL并没有全部同步到新的主库新的时间线上。归档也会存在差异。

‎201901/20190123_03.md‎

Lines changed: 118 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,118 @@
1+
## 产品经理应该关注哪些数据 - 分析哪些要素
2+
3+
### 作者
4+
digoal
5+
6+
### 日期
7+
2019-01-23
8+
9+
### 标签
10+
PostgreSQL , 产品经理 , 财务数据
11+
12+
----
13+
14+
## 背景
15+
16+
## 数据
17+
大盘（基础产品（例如ECS、CDN、OSS））
18+
19+
单一产品
20+
21+
### 已上云客户
22+
一级：区分全球、公有云、专有云、行业云（新零售、物流、政府、金融、。。。。。。）。
23+
24+
二级：GAAP, cash。
25+
26+
三级：月、年。
27+
28+
四级：
29+
30+
总消费
31+
32+
TOP 10 客户（客户区分最终、ISV、分销商）消费，占比
33+
34+
TOP 10 客户总消费 占比
35+
36+
客户行业分布，每个行业消费占比
37+
38+
客户区域分布，每个区域消费占比
39+
40+
行业、区域、全局，RDS与ECS自建的交叉比
41+
42+
客户数，区域、行业、全局维度
43+
44+
实例数，区域、行业、全局维度
45+
46+
规格，行业、全局维度
47+
48+
行业增长，增速，预计下月营收
49+
50+
区域增长，增速，预计下月营收
51+
52+
总消费增长，增速，预计下月营收
53+
54+
TOP 10客户月增长，增速，预计下月营收
55+
56+
57+
### 云上客户技术指标
58+
qps (总、单实例、行业、区域)
59+
60+
tps (总、单实例、行业、区域)
61+
62+
查询影响行数 (总、单实例、行业、区域)
63+
64+
插入影响行数 (总、单实例、行业、区域)
65+
66+
更新影响行数 (总、单实例、行业、区域)
67+
68+
删除影响行数 (总、单实例、行业、区域)
69+
70+
数据文件存储容量 (总、单实例、行业、区域)
71+
72+
归档日志存储容量 (总、单实例、行业、区域)
73+
74+
备份存储容量 (总、单实例、行业、区域)
75+
76+
网络流量 (总、单实例、行业、区域)
77+
78+
IOPS (总、单实例、行业、区域)
79+
80+
CPU
81+
82+
主机数
83+
84+
实例数 (总、行业、区域)
85+
86+
只读节点数 (总、行业、区域) (总占比、行业占比、区域占比)
87+
88+
### 未上云客户
89+
90+
### ISV
91+
92+
### 渠道
93+
94+
## 分析原因
95+
96+
拐点，涨，跌，运营事件分析，舆情分析，事件分析，滞后分析，形势分析。
97+
98+
区域
99+
100+
行业
101+
102+
客户
103+
104+
ISV
105+
106+
渠道
107+
108+
较大ECS自建群体（区域、行业、客户、ISV）
109+
110+
111+
<a rel="nofollow" href="http://info.flagcounter.com/h9V1" ><img src="http://s03.flagcounter.com/count/h9V1/bg_FFFFFF/txt_000000/border_CCCCCC/columns_2/maxflags_12/viewers_0/labels_0/pageviews_0/flags_0/" alt="Flag Counter" border="0" ></a>
112+
113+
114+
## [digoal's 大量PostgreSQL文章入口](https://github.com/digoal/blog/blob/master/README.md "22709685feb7cab07d30f30387f0a9ae")
115+
116+
117+
## [免费领取阿里云RDS PostgreSQL实例、ECS虚拟机](https://free.aliyun.com/ "57258f76c37864c6e6d23383d05714ea")
118+

‎201901/20190125_01.md‎

Lines changed: 80 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,80 @@
1+
## 阿里云RDS PG 10 HA版 - 使用postgres_fdw外部表插件 - 实例内跨库访问其他库的表
2+
3+
### 作者
4+
digoal
5+
6+
### 日期
7+
2019-01-25
8+
9+
### 标签
10+
PostgreSQL , postgres_fdw , 阿里云 , 内核安全限制
11+
12+
----
13+
14+
## 背景
15+
阿里云rds pg内核安全上做了限制，只能访问当前实例的其他库，所以使用dblink, postgres_fdw时，虽然PG功能上是可以访问其他远程实例的，但是阿里云RDS PG限制了只能访问当前实例。
16+
17+
另一方面，当前实例是HA版本，并且是云化版本，所以IP，PORT都可能在发生迁移、切换后发生变化。因此为了能够让用户使用dblink, postgres_fdw访问本实例的其他跨库资源，内核上做了hack。port, host, hostaddr都不允许指定。
18+
19+
通过DBLINK创建视图也是一样的道理。
20+
21+
## 用法举例
22+
23+
1 创建postgres_fdw
24+
25+
```
26+
create extension postgres_fdw;
27+
```
28+
29+
2 创建外部server
30+
31+
```
32+
drop SERVER foreign_server cascade;
33+
34+
CREATE SERVER foreign_server
35+
FOREIGN DATA WRAPPER postgres_fdw
36+
OPTIONS ( dbname 'pgbi_hf'); -- 正常来说这里要指定host port，RDS PG 10 高可用版本，不需要指定
37+
```
38+
39+
3 为当前用户匹配创建好的外部server
40+
41+
```
42+
CREATE USER MAPPING FOR 本地数据库用户
43+
SERVER foreign_server
44+
OPTIONS (user 'xxx', password 'xxx');
45+
```
46+
47+
4 创建外部表
48+
49+
```
50+
CREATE FOREIGN TABLE xxx (
51+
c1 varchar(40),
52+
c2 varchar(200)
53+
)
54+
SERVER foreign_server
55+
OPTIONS (schema_name 'xxx', table_name 'xxx');
56+
```
57+
58+
5 可以将外部server上指定的schema里面的所有表，一次性映射到本地的某个指定SCHEMA里面
59+
60+
```
61+
import foreign schema remote_schema1 from server foreign_server INTO local_schema1;
62+
```
63+
64+
65+
66+
## 参考
67+
68+
[《阿里云rds PG, PPAS PostgreSQL 同实例，跨库数据传输、访问(postgres_fdw 外部表)》](../201901/20190111_02.md)
69+
70+
71+
72+
73+
<a rel="nofollow" href="http://info.flagcounter.com/h9V1" ><img src="http://s03.flagcounter.com/count/h9V1/bg_FFFFFF/txt_000000/border_CCCCCC/columns_2/maxflags_12/viewers_0/labels_0/pageviews_0/flags_0/" alt="Flag Counter" border="0" ></a>
74+
75+
76+
## [digoal's 大量PostgreSQL文章入口](https://github.com/digoal/blog/blob/master/README.md "22709685feb7cab07d30f30387f0a9ae")
77+
78+
79+
## [免费领取阿里云RDS PostgreSQL实例、ECS虚拟机](https://free.aliyun.com/ "57258f76c37864c6e6d23383d05714ea")
80+

0 commit comments

Comments
 (0)