Create 20231130_04.md

Author: digoal

202311/20231130_04.md

@@ -0,0 +1,34 @@
+## 期望未来DuckDB演变的架构方向      
+                                                                                          
+### 作者                                                                    
+digoal                                                                    
+                                                                    
+### 日期                                                                    
+2023-11-30                                                                
+                                                                    
+### 标签                                                                    
+PostgreSQL , PolarDB , duckdb , in process , cs                        
+                                                                    
+----                                                                    
+                                                                    
+## 背景    
+DuckDB发展有点快, 不确定是不是在不久的将来会支持我期待的模式.  
+
+### 现在DuckDB是in process的架构
+元数据在本地, 不能共享(但是可以read only模式attach datafile. 也就是说多个进程是可以同时只读模式打开这个datafile的. 我们可以只在datafile内保存schema定义, 实现共享metadata的目的.) 
+
+![pic](20231130_04_pic_001.jpg)
+   
+### 期望的架构
+演变成服务.  
+
+聚合代理(分发任务多duckdb, 聚合结果) - duckdb(多机的独立分布式in process计算) - metadata db(共享源数据) - s3/oss parquet(廉价远程分布式存储)  
+
+![pic](20231130_04_pic_002.jpg)
+
+就算不做这个聚合代理, 仅剥离metdata也是很有意义的.  
+
+duckdb要更加的实用, 在生态还有一个很重要的一环, 如何快速将数据源的数据导出为parquet, 并建立meta信息.  
+
+gda (generate data's agent) - data sources - 快速生成parquet并导入s3/oss, 以及对应的metadata.  
+