@@ -619,22 +619,123 @@ Asynchronous notification "abcd" with payload "(28170573,010100000000608F958B86B
619619
620620这既是数据整理的魅力,将数据按查询需求归类存放,减少索引查询时HEAP IO的开销。
621621
622- ## 八、小结
623- 无人驾驶、物流配送机器人等业务的兴起,给传统的GIS数据库带来了不小的挑战。
622+ ## 八、PostgreSQL在GIS领域的其他应用
623+ PostGIS是PostgreSQL的空间数据管理插件,可以管理诸如地理位置,多维数据,栅格数据,拓扑等数据。对数据进行空间计算,叠加计算,点面查询等空间数据相关的运算。
624624
625- 1 \. 首先是数据量方面,一条6车道的道路,每平方米打10个点的话,100公里的道路,需要2.5亿个点。
625+ ![ pic ] ( ../201609/20160929_02/0006.jpg )
626626
627- 2 \. 其次是数据属性,不仅仅要存储经纬度,海拔(XYZ),可能还要存储点的材质、密度、颜色、时间等属性。不仅仅要存储单点,可能还要存储点阵,线段等等。
627+ ![ pic ] ( ../201609/20160929_02/0048.jpg )
628628
629- 3\. 最后的数据的写入,以及大批量数据的查询性能需求方面,打点时要求快速的写入,定位、自动驾驶时需要快速的获取周边的海量POINT。
629+ ![ pic] ( ../201609/20160929_02/0042.jpg )
630+
631+ ![ pic] ( 20170519_02_pic_009.jpg )
632+
633+ [ 《视觉挖掘与PostGIS空间数据库的完美邂逅 - 广告营销\圈人》] ( 201703/20170328_04.md )
634+
635+ [ 《(AR虚拟现实)红包 技术思考 - GIS与图像识别的完美结合》] ( 201701/20170113_01.md )
636+
637+ [ 《多点最优路径规划 - (商旅问题,拼车,餐饮配送,包裹配送,包裹取件,回程单)》] ( 201704/20170409_01.md )
638+
639+ [ 《聊一聊双十一背后的技术 - 物流、动态路径规划》] ( 201611/20161114_01.md )
640+
641+ ## 九、小结
642+ 无人驾驶、物流配送机器人等业务的兴起,给传统的GIS数据库带来了不小的挑战:
643+
644+ 1\. 首先是数据量方面,一条6车道的道路,每平方米打100个点的话,100公里的道路,需要2.5亿个点。
645+
646+ 2\. 其次是数据属性,不仅仅要存储经纬度,海拔(XYZ),还需要存储点的材质、密度、颜色、时间等属性。不仅仅要存储单点,还要能存储点阵,线段等等。
647+
648+ 3\. 最后的数据的写入、大批量数据的交互查询需求,要求实时响应。打点时要求快速的写入,定位、自动驾驶时需要快速的获取周边的海量POINTs。
630649
631650PostgreSQL, PostGIS, pg-grid, pgpointcloud很好的满足了这三个方面的需求。
632651
633652在优化代码前,获取附近20万个点,需1秒。需要获取更大数据量时,通过pgpointcloud、网格化聚合等优化手段来提速,获取附近20万个点仅需15毫秒; 获取附近500万个点,仅需312毫秒。
634653
654+ ![ pic] ( 20170519_02_pic_008.jpg )
655+
635656性能优化永远是没有止境的话题,加油小伙伴们,加油PostgreSQL,PostGIS, pgpointcloud。
636657
637- ## 九、参考
658+ ## 十、阿里云RDS PostgreSQL,HybridDB PostgreSQL的经典用法
659+ ### RDS PostgreSQL
660+ 负责OLTP和T+0的OLAP业务,主要体现在这几个方面
661+
662+ 1\. 性能
663+
664+ RDS PostgreSQL主要处理在线事务以及少量的准实时分析。
665+
666+ PG OLTP的性能可以参考这篇文档,性能区间属于商业数据库水准。
667+
668+ [ 《数据库界的华山论剑 tpc.org》] ( ../201701/20170125_01.md )
669+
670+ PG 的OLAP分析能力,可以参考这篇文档,其多核并行,JIT,算子复用等特性,使得PG的OLAP能力相比其他RDBMS数据库有质的提升。
671+
672+ [ 《分析加速引擎黑科技 - LLVM、列存、多核并行、算子复用 大联姻 - 一起来开启PostgreSQL的百宝箱》] ( ../201612/20161216_01.md )
673+
674+ PostgreSQL 10 在HTAP方面还有更多的增强,将于近期推出公测。
675+
676+ 2\. 功能
677+
678+ 功能是PostgreSQL的强项,详见[ 《PostgreSQL前世今生》] ( ../201609/20160929_02.md ) 。
679+
680+ 3\. 扩展能力
681+
682+ 计算能力扩展,通过增加CPU,可以扩展复杂计算的性能。
683+
684+ 存储能力扩展,通过OSS存储以及oss_fdw插件,可以扩展RDS PG的存储能力,打破存储极限。
685+
686+ 4\. 成本
687+
688+ 存储成本:由于大部分需要分离的数据都存储到OSS了,用户不再需要考虑这部分的容灾、备份问题。相比存储在数据库中,存储成本大幅降低。
689+
690+ 开发成本:RDS PG, HybridDB PG都支持丰富的SQL标准接口,访问OSS中的数据(通过TABLE接口),使用的也是SQL标准接口。节省了大量的开发成本,
691+
692+ 维护成本:使用云服务,运维成本几乎为0。
693+
694+ 5\. 覆盖行业
695+
696+ 覆盖了银行、保险、证券、物联网、互联网、游戏、天文、出行、电商、传统企业等行业。
697+
698+ ### HybridDB for PostgreSQL
699+ 1\. 性能
700+
701+ HybridDB PostgreSQL为MPP架构,OLAP方面的计算能力很强,云端已有大量 100TB 以上的用户在使用。
702+
703+ 2\. 功能
704+
705+ 与PostgreSQL一脉相承,基本和PostgreSQL的功能贴近。
706+
707+ 3\. 扩展能力
708+
709+ 计算能力扩展,通过增加计算节点数,可以扩展复杂计算的性能。
710+
711+ 存储能力扩展,通过OSS存储以及oss_fdw插件,可以扩展RDS PG的存储能力,打破存储极限。
712+
713+ 4\. 成本
714+
715+ 存储成本:由于大部分需要分离的数据都存储到OSS了,用户不再需要考虑这部分的容灾、备份问题。相比存储在数据库中,存储成本大幅降低。
716+
717+ 开发成本:RDS PG, HybridDB PG都支持丰富的SQL标准接口,访问OSS中的数据(通过TABLE接口),使用的也是SQL标准接口。节省了大量的开发成本,
718+
719+ 维护成本:使用云服务,运维成本几乎为0。
720+
721+ 5\. 覆盖行业
722+
723+ 覆盖了银行、保险、证券、物联网、互联网、游戏、天文、出行、电商、传统企业等行业。
724+
725+ ### 典型用户用法
726+ 技术栈与云端应用:
727+
728+ ![ pic] ( 20170509_02_pic_004.jpg )
729+
730+ ![ pic] ( 20170509_02_pic_009.jpg )
731+
732+ 云端存储与计算分离用法:
733+
734+ [ 《RDS PostgreSQL : 使用 oss_fdw 读写OSS对象存储》] ( https://help.aliyun.com/document_detail/44461.html )
735+
736+ [ 《HybridDB PostgreSQL : 使用 oss_fdw 读写OSS对象存储》] ( https://help.aliyun.com/document_detail/35457.html )
737+
738+ ## 十一、参考
638739http://pointclouds.org/
639740
640741http://s3.cleverelephant.ca/foss4gna2013-pointcloud.pdf
@@ -660,3 +761,7 @@ https://www.postgresql.org/docs/9.6/static/libpq.html
660761https://jdbc.postgresql.org/
661762
662763http://postgis.net/docs/manual-2.3/ST_MakeBox2D.html
764+
765+ https://www.openstreetmap.org/
766+
767+ http://opensourcegis.org/
0 commit comments