20171027_04.md

[未完待续] 情感词分析，维护社会和谐 - PostgreSQL,Greenplum文本挖掘、分析实践

作者

digoal

日期

2017-10-27

标签

PostgreSQL , Greenplum , 情感词分析 , plpython , plR , madlib , smlar , 特征向量 , 社会和谐 , 阿里云HybridDB for PostgreSQL , import package

---

背景

madlib机器学习SQL函数库

http://madlib.apache.org/

海量Python机器学习库

madlib python库 - pymadlib

https://pypi.python.org/pypi/pymadlib

http://pivotalsoftware.github.io/pymadlib/

海量R机器学习库

madlib R库 - pivotalR

https://github.com/pivotalsoftware/PivotalR

https://pivotalsoftware.github.io/gp-r/

文本挖掘并行计算

HybridDB for PG 支持文本挖掘

1、内置python

import library

plpython

https://www.postgresql.org/docs/current/static/plpython.html

2、内置R

https://github.com/postgres-plr/plr

3、内置java

https://github.com/tada/pljava

3、外置R、Python、Java

流式规则计算

UDF + trigger

情感词分析与回流

海明码

smlar

高效检索相似文本

《海量数据,海明(simhash)距离高效检索(smlar) - 阿里云RDS PosgreSQL最佳实践》

架构

数据源 -> GPDB (情感词挖掘, 生成词库, madlib, python, R), 人群透视, 贴情感标签 -> (词库,标签) RDS PG (海明码, 相似查询)

数据源 -> RDS PG (实时规则清洗, python清洗) -> 预警

PostgreSQL 许愿链接

您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.

9.9元购买3个月阿里云RDS PostgreSQL实例

PostgreSQL 解决方案集合

德哥 / digoal's github - 公益是一辈子的事.

PolarDB 学习图谱: 训练营、培训认证、在线互动实验、解决方案、生态合作、写心得拿奖品

购买PolarDB云服务折扣活动进行中, 55元起

About 德哥