PostgreSQL 正则表达式短文本清洗, 去除重复字符

作者

digoal

日期

2021-07-09

背景

视频回放: https://www.bilibili.com/video/BV11q4y1p7m1/

场景:

短文本(评论、客服交互、弹幕等)字符串清洗

挑战:

语言字符处理逻辑复杂, 例如常见的词组重复、字符重复要求去除, 数字可能重复但是又不能去除

PG解决方案

正则表达式, 快速清洗数据

例子

数字: 不去重复
英文字母: 有3个以上连续词组或字符时去重
其他字符: 单个字符或词组重复时去重

例如:

贵很贵很贵很贵难道不是真的真的很贵很贵吗不贵不贵1000!!!!!aaaaa

得到:

贵很贵难道不是真的很贵吗不贵1000!a

DEMO

正则表达式:

postgres=# select regexp_replace('贵很贵很贵很贵难道不是真的真的很贵很贵吗     不贵不贵1000!!!!!aaaaa', '(\W+)\1{1,}','\1','g');     
             regexp_replace                  
-----------------------------------------    
 贵很贵难道不是真的很贵吗 不贵1000!aaaaa    
(1 row)

不知道能不能在1个表达式中完成,

postgres=# select regexp_replace('贵很贵很贵很贵难道不是真的真的很贵很贵吗     不贵不贵1000!!!!!aaaaa', '(\W+)\1{1,}|([A-Za-z_]+)\1{2,}','\1','g');    
             regexp_replace                  
-----------------------------------------    
 贵很贵难道不是真的很贵吗 不贵1000!aaaaa    
(1 row)

两次搞定

select regexp_replace(regexp_replace('贵很贵很贵很贵难道不是真的真的很贵很贵吗     不贵不贵1000!!!!!aaaaa', '(\W+)\1{1,}','\1','g'), '([A-Za-z_]+)\1{2,}','\1','g');    
    
    
贵很贵难道不是真的很贵吗 不贵1000!a

postgres=# select regexp_replace(regexp_replace('贵很贵很贵很贵难道不是真的真的很贵很贵吗     不贵不贵1000!!!!!aaaaa wordword nihaonihaonihao', '(\W+)\1{1,}','\1','g'), '([A-Za-z_]+)\1{2,}','\1','g');    
                   regexp_replace                       
----------------------------------------------------    
 贵很贵难道不是真的很贵吗 不贵1000!a wordword nihao    
(1 row)