Flink实践之去重

Flink 去重

DataStream去重-timer

DataStream-two-phase-aggregation

SQL-count-distinct

SQL-group-by-latest

基数去重

HypeLogLog基数: 一种基于概率的基数估计算法，用于高效统计大规模数据集中不重复元素的数量（基数），其核心思想是通过哈希函数和分桶策略，以极低的内存消耗（通常仅需几KB）实现近似计算。