🗒️基于布隆过滤器快速匹配敏感词、关键词、品牌词

type
status
slug
date
tags
summary
category
password
icon

使用

  1. 如果要和类目关联,在品牌词加表示-类目,查询的时候补上类目即可
  1. 原词要进行穷举比如 1 2 3,形成 1,2,3,12,23,123 进行匹配
  1. 大小写的话直接插入和查询的适合自己提前先转换一下即可
  1. 800w 数据占用 20mb 内存,200 条数据 3ms 出结果
会有误判的改了,需要根据数据量计算相对应内存大小,选择可以接受的误判率
也可以去采用DFA有限状态机、AC自动机的敏感词过滤

数据量大加载慢

多线程加载

10% 左右优化,效果不佳

加载后数据持久化(持久化存储读取加载)

上一篇
利用NotionNext Vercel搭建自己独立域名站点
下一篇
overrides 覆盖配置
Loading...
文章列表
王小扬博客
AI
Java
其他
计算机网络
Git
DB
云原生
Node
Docker
操作系统
Elasticsearch
Apollo
Nestjs
产品
Think
大前端
PHP
软件开发
设计
生活技巧
CI
缓存