비속어 필터링 원리와 오탐 없는 텍스트 마스킹 가이드
온라인 커뮤니티, 게임 채팅창, 고객 후기 게시판을 운영하다 보면 쏟아지는 악성 댓글과 비속어를 자동으로 가려주는 욕설 필터링 시스템이 필수적입니다.
하지만 단순한 정규식이나 단어 치환을 적용했다가 '시발점(始發點)', '개나리', '바보온달' 같은 정상적인 어휘까지 별표(***)로 가려버리는 과검열(스컨소프 문제, Scunthorpe Problem)이 발생하거나, 반대로 욕설 사이에 점(.)이나 공백을 끼워 넣은 변칙 욕설을 전혀 잡아내지 못하는 한계에 부딪히곤 합니다.
비속어 필터링의 핵심인 '부분 일치'와 '완전 일치(단어 경계 \b)'의 차이점, 아호-코라식(Aho-Corasick) 다중 패턴 탐색 알고리즘, 그리고 오탐 없는 텍스트 마스킹 처리법을 완벽히 정리해 드립니다.
핵심 요약 ① 매칭 우선순위 (글자 수 내림차순): 짧은 단어('개')보다 긴 복합어('개새끼')를 먼저 매칭해야 단어가 쪼개지며 어색하게 남는 오류를 방지합니다. ② 부분 일치 vs 완전 일치: '부분 일치'는 '무지개' 속 '개'까지 가려버리며, '완전 일치'는 독립 단어만 가려 오탐을 줄입니다. ③ 스컨소프 문제 방지: 정상적인 고유명사나 학술 용어가 오검열되지 않도록 예외 허용 화이트리스트(Whitelist)를 병행해야 합니다. ④ 100% 클라이언트 보안: 본 도구는 입력한 텍스트를 외부 서버로 전송하지 않고 브라우저 내부에서 즉시 실시간 정규식 치환을 수행합니다.
부분 일치 vs 완전 일치 — 매칭 기준의 결정적 차이
비속어 필터 엔진에서 가장 중요한 설정은 매칭의 범위(Scope)를 어떻게 정의하느냐입니다:
1. 부분 일치 (Partial Match)
- 작동 방식: 문장의 어디에 위치하든 금지어 문자열이 포함되어 있으면 무조건 감지하여 마스킹합니다.
- 장점: 문맥 속에 숨겨진 욕설을 빠짐없이 엄격하게 잡아냅니다.
- 단점: '개나리', '무지개', '시발점' 같은 정상적인 단어까지 '나리', '무지' 등으로 훼손하는 **오탐(False Positive)**이 발생합니다.
2. 완전 일치 (Exact / Whole Word Match)
- 작동 방식: 앞뒤가 공백, 마침표, 쉼표 등 구두점으로 분리된 독립 단어일 때만 정규식 단어 경계(\b)로 감지합니다.
- 장점: 정상적인 어휘가 억울하게 가려지는 과검열을 완벽히 차단합니다.
- 단점: 단어 뒤에 조사가 바로 붙는 한국어 교착어 특성상 '바보가', '바보를'처럼 조사가 붙으면 감지하지 못할 수 있습니다.
긴 단어 우선 매칭 원칙 (Greedy Matching)
필터링 사전에서 글자 수가 다른 단어들이 존재할 때(예: '개'와 '개새끼'), 반드시 글자 수가 긴 단어부터 내림차순 정렬하여 먼저 치환해야 합니다.
만약 짧은 단어 '개'를 먼저 치환해 버리면, 문장 속 '개새끼'가 '***새끼'로 바뀌어 뒤쪽의 욕설 본체가 그대로 노출되는 치명적인 버그가 발생합니다.
무료 · 설치 불필요 · 텍스트 입력만으로 1초 만에 비속어 자동 감지 및 별표 마스킹
📖 커뮤니티와 게임 운영 현장에서 겪는 비속어 필터 참사 사연
사연 1: '시발점'을 썼다가 채팅 30일 정지당한 게임 유저의 항의
온라인 롤플레잉 게임사 운영팀 A씨는 단순 부분 일치 욕설 필터를 도입했습니다. 한 유저가 레이드 공략 채팅창에 "이번 던전의 시발점은 북쪽 입구입니다"라고 썼다가 시스템에서 악성 욕설로 판정되어 계정이 30일 정지당하는 황당한 사건이 발생했습니다. 이 사건을 계기로 형태소 분석과 화이트리스트 예외 처리의 필요성을 절감했습니다.
사연 2: 자음 변형과 특수문자 편법 욕설에 무너진 카페 게시판
네이버 대형 카페 매니저 B씨는 기본 욕설 사전을 등록해 두었으나, 악성 유저들이 '시.발', 'ㅂㅕㅇ신', 'ㅅ1ㅂㅏㄹ' 등 특수문자와 숫자를 섞어 쓰며 규제를 비웃었습니다. 단순 문자열 비교 대신 정규식을 통해 특수문자 공백을 사전 정규화(Normalization)하는 2차 필터링 파이프라인을 구축해 악플을 90% 이상 차단했습니다.
사연 3: 고객 리뷰 검열 후 의미가 왜곡되어 망신당한 이커머스
쇼핑몰 CS 담당 C씨는 고객 후기 요약본을 작성하며 자동 비속어 치환기를 돌렸습니다. "신발 사이즈가 딱 맞아요"라는 칭찬 리뷰가 '신*** 사이즈가...'로 둔갑되어 메인 배너에 노출되는 참사가 났습니다. 제품명과 표준 단어 사전을 보호 목록으로 등록한 뒤에야 안전한 필터링이 가능해졌습니다.
🔬 핵심 기술 메커니즘 — 아호-코라식(Aho-Corasick)과 Trie 트리 알고리즘
수천 개의 금지어를 1밀리초 만에 초고속으로 전수 탐색하는 컴퓨터 공학 알고리즘을 분석합니다.
1. 트라이(Trie) 자료구조와 실패 링크(Failure Link)
- 수만 개의 금지어 목록이 있을 때, 매 단어마다 정규식 String.replace()를 반복하면 시간 복잡도가 $O(N imes K)$로 폭증하여 서버가 멈춥니다.
- 아호-코라식 알고리즘: 모든 금지어를 트라이(Trie) 트리로 구축하고 KMP(Knuth-Morris-Pratt) 실패 링크를 연결합니다.
- 텍스트 본문을 단 한 번만 훑는 $O(N + M)$ 선형 시간 복잡도로 수만 개의 비속어를 0.001초 만에 일괄 탐색합니다.
2. 한글 유니코드 자모 분리 정규화 수식
- 초성, 중성, 종성을 분리하는 한글 유니코드 분해 공식: $$ ext{Char Code} = 0xAC00 + ( ext{초성} imes 588) + ( ext{중성} imes 28) + ext{종성}$$
- 유저가 'ㅅ1ㅂㅏㄹ'처럼 숫자를 섞어 쓰더라도, 유니코드 정규화(NFKD)와 정규식 공백 제거(/[^가-힣a-zA-Z]/g)를 거치면 원래의 원형 욕설로 환원되어 100% 검출됩니다.
📊 비속어 필터링 알고리즘 4대 방식 비교
| 필터링 방식 | 탐색 속도 | 오탐률 (스컨소프 문제) | 변칙 욕설 우회 차단 | 추천 적용 분야 |
|---|---|---|---|---|
| 단순 부분 일치 (기본) | 빠름 | 매우 높음 (정상어 훼손) | 낮음 (특수문자 취약) | 단순 텍스트 메모 검열 |
| 단어 경계 (완전 일치) | 매우 빠름 | 매우 낮음 (안전함) | 보통 (조사 결합 시 누락) | 영어권 텍스트, 독립 단어 |
| 아호-코라식 + 화이트리스트 | 극도로 빠름 (O(N)) | 낮음 (예외 사전 관리) | 우수 | 대규모 웹 커뮤니티, 게임 채팅 |
| 딥러닝 AI 문맥 분석 (LLM) | 느림 (연산 큼) | 사실상 0% (문맥 이해) | 완벽 차단 (은어 해석) | 정밀 고객 상담, 법적 리뷰 |
⚠️ 비속어 필터링 구현 시 흔히 하는 5가지 실수
- 짧은 단어를 먼저 치환: '개'를 먼저 바꿔 '개새끼' ➔ '***새끼'로 욕설이 깨져 노출되는 것.
- 화이트리스트(예외 사전) 미구축: '시발점', '개나리', '조카' 같은 순수 한국어 명사가 마스킹되는 것.
- 특수문자/공백 제거 정규화 누락: 욕설 글자 사이에 쉼표나 점을 찍는 편법 우회에 뚫리는 것.
- 한글 교착어 조사 처리 미비: 완전 일치 모드에서 '바보' 뒤에 '는/을/를'이 붙었을 때 놓치는 현상.
- 대체 문자(*) 길이 불일치: 4글자 욕설을 1개의 별표(*)로 바꾸면 원래 문장의 호흡과 레이아웃이 깨짐.
💡 오탐 없는 비속어 마스킹 5단계 실전 워크플로우
- 1단계 (검열 대상 텍스트 입력): 후기, 댓글, 채팅 로그를 본 도구의 입력창에 붙여넣습니다.
- 2단계 (매칭 기준 선택): 엄격한 차단이 필요하면 부분 일치, 정상 단어 보존이 중요하면 완전 일치를 선택합니다.
- 3단계 (커스텀 금지어 추가): 서비스 특성에 맞는 특정 비방어, 브랜드 고유 금지어를 추가 등록합니다.
- 4단계 (대체 기호 설정): 별표(***), [CENSORED], 하트(♥♥) 등 원하는 마스킹 스타일을 지정합니다.
- 5단계 (정제된 텍스트 원클릭 복사): 1초 만에 깔끔하게 정제된 안전한 텍스트를 복사하여 공지사항이나 웹에 게시합니다.
🔍 서비스 기획자가 공개하는 욕설 필터링 팁 7선
- 글자 수와 동일한 마스킹 적용: 3글자 욕설은 '***', 2글자 욕설은 '**'로 치환해야 문장 흐름이 자연스럽습니다.
- 반복 문자 압축 정규화: '씨이이이발'처럼 모음을 길게 늘여 쓰는 패턴은 /(.)\1{2,}/g 정규식으로 1글자로 압축한 뒤 매칭합니다.
- 영문 대소문자 무시 (i 플래그): 'fUcK', 'ShIt' 등 대소문자 혼용 욕설을 잡기 위해 반드시 대소문자 무시 플래그를 켭니다.
- 숫자 치환 문자열(Leet) 매핑: '1' ➔ 'I/ㅣ', '0' ➔ 'O/ㅇ', '8' ➔ 'B' 등 숫자로 변형한 은어 사전을 등록합니다.
- 금지어 사전의 정기적 업데이트: 신조어와 유행어 비하 발언을 모니터링하여 월 1회 사전을 갱신합니다.
- 신고 누적 기반 블랙리스트 연동: 필터링을 우회하는 유저는 유저 신고 3회 누적 시 자동 임시 차단 룰을 적용합니다.
- 본 도구 즐겨찾기 추가: 블로그나 커뮤니티 글을 캡처/인용할 때 1초 만에 민감한 욕설을 깨끗이 지워내세요.
🎯 최종 결정 트리: 어떤 매칭 옵션을 써야 할까?
- 상황 A (블로그 캡처 인용, 공공기관 게시글 정제) ➔ 부분 일치 + 별표() 마스킹 (철저한 클린화)*
- 상황 B (자유로운 소통이 중요한 캐주얼 커뮤니티) ➔ 완전 일치 + 화이트리스트 (스컨소프 오탐 최소화)
- 상황 C (어린이/교육용 플랫폼 채팅창) ➔ 부분 일치 + 특수문자 공백 완전 제거 정규화
- 상황 D (대용량 실시간 라이브 스트리밍 채팅) ➔ 아호-코라식 기반 초고속 C/WASM 모듈 적용
📑 텍스트 검열 & 문자열 매칭 핵심 용어 치트시트
- 스컨소프 문제 (Scunthorpe Problem): 정상적인 단어 안에 금지어 철자가 포함되어 있어 시스템이 무고한 단어를 차단하는 현상.
- 단어 경계 (Word Boundary, \b): 알파벳/한글 문자와 공백/구두점 사이의 경계 지점을 나타내는 정규식 메타 문자.
- 아호-코라식 (Aho-Corasick): 여러 개의 패턴 문자열을 동시에 한 번의 본문 스캔으로 찾아내는 유한 오토마타 알고리즘.
- 마스킹 (Masking): 민감한 단어나 개인정보를 특정 기호(*, # 등)로 가리는 기법.
자주 묻는 질문
왜 '무지개'라는 단어를 썼는데 '무지***'로 가려지나요?
'부분 일치' 옵션이 켜져 있고 금지어 목록에 '개'가 등록되어 있기 때문입니다. 단어 안에 포함된 글자까지 모두 가리는 모드이므로, 독립된 욕설만 가리고 싶다면 '완전 일치' 옵션으로 변경하시면 됩니다.
특수문자를 섞어서 쓴 욕설도 자동으로 걸러지나요?
기본 정규식 매칭은 연속된 문자열을 비교하므로, 특수문자가 섞인 욕설을 잡으려면 텍스트 입력 전에 공백과 특수문자를 임시 제거한 뒤 검사하는 2차 검증을 병행하는 것이 좋습니다.
내가 입력한 민감한 문장이 서버로 전송되거나 저장되나요?
전혀 그렇지 않습니다. 본 도구의 모든 텍스트 정규식 치환은 사용자의 웹 브라우저 내부 자바스크립트 엔진에서 100% 로컬로 실행되므로 외부 서버에 텍스트가 절대 저장되지 않습니다.