중복 줄 제거 사이트, 엑셀 없이 정리하는 원리
여러 줄로 정리된 키워드, 이메일, URL 같은 목록에서 같은 줄이 반복되는 문제는 엑셀이나 메모장의 특별한 기능 없이도, 원리만 알면 손으로 해결할 수 있습니다. 핵심은 줄바꿈으로 항목을 나누고, 대소문자와 공백을 어떻게 비교할지 정한 뒤 순서대로 처리하는 것뿐입니다.
이 글은 그 처리 원리를 순서대로 풀어내고, 마지막에 같은 작업을 브라우저에서 바로 처리해 주는 도구로 안내합니다.
요약 ① 줄바꿈(Enter)이 항목을 나누는 기준이자, 중복을 비교하는 단위입니다. ② "대소문자 무시"를 꺼두면 Apple과 apple은 서로 다른 항목으로 각각 남습니다. ③ "공백 정리"를 켜지 않으면 눈에 안 보이는 앞뒤 공백 때문에 같은 단어인데도 중복이 제거되지 않습니다.
목록을 합치다 보면 중복이 쌓이는 이유
여러 사람이 각자 조사한 키워드 후보를 한 문서에 합치거나, 여러 페이지에서 이메일 주소를 복사해 하나의 목록으로 모으는 상황에서 흔히 벌어지는 일입니다. 같은 단어가 표기만 살짝 다르게(대문자·소문자, 앞뒤 공백) 여러 번 들어가 있어도, 눈으로 훑어봐서는 잘 드러나지 않습니다.
목록이 수십 줄, 수백 줄을 넘어가면 사람이 한 줄씩 비교해 찾아내는 방식은 시간이 오래 걸리고 놓치기도 쉽습니다. 그래서 "같은 줄"로 볼지 말지를 정하는 기준부터 정확히 잡아야 합니다.
도구 없이 중복 줄을 없애는 원리
목록 정리는 원리만 따라가면 스프레드시트나 텍스트 편집기만으로도 직접 할 수 있습니다. 순서는 다음과 같습니다.
- 한 줄에 항목 하나씩 정리한다. 줄바꿈(Enter)이 항목을 나누는 기준입니다. 쉼표나 공백으로만 구분된 목록이라면, 찾아바꾸기 기능으로 구분자를 줄바꿈으로 먼저 바꿔야 이후 단계가 정확해집니다.
- 눈에 안 보이는 공백을 없앤다. 스프레드시트라면 TRIM 함수가 문자열 앞뒤의 공백을 제거해 줍니다. 텍스트 편집기라면 찾아바꾸기(Ctrl+H)로 줄 끝 공백을 지우면 됩니다. 이 단계를 건너뛰면 "사과"와 "사과 "(끝에 공백 하나)가 서로 다른 문자열로 남아 중복으로 잡히지 않습니다.
- 대소문자를 통일할지 정한다. Apple과 apple을 같은 항목으로 볼지 결정합니다. 같은 항목으로 보려면 스프레드시트의 LOWER 함수로 보조 열을 만들어 소문자로 통일한 뒤 비교하면 됩니다.
- 정렬한다. 정렬해두면 같은 값이 서로 붙어서 나열되므로 중복을 눈으로 찾기 훨씬 쉬워집니다. 한글 목록을 정렬하면 자음(ㄱ~ㅎ) 순서를 기준으로 한 가나다 순서로 나열됩니다.
- 중복을 제거한다. 스프레드시트에는 보통 "데이터" 메뉴 안에 중복된 값을 제거하는 기능이 있습니다(Excel은 "중복된 항목 제거", Google 스프레드시트는 "중복 항목 삭제"). 이 기능은 선택한 열의 값이 완전히 같은 행만 하나로 남기므로, 2·3단계를 먼저 마쳐야 의도한 대로 동작합니다.
문제는 이 다섯 단계를 목록이 바뀔 때마다 손으로 반복해야 한다는 점입니다. 함수를 다시 걸고, 정렬 기준을 다시 잡고, 옵션 조합을 바꿔 결과를 다시 확인하는 과정이 매번 필요합니다.
저희 도구로 확인하기.
가입 없이 브라우저에서 바로 중복 줄을 제거하고 정렬합니다. 입력한 목록은 서버로 전송되지 않습니다.
헷갈리기 쉬운 부분
다음은 같은 방식으로 목록을 정리할 때 실제로 자주 걸리는 지점입니다.
| 상황 | 결과 |
|---|---|
| "대소문자 무시" 켬 + Apple, apple 입력 | 먼저 나온 표기(Apple)만 남고 하나로 합쳐짐 |
| "대소문자 무시" 끔 + Apple, apple 입력 | 서로 다른 줄로 취급되어 둘 다 남음 |
| "공백 정리" 끔 + "사과", "사과 "(끝 공백) | 다른 문자열로 인식되어 중복 제거 안 됨 |
| "공백 정리" 켬 + 위와 동일 입력 | 같은 값으로 인식되어 하나만 남음 |
| "빈 줄 제거" 끔 | 빈 줄도 하나의 항목으로 세어져 줄 수에 포함됨 |
| 정렬 "오름차순"/"내림차순" | 한국어 기준(가나다순)으로 정렬됨 |
| 정렬 "무작위" | 항목을 뒤섞으며, 다시 섞기를 누르면 새로운 순서로 다시 섞임 |
정렬을 "오름차순"이나 "내림차순"으로 선택하면 한국어 기준으로 비교해 정렬합니다. 한글 항목은 자음 순서(ㄱ, ㄴ, ㄷ … ㅎ)를 따르는 가나다 순으로 나열되고, 알파벳이나 숫자가 섞여 있어도 같은 기준으로 함께 정렬됩니다.
처리 전 줄 수에서 처리 후 줄 수를 빼면 제거된 줄 수가 됩니다. 이 숫자로 실제 몇 줄이 걸러졌는지 바로 확인할 수 있습니다.
정리
- 줄바꿈이 항목을 나누는 기준이며, 중복 비교도 한 줄 단위로 이뤄집니다.
- 대소문자를 같은 값으로 볼지(Apple = apple), 다른 값으로 볼지 먼저 정해야 합니다.
- 앞뒤 공백을 정리하지 않으면 같은 단어도 다른 문자열로 남아 중복 제거가 되지 않습니다.
- 한글 정렬은 자음 순서를 기준으로 한 가나다순으로 동작합니다.
- 다섯 단계를 매번 손으로 반복하기보다, 옵션을 켜고 끄며 결과를 바로 확인하는 편이 빠릅니다.
가입 없이 브라우저에서 바로 중복 줄을 제거하고 정렬합니다. 입력한 목록은 서버로 전송되지 않습니다.
자주 묻는 질문
대소문자가 다른 중복도 하나로 처리할 수 있나요?
네. "대소문자 무시"를 켜면 Apple과 apple을 같은 항목으로 보고 먼저 나온 줄만 남깁니다. 화면에 남는 표기는 원래 입력한 대소문자 그대로 유지되며, 정렬 순서도 이 기준을 따릅니다.
한글도 사전순(가나다순)으로 정렬되나요?
네. 한국어 기준으로 비교해 정렬하므로 한글 항목은 자연스러운 가나다 순서로 나열됩니다. 오름차순과 내림차순을 선택해 반대 방향으로도 정렬할 수 있습니다.
입력한 목록이 서버로 전송되나요?
아니요. 모든 처리는 브라우저 안에서만 이뤄지며, 붙여넣은 목록은 서버로 전송되거나 저장되지 않습니다.
정렬을 "무작위"로 하면 결과가 매번 바뀌나요?
무작위를 선택하면 목록 순서를 섞어서 보여줍니다. 같은 입력이라도 "다시 섞기" 버튼을 누르면 매번 새로운 순서로 다시 섞입니다.