색인 (인덱싱)

크롤링과 색인은 뭐가 다른가요?

크롤링은 검색 로봇이 페이지를 읽어 가는 일이고, 색인은 읽어 간 내용을 분석해 검색용 목록에 넣는 일이에요. 크롤링이 돼도 색인이 안 될 수 있고, 색인이 돼도 특정 검색어에서 위쪽에 보인다는 보장은 없어요.

구글은 색인 단계에서 본문 글, 제목 태그, 사진 설명(alt), 이미지 · 동영상 등을 분석해요. 비슷한 페이지가 여러 개면 한 묶음으로 보고, 그중 대표 페이지(표준 페이지)만 검색 결과에 보여 줘요.

네이버도 비슷한 과정을 거쳐요. 수집 요청이나 사이트맵으로 주소를 알려 주면 검색 로봇이 우선순위에 따라 방문하고, 수집된 문서 가운데 색인 기준을 통과한 것만 검색에 나와요.

내 페이지가 색인됐는지 어떻게 확인하나요?

가장 정확한 방법은 구글 서치 콘솔과 네이버 서치어드바이저의 URL 검사 도구에 주소를 넣어 보는 거예요. ‘site:’ 검색은 대략적인 확인용이라, 빠진 페이지를 정확히 찾기에는 부족해요.

네이버 URL 검사는 수집 여부, 색인 가능 여부, 색인 여부를 나눠 보여 주고, 제목 · 설명이 제대로 읽히는지도 알려 줘요. 구글 URL 검사는 구글이 마지막으로 읽어 간 날짜와 대표 페이지로 고른 주소까지 보여 줘요.

‘site:가게주소.kr’ 검색 결과 수는 대략적인 추정치라 날마다 달라질 수 있어요. 숫자가 줄었다고 놀라기보다 서치 콘솔의 페이지 색인 생성 보고서에서 색인된 페이지 수의 흐름을 보는 게 정확해요.

1. 01구글 서치 콘솔에 들어가 맨 위 검색창에 확인할 페이지 주소 전체를 붙여 넣어요.
2. 02결과 화면에서 색인 상태와, 색인이 안 됐다면 그 이유가 무엇으로 적혀 있는지 확인해요.
3. 03색인이 안 됐고 고칠 게 없다면 ‘색인 생성 요청’을 한 번 눌러요.
4. 04네이버 서치어드바이저 웹마스터 도구에서 사이트를 고르고 URL 검사에 같은 주소를 넣어요.
5. 05수집 · 색인 상태와 제목 · 설명 추출 결과를 확인하고, 필요하면 요청 메뉴에서 웹 페이지 수집을 요청해요.

‘크롤링됨 - 현재 색인이 생성되지 않음’은 무슨 뜻인가요?

구글이 페이지를 읽어 가긴 했지만, 아직 검색용 목록에 넣지 않았다는 뜻이에요. 서치 콘솔의 페이지 색인 생성 보고서에서 볼 수 있고, 비슷한 상태로 ‘발견됨 - 현재 색인이 생성되지 않음’도 있어요. 이건 주소는 알지만 아직 읽어 가지 않았다는 뜻이에요.

구글은 색인이 안 되는 흔한 이유로 내용 품질이 낮은 경우, 색인을 막는 설정이 있는 경우, 사이트 구조가 색인을 어렵게 하는 경우를 꼽아요. 사진 한 장과 한 줄 설명뿐인 페이지나, 다른 페이지와 내용이 거의 같은 페이지가 여기에 자주 걸려요.

이 상태가 떠도 바로 문제라는 뜻은 아니에요. 공개 직후에는 시간이 지나며 풀리는 경우도 많아서, 내용을 보강할 수 있는 페이지부터 손보고 몇 주 뒤 다시 확인해요.

• 내용 보강: 가격 · 시간 · 진행 방식처럼 그 페이지에만 있는 정보를 더해요.
• 중복 정리: 거의 같은 페이지는 하나로 합치거나 대표 주소를 정해요.
• 링크 연결: 메뉴나 관련 글에서 그 페이지로 링크를 걸어요.
• 다시 확인: 몇 주 뒤 URL 검사로 상태가 바뀌었는지 봐요.

색인 요청은 언제, 얼마나 해야 하나요?

색인 요청은 새 페이지를 공개했거나 중요한 내용을 크게 고쳤을 때 페이지당 한 번이면 충분해요. 구글은 같은 주소를 여러 번 요청해도 더 빨리 크롤링되지 않고, 개별 주소 요청에는 할당량이 있다고 안내해요.

네이버도 수집 요청이 실시간으로 처리되지 않고 우선순위에 따라 최소 하루에서 몇 주가 걸릴 수 있다고 밝히고 있어요. 같은 주소를 매일 반복해서 요청할 필요는 없고, 수집에 성공해도 검색 노출이 보장되지는 않아요.

페이지가 많거나 자주 바뀐다면 하나씩 요청하기보다 사이트맵을 제출해 두는 게 효율적이에요. 블로그 글을 꾸준히 올리는 가게라면 사이트맵이 자동으로 갱신되게 해 두면 돼요.

검색에서 빼고 싶은 페이지는 어떻게 하나요?

검색에서 빼고 싶은 페이지에는 noindex 표시를 해요. 페이지 코드에 <meta name='robots' content='noindex'>를 넣거나, 서버에서 X-Robots-Tag 응답 헤더로 알려 주는 방식이에요. 구글은 이 표시를 보면 그 페이지를 검색 결과에서 뺀다고 안내해요.

이때 robots.txt로 그 페이지를 함께 막으면 안 돼요. 검색 로봇이 페이지에 들어오지 못하면 noindex 표시도 읽을 수 없어서, 다른 곳에 링크가 있으면 주소가 계속 검색에 남을 수 있어요.

이미 네이버 검색에 나온 페이지를 지웠다면, 먼저 원본 페이지를 삭제해 404(페이지 없음) 응답이 나오는지 확인한 뒤 서치어드바이저의 요청 메뉴에서 웹 페이지 검색 제외를 신청해요. 재색인을 거쳐야 해서 바로 사라지지는 않아요.

• 예약 완료 · 결제 완료 같은 안내 페이지
• 제작 중인 시안 · 테스트 페이지
• 회원 전용 페이지(이건 로그인으로 막는 게 우선이에요)

색인이 안 되는 흔한 원인은 뭐예요?

가장 흔한 원인은 제작 중에 넣어 둔 noindex나 robots.txt 차단을 공개 후에도 풀지 않은 거예요. 홈페이지 업체에 공개 체크리스트에 이 항목이 있는지 꼭 물어보세요.

그다음은 내용이 너무 적거나 다른 페이지와 겹치는 경우예요. 미리보기 주소와 실제 주소가 동시에 열려 있으면 같은 내용이 두 곳에 있어서 엉뚱한 쪽이 대표 페이지로 뽑힐 수도 있어요.

자바스크립트로만 내용을 그리는 페이지는 검색 로봇이 내용을 늦게 보거나 놓칠 수 있어요. 중요한 글은 페이지를 처음 불러올 때부터 글자로 들어 있게 만드는 게 안전해요.

• 공개 후에도 남아 있는 noindex 표시나 robots.txt 전체 차단
• 미리보기 · 테스트 주소가 검색에 열려 있어 생긴 중복
• 메뉴나 다른 페이지에서 링크가 하나도 없는 외딴 페이지
• 사진만 있고 글이 거의 없는 페이지
• 서버가 자주 느리거나 오류를 내는 경우