크롤링 예산이란 무엇일까?

크롤링 예산이란 무엇일까?

크롤링 예산은 구글봇이 특정 기간 내에 웹사이트에서 크롤링하고 색인을 생성하는 페이지 수이다.

SEO에 크롤링 예산이 중요한 이유

구글이 페이지 색인을 생성하지 않으면 순위가 매겨지지 않는다.

따라서 페이지 수가 사이트 크롤링 버젯을 초과하면 사이트에 색인이 생성되지 않는 페이지가 있다.

대부분 사이트는 크롤링에 대해 걱정할 필요는 없다.

구글은 페이지를 찾고 색인을 생성하는 데 정말 능숙하다.

다만 주의를 기울여야 하는 경우는 있다.

• 대규모 사이트를 운영하는 경우: 1만개 이상 페이지가 포함된 웹사이트는 모든 페이지를 찾는 데 어려움을 겪을 수 있다.
• 방금 여러 페이지 추가한 경우: 최근 사이트에 수백 개 새로운 페이지를 추가한 경우 크롤링 버젯이 초과할 수 있다.
• 많은 리디렉션: 많은 리디렉션과 체인이 크롤링 버짓을 소모할 수 있다.

Crawling Budget을 최대화하는 방법은 아래와 같다.

크롤링 예산 최대화 하는 방법 5가지

1. 사이트 속도 향상

사이트 페이지 속도를 높이면 구글봇이 더 많은 사이트 URL을 크롤링할 수 있다.

구글은 “사이트를 더 빠르게 만들면 UX 향상 및 크롤링 속도가 높아진다” 라고 말했다.

느린 로딩 페이지는 구글봇 시간을 소모한다.

2. 인터널 링크 사용

구글봇은 익스터널(외부) 및 인터널(내부) 링크가 많이 있는 페이지의 우선순위를 정한다.

현실적으로 많은 링크를 얻는 것이 중요하다.

그리고 브로큰 링크(깨진 링크)를 제거하여 페이지를 최적화된 상태로 유지하자.

이것이 인터널 링크에 많은 영향을 줄 수 있다.

3. 플랫 웹 사이트 구조

인기 있는 URL은 색인에 최신 상태를 유지하기 위해 더 자주 크롤링 되는 경향이 있다.

그리고 인기는 링크 권위와 동일하다.

따라서 웹 사이트 구조를 플랫 형태로 만드는 것이 좋다.

플랫 형태로 만들지 않고 딥 형태로 만들면, 흔히 말하는 404 페이지 발생뿐만 아니라 크롤링도 잘 안되는 경우가 발생할 수 있다.

4. 오펀 페이지를 피하자

오펀 페이지 혹은 고아 페이지는 해당 페이지를 가리키는 내부 또는 외부 링크가 없는 페이지이다.

구글 크롤러 및 구글 웹 크롤링을 최대한 활용하려면 모든 페이지를 가리키는 내부 또는 외부 링크가 하나 이상 있는지 확인하자.

5. 중복 콘텐츠 제한

중복 콘텐츠를 제한하는 것이 좋다.

중복된 콘텐츠는 크롤링 버짓에 영향을 미칠 수 있다.

구글은 동일한 콘텐츠가 포함된 여러 페이지를 색인 생성하는 리소스는 낭비하고 싶지 않기 때문이다.

따라서 사이트 페이지가 100% 고유한 고품질 콘텐츠로 구성되어 있는지 확인하자.