Blogger robots.txt 예시와 sitemap 문제 해결 팁

구글 블로거(Blogger)에서 색인 누락이 자주 발생하나요? robots.txt 설정 오류나 sitemap.xml 문제일 수 있어요. 정확한 예시와 해결 팁을 알려드릴게요.

 

📋 목차

• 1. robots.txt란 무엇인가요?
• 2. Blogger에서 robots.txt 설정하는 방법
• 3. 색인 잘 되는 robots.txt 예시
• 4. sitemap.xml 문제 해결 팁
• FAQ

1. robots.txt란 무엇인가요?

 

robots.txt는 검색엔진 로봇에게 "이 영역은 크롤링해도 돼요" 또는 "하지 마세요"를 알려주는 지침서예요. 이 파일을 잘못 설정하면 전체 블로그 색인이 차단될 수 있어요.

 

따라서 반드시 크롤링 허용 상태로 설정해야 색인 누락을 피할 수 있어요.

 

2. Blogger에서 robots.txt 설정하는 방법

1. Blogger 대시보드 → [설정] → [검색 환경설정]으로 들어가세요.

2. ‘맞춤 robots.txt 사용’ 항목을 사용함으로 변경

3. 아래 예시 코드를 그대로 붙여넣고 저장

 

3. 색인 잘 되는 robots.txt 예시

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://yourblogname.blogspot.com/sitemap.xml

설명:

• User-agent: * → 모든 검색엔진에 적용
• Disallow: /search → 내부 검색 결과 페이지는 색인 제외
• Allow: / → 나머지 모든 페이지는 허용
• Sitemap: → sitemap 주소를 명시해 색인 효율 UP

 

4. sitemap.xml 문제 해결 팁

 

Blogger는 기본적으로 sitemap을 제공하지만, 아래 조건에서는 오류가 발생할 수 있어요:

• 포스트 수가 0개 또는 모든 글이 비공개일 경우
• robots.txt에서 sitemap URL을 누락했을 경우
• 글 작성 후 sitemap 제출을 안 했을 경우

 

정상 작동 확인 방법:

1. 브라우저 주소창에 https://yourblogname.blogspot.com/sitemap.xml 입력
2. 포스트 목록이 XML 형식으로 나오면 정상
3. Google Search Console > 사이트맵 메뉴에 위 주소를 입력해 제출

 

❓ FAQ

 

Q1. sitemap.xml 주소는 꼭 robots.txt에 넣어야 하나요?
A1. 넣는 것이 검색엔진이 빠르게 인식하는 데 도움이 돼요.

 

Q2. robots.txt 수정 후 바로 반영되나요?
A2. 대부분 24시간 내 반영되며, 서치콘솔에서 ‘URL 검사’를 통해 즉시 반영 요청 가능해요.

 

Q3. 블로그 글이 검색에 안 보이는데 sitemap 문제일까요?
A3. sitemap이 비어 있거나 robots.txt가 차단되어 있을 가능성이 커요.

 

Q4. 여러 sitemap 주소를 추가해도 되나요?
A4. Blogger는 sitemap.xml만으로도 전체 글을 커버하지만, sitemap.xml?page=1 등 세부 페이지도 가능해요.

 

Q5. 블로그 도메인이 바뀌면 sitemap 주소도 바꿔야 하나요?
A5. 네, 도메인이 변경되면 새 주소에 맞는 sitemap 경로로 수정해야 해요.

 

[블로그] - 📈 애드센스 수익 터지게 하는 실전 노하우

📈 애드센스 수익 터지게 하는 실전 노하우