# devscent.com robots.txt
#
# 2026-09-04 개정 — 검색·인용 봇을 명시 허용한다.
#
# 지금은 아래 `User-agent: *` 로도 전부 허용되므로 동작은 달라지지 않는다.
# 그런데도 따로 적는 이유는, 나중에 `*` 규칙을 조일 일이 생겼을 때
# **인용 경로가 함께 막히는 사고를 막기 위해서**다. AI 검색에서 인용되려면
# 이 봇들이 본문을 읽을 수 있어야 한다.
#
# 학습용 크롤러(GPTBot · CCBot · Google-Extended · Applebot-Extended)는
# 지금 `*` 규칙에 따라 허용 상태로 둔다. 차단 여부는 고객 동의 사안이라
# 별도 결정으로 남긴다 — devscent-marketing-main
# 저장소의 docs/plans/2026-09-04_channel-expansion-place-ai-search.md §A-4.
#
# 주의: robots.txt 는 **정직한 봇에게만** 유효하다. 2026-09-04 실측에서
# AI 크롤러 UA 트래픽의 약 70% 가 위조였다. 위조 봇 방어는 robots.txt 가
# 아니라 ~/projects/ops/nginx_auto_block_scanners.py 가 맡는다.

# `Disallow` 를 `Allow: /` **앞에** 둔다. 구글·빙은 가장 긴 규칙이 이기지만,
# 먼저 맞는 규칙을 쓰는 단순 파서도 있어서 순서를 뒤집으면 /admin.html 과
# /api/ 가 열린 것으로 읽힌다 (파이썬 robotparser 로 확인).

# ── 검색·인용 봇 (명시 허용) ─────────────────────────────
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: bingbot
User-agent: Yeti
User-agent: NaverBot
User-agent: Daum
User-agent: DuckDuckBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /admin.html
Disallow: /api/
Allow: /

# ── 그 밖의 모든 봇 ──────────────────────────────────────
User-agent: *
Disallow: /admin.html
Disallow: /api/
Allow: /

Sitemap: https://devscent.com/sitemap.xml
Sitemap: https://devscent.com/sitemap-blog.xml