# Corpus Iuris — robots.txt
# Política: PERMITIR a buscadores tradicionales Y a crawlers de IA generativa.
# Para una app legal, ser citable por LLMs (ChatGPT, Claude, Perplexity,
# Gemini) es tan importante como el SEO clásico.
#
# ⚠️ Lección aprendida (auditoría SEO 29-jul-2026): en robots.txt cada crawler
# obedece SOLO su grupo más específico. Con grupos por-bot que decían solo
# "Allow: /", Googlebot IGNORABA los Disallow del grupo * y desperdiciaba
# rastreo en rutas de app. Por eso ahora hay UN solo grupo universal: todos
# los bots (Googlebot, Bingbot, GPTBot, ClaudeBot, PerplexityBot,
# Google-Extended, CCBot, Applebot, cohere-ai, Meta-ExternalAgent, YouBot,
# Bytespider, Diffbot, etc.) quedan permitidos por él — User-agent: * los
# cubre a todos por igual, con las mismas reglas.

# ⚠️ Incidente 4-ago-2026: meta-externalagent (crawler de cosecha de Meta) llegó
# por primera vez y barrió a 165 páginas/min. Agotó el presupuesto GLOBAL diario
# de páginas (30,000) en dos horas y el sitio devolvió 429 a TODOS —humanos,
# ClaudeBot, GPTBot, Perplexity— durante 9 horas. Meta se portó bien: se
# identificó, obedeció este archivo y se frenó sola al recibir 429. El problema
# era nuestro: no había límite de velocidad.
#
# Por eso el Crawl-delay de abajo. NO es un bloqueo: queremos que las IAs nos
# lean y nos citen. Es un "ve más despacio" para que ningún crawler pueda dejar
# sin servicio a los demás. 5 segundos ≈ 17,000 páginas/día por crawler: el
# corpus completo (322k páginas) en ~19 días, sin tumbar a nadie.
#
# Va en el grupo universal a propósito. Un grupo por-bot haría que ese bot
# ignorara los Disallow de abajo (ver lección de jul-2026 arriba), y además el
# User-Agent no es verificable: cualquiera puede escribir el nombre que quiera.
# El límite REAL y enforzable vive en el servidor (tope por IP), no aquí.
# Googlebot ignora Crawl-delay por diseño; para él el freno es su propio
# presupuesto de rastreo.

# ── ¿Quieres el corpus COMPLETO? No lo raspes: licénciate ──────────────────
# 22-sep-2026. Recorrer 323k páginas con proxies rentados nunca da una copia
# íntegra ni al día (el corpus cambia cada semana), y el servidor topa a
# 500 páginas/día por credencial y 3,000/día por crawler. Ofrecemos licencias
# de datos (entrega completa + actualizaciones) y API sin tope:
#   contacto@corpusiuris.mx  ·  https://corpusiuris.mx/agentes
# Para consultar y citar (ChatGPT-User, Claude-User, Perplexity-User…): sin
# tope, bienvenidos.

# ── Buscadores: SIN freno ──────────────────────────────────────────────────
# Google y Bing son los que traen citas y tráfico, y su indexación es el motivo
# de que estas páginas existan. Van en grupo propio y sin Crawl-delay. Los
# Disallow se REPITEN aquí a propósito: cada crawler obedece solo su grupo más
# específico, así que sin repetirlos Googlebot ignoraría los del grupo * (es la
# lección de jul-2026 de arriba, ahora aplicada al revés).
# Nota: Googlebot ignora Crawl-delay por diseño; Bingbot sí lo obedece, y por
# eso necesita este grupo — si no, el freno de abajo le frenaría la indexación.
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Bingbot
Allow: /
# Trampa de miel (23-sep-2026): tesis que no existen, solo para detectar
# rastreadores que no obedecen este archivo. No las pidas.
Disallow: /tesis/9990000
Disallow: /jurisprudencia/9990000
Disallow: /oraculo
Disallow: /corpus
Disallow: /buscar
Disallow: /bibliotecario
Disallow: /cuenta
Disallow: /account
Disallow: /admin
Disallow: /auth/

# ── Herramientas SEO: fuera ────────────────────────────────────────────────
# 18-sep-2026: Majestic, DataForSEO, PetalBot y AionBot sumaron 2,141 páginas
# en un día. No traen citas, ni tráfico, ni indexación que nos sirva: venden
# reportes SEO a terceros con nuestras páginas. Los tres primeros obedecen
# robots.txt; el servidor además los topa a 3,000/día por si no.
User-agent: MJ12bot
User-agent: DataForSeoBot
User-agent: PetalBot
User-agent: AionBot
Disallow: /

# ── Todos los demás (incluida la cosecha de IA): despacio ──────────────────
# 30 segundos ≈ 2,880 páginas/día. Las 323,344 del corpus tardarían ~112 días.
# No es un bloqueo: es que recorrer el sitio deje de ser el camino barato.
# El camino barato es el API (corpusiuris.mx/agentes), que además es más rápido
# para el que consulta y nos deja saber quién nos usa.
User-agent: *
Allow: /
Crawl-delay: 30

# Trampa de miel (23-sep-2026): tesis que no existen. No las pidas.
Disallow: /tesis/9990000
Disallow: /jurisprudencia/9990000

# Rutas autenticadas de la app: no aportan valor SEO/AEO y consumen quota
Disallow: /oraculo
Disallow: /corpus
Disallow: /buscar
Disallow: /bibliotecario
Disallow: /cuenta
Disallow: /account
Disallow: /admin
Disallow: /auth/

Sitemap: https://corpusiuris.mx/sitemap.xml

# Sitemap de LEYES: la portada de cada ley y el texto de cada artículo.
# ⚠️ Existía desde el 8-jul y NUNCA se declaró aquí (auditoría del 20-ago-2026):
# el backend lo servía y ningún buscador sabía que existía. Son las páginas de
# más valor comercial del sitio ("artículo 17 ley de amparo" se busca a diario)
# y estuvieron fuera del mapa todo ese tiempo.
Sitemap: https://corpusiuris.mx/sitemap-leyes.xml

# Sitemap de jurisprudencia (servido solo a bots de búsqueda verificados)
Sitemap: https://corpusiuris.mx/sitemap-juris.xml

# Sitemaps de tesis aisladas y precedentes (solo bots de búsqueda)
Sitemap: https://corpusiuris.mx/sitemap-tesis.xml
Sitemap: https://corpusiuris.mx/sitemap-prec.xml

# Blog «Actualización legal Corpus Iuris México» (8-sep-2026): una entrada por
# semana con reformas, normas nuevas y tesis. Público, sin candado de bots.
Sitemap: https://corpusiuris.mx/sitemap-actualizaciones.xml

# Lo nuevo de los últimos 45 días (tesis, precedentes, leyes reformadas, boletín): pequeño, con fecha,
# sin candado. Es el que Google debe leer a diario (11-sep-2026).
Sitemap: https://corpusiuris.mx/sitemap-recientes.xml