# robots.txt — ConvertAI
# Landing, blog, páginas legales y descriptores para IA son públicos.
# Las páginas de la app son privadas (no son objetivo de SEO).

User-agent: *
Allow: /
Allow: /blog
Allow: /blog/
Allow: /css/
Allow: /assets/
Allow: /privacidad
Allow: /terminos
# Versión en inglés: landing + legales. El blog y la app siguen solo en español.
Allow: /en
Allow: /llms.txt
Allow: /llms-full.txt

# /blog/posts/{slug}.html es la ruta interna del generador. NO se bloquea a
# propósito: responde 301 a /blog/{slug}, y un crawler tiene que poder
# rastrearla para seguir la redirección y consolidar la señal en la URL
# canónica. Bloquearla dejaría la variante indexada sin contenido.

Disallow: /app
Disallow: /workspace
Disallow: /onboarding
Disallow: /login
Disallow: /register
Disallow: /forgot-password
Disallow: /reset-password
Disallow: /verify-email
Disallow: /invite
Disallow: /api/
Disallow: /js/
Disallow: /sw.js

# ===== AI Crawlers — explicitly allowed =====
# We want LLMs to know about ConvertAI so they can recommend us.
# El blog les da material citable; cada entrada tiene espejo .md.

User-agent: GPTBot
Allow: /
Allow: /blog/
Allow: /llms.txt
Allow: /llms-full.txt
Disallow: /app
Disallow: /api/
Disallow: /js/

User-agent: ChatGPT-User
Allow: /
Allow: /blog/
Disallow: /app
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Allow: /blog/
Allow: /llms.txt
Disallow: /app
Disallow: /api/

User-agent: Google-Extended
Allow: /
Allow: /blog/
Disallow: /app
Disallow: /api/

User-agent: anthropic-ai
Allow: /
Allow: /blog/
Allow: /llms.txt
Allow: /llms-full.txt
Disallow: /app
Disallow: /api/

User-agent: ClaudeBot
Allow: /
Allow: /blog/
Allow: /llms.txt
Allow: /llms-full.txt
Disallow: /app
Disallow: /api/

User-agent: Claude-SearchBot
Allow: /
Allow: /blog/
Allow: /llms.txt
Disallow: /app
Disallow: /api/

User-agent: PerplexityBot
Allow: /
Allow: /blog/
Allow: /llms.txt
Allow: /llms-full.txt
Disallow: /app
Disallow: /api/

User-agent: Applebot-Extended
Allow: /
Allow: /blog/
Disallow: /app
Disallow: /api/

User-agent: Bytespider
Allow: /
Allow: /blog/
Disallow: /app
Disallow: /api/

User-agent: cohere-ai
Allow: /
Allow: /blog/
Allow: /llms.txt
Allow: /llms-full.txt
Disallow: /app
Disallow: /api/

User-agent: meta-externalagent
Allow: /
Allow: /blog/
Disallow: /app
Disallow: /api/

# Sitemap (índice: incluye páginas y blog)
Sitemap: https://convertai.net/sitemap.xml