robots.txt para el sitio de tu app: qué permitir y qué no romper (políticas y app-ads.txt)
Guía breve de robots.txt para dominios de desarrollador: cómo no bloquear políticas públicas ni app-ads.txt, ejemplos seguros y relación con SEO y crawlers de ads.
Por qué un archivo de 10 líneas puede costarte ingresos
robots.txt indica a los crawlers qué pueden visitar. En un sitio de desarrollador mal configurado es común:
- bloquear todo el sitio “por seguridad”,
- impedir el crawl de
/app-ads.txt, - ocultar la política de privacidad que las stores deben poder abrir (los usuarios también).
Resultado: AdMob no verifica vendedores autorizados, o pierdes indexación de guías que te traen tráfico.
Qué debe ser siempre crawleable
En un dominio pensado para apps (o en tu subdominio AppConsol), deja públicos:
/(si hay landing)/privacy-policy(o la ruta que uses)/terms/app-ads.txt/robots.txty/sitemap.xmlsi existen- rutas de blog si usas contenido SEO
Los crawlers de ads y los revisores humanos necesitan acceso sin login.
Ejemplo conservador (permitir lo importante)
User-agent: *
Allow: /
# No bloquees recursos legales ni ads
Allow: /privacy-policy
Allow: /terms
Allow: /app-ads.txt
Sitemap: https://www.tudominio.com/sitemap.xml
Si no tienes secciones privadas, no necesitas un Disallow agresivo.
Ejemplo de lo que NO debes hacer
User-agent: *
Disallow: /
Eso puede impedir que se rastree app-ads.txt según cómo lo interpreten distintos bots, y envía una señal pésima para SEO.
Tampoco bloquees:
Disallow: /app-ads.txt
Disallow: /privacy
AppConsol y robots
En el sitio principal de AppConsol ya hay robots.ts y sitemap.xml para el marketing/blog. En el subdominio de tu app, lo crítico es que tus recursos publicados (privacy-policy, terms, app-ads.txt, formulario de borrado) respondan 200 públicos.
Si añades un robots.txt propio como recurso, revísalo para no contradecir AdMob ni las stores.
SEO: robots no sustituye contenido
robots.txt no posiciona por sí solo. Para visitas necesitas:
- páginas útiles (como este blog),
- titles/descriptions claros,
- sitemap enviado a Search Console,
- enlaces internos entre guías.
AppConsol publica el blog en www.appconsol.com/blog con sitemap automático de posts.
Checklist
-
app-ads.txtabre en el navegador - Política abre sin login
-
robots.txtno tieneDisallow: /injustificado - Sitemap accesible (sitio marketing)
- Tras cambios, prueba con Google Search Console / URL inspection cuando puedas
Conclusión
Un robots.txt sensato no esconde tus URLs legales ni tu app-ads.txt. Permite lo público, evita bloqueos totales y deja que AdMob y Google lean lo que deben.
Si además necesitas hostear esos archivos, crea tu app en AppConsol y publícalos en tu subdominio.