Common Crawl, FineWeb, RefinedWeb y C4 en 2026: cómo entrar en los datasets de pre-entrenamiento que alimentan a ChatGPT, Claude, Gemini, Llama, Grok y Mistral para que tu gimnasio, entrenador personal, fisioterapeuta o centro wellness salga citado por defecto sin necesidad de búsqueda en tiempo real

Respuesta rápida

El GEO que la mayoría de marcas fitness conoce solo cubre la mitad del problema: la búsqueda en tiempo real (cuando ChatGPT, Perplexity o AI Mode lanzan una consulta y citan a quien rankee mejor en ese momento). La otra mitad, mucho menos trabajada, es el conocimiento paramétrico: lo que el modelo ya sabe sin necesidad de buscar, porque lo aprendió durante el pre-entrenamiento. Ese conocimiento se construye sobre datasets públicos como Common Crawl, FineWeb (HuggingFace), RefinedWeb (Falcon), C4 (Google T5), The Pile (EleutherAI) y derivados, que en 2026 siguen siendo la base que alimenta a ChatGPT, Claude, Gemini, Llama, Grok, Mistral, DeepSeek y Qwen. Si tu dominio está dentro de esos corpus con suficiente volumen, calidad y consistencia de marca, el modelo te puede citar sin abrir Bing ni Google; si no estás, dependes 100% del grounding de búsqueda y tu cuota cae cuando un competidor mejor rankeado aparece. La realidad de 2026: entre el 60% y el 80% de las marcas fitness pequeñas y medianas están parcial o totalmente fuera de estos datasets por bloqueos de robots.txt, baja calidad técnica, dominios jóvenes, duplicación interna o filtros de calidad como FineWeb-Edu. Esta guía explica qué datasets se usan en 2026, cómo se construyen, qué señales meten tu dominio dentro, cómo auditar tu presencia y un plan operativo para conseguir citas permanentes antes del próximo knowledge cutoff.

Este post cubre seis frentes: por qué el pre-entrenamiento sigue importando en la era de la búsqueda en tiempo real, qué datasets se usan realmente en 2026, qué filtros aplican, qué señales meten o expulsan a un dominio, cómo auditar tu presencia hoy y un plan editorial y técnico para sembrar tu marca antes del próximo entrenamiento.

---

La otra mitad del GEO que casi nadie trabaja en 2026

El GEO típico se centra en el "grounding": ChatGPT abre Bing, busca, recupera unas pocas URLs, las cita. Perplexity hace lo mismo con su propio índice. AI Mode con Google. Si controlas frescura, schema, autoridad y answer-first, ganas la cita.

Pero hay otra capa. Cuando un usuario hace una pregunta del tipo "¿qué es la fuerza relativa?" o "¿cuánto cuesta un entrenador personal en Madrid?", muchos modelos responden sin abrir búsqueda en absoluto si confían en su memoria paramétrica. En esa respuesta, las marcas que aparecen son las que el modelo aprendió durante el pre-entrenamiento. No están citadas con un link en tiempo real; están horneadas dentro del propio modelo.

Cuando ChatGPT, Claude o Gemini sí abren búsqueda, el resultado también está sesgado por lo que el modelo ya sabe. Si tu marca aparece en su conocimiento previo, prioriza citarte sobre un dominio que nunca ha visto antes con autoridad equivalente. La señal paramétrica refuerza el grounding y al revés.

Por eso el GEO maduro de 2026 trabaja las dos capas:

• Capa RAG (búsqueda en tiempo real): schema, frescura, answer-first, IndexNow, autoridad de dominio.
• Capa paramétrica (pre-entrenamiento): presencia repetida y consistente en los datasets que alimentan a los próximos modelos.

La primera capa la cubrimos en docenas de posts. La segunda es el huérfano del sector. Esta guía la cubre.

Conecta con AEO vs GEO vs SEO: estrategia de tres capas para gimnasios y entrenadores y con crawlers IA, logs de servidor, GPTBot, ClaudeBot y PerplexityBot.

Qué es un dataset de pre-entrenamiento y por qué importa

Un dataset de pre-entrenamiento es el corpus de texto (y a veces multimodal) sobre el que se entrena un modelo grande de lenguaje desde cero. Decenas de terabytes de documentos: páginas web, libros, código, foros, Wikipedia, papers académicos, transcripciones.

Lo importante para una marca fitness:

1. Los datasets se construyen una vez por ciclo. Cuando OpenAI entrena GPT-5 o Anthropic entrena Claude 4, fijan una "knowledge cutoff" y un snapshot de los corpus. Esa foto se queda hasta el siguiente entrenamiento (típicamente 6-18 meses).
2. Tu URL tiene que estar en el snapshot. Si Common Crawl pasó por tu sitio en marzo de 2025 con páginas válidas y bien crawled, esas páginas están en el corpus de muchos modelos posteriores.
3. Volumen, calidad y consistencia mandan. No basta con una mención. El modelo aprende patrones: tu marca tiene que aparecer en suficientes contextos, con suficiente consistencia y en suficientes formatos como para que el modelo "recuerde" sin buscar.
4. Los filtros expulsan a mucha gente. FineWeb-Edu, C4, RefinedWeb aplican filtros de calidad, deduplicación, toxicidad e idioma. Una página fitness mal estructurada puede ser descartada aunque esté en Common Crawl.

Conecta con chunking semántico y bloques extraíbles para citas IA y con llms.txt y crawlers IA para gimnasios y entrenadores.

Los datasets que importan en 2026

Una foto razonable a junio de 2026 de qué corpus alimentan a qué modelos:

Los corpus cerrados (OpenAI, Anthropic, DeepMind) no se documentan, pero existe un consenso: todos parten de Common Crawl como base y aplican filtros propietarios encima. Eso significa que entrar en Common Crawl de forma limpia y filtrable es la palanca compartida que da acceso a casi cualquier modelo grande, abierto o cerrado.

Para fitness en español, los datasets multilingües (mC4, ROOTS, FineWeb multilingüe) son críticos. Si tu sitio es solo en castellano y no aparece en los slices en español, no estás en la memoria paramétrica de los modelos en este idioma.

Conecta con Grok, Llama, Meta AI, Mistral, DeepSeek y Qwen: motores IA emergentes para gimnasios y con Claude, Anthropic y Brave Search: citas y respuestas para gimnasios.

Cómo se construye Common Crawl y por qué importa el detalle

Common Crawl es la columna vertebral del web crawl abierto. Su pipeline básico:

1. Frontier: lista de URLs semilla más URLs descubiertas en crawls anteriores.
2. Política de cortesía: respeto del robots.txt, límites de tasa, headers respetuosos.
3. Crawl mensual o trimestral: cada dump (CC-MAIN-2026-XX) recoge entre 2.500 y 3.500 millones de páginas.
4. Almacenamiento WARC, WET, WAT: HTML crudo, texto extraído y metadatos. El que más usan los datasets derivados es el WET (texto plano).
5. Publicación abierta: cualquiera puede descargar el dump y filtrarlo.

Las consecuencias prácticas para un negocio fitness:

• Si tu robots.txt bloquea CCBot (el crawler de Common Crawl) o devuelve 4xx/5xx en los pasos del crawl, no estás en el WET. No estás en el dataset. No estás en ningún derivado.
• Si tu HTML es JavaScript-only sin SSR, el WET extrae poco texto útil. Quedas como página vacía en el corpus aunque CCBot pase.
• Si tu contenido está duplicado entre páginas (mismo párrafo de marca repetido en 50 URLs), la deduplicación posterior te baja el peso.
• Si tu contenido no tiene densidad temática (poco texto, muchos botones, JS dinámico), los filtros de calidad (FineWeb-Edu, C4) te descartan.

Conecta con renderizado JavaScript, SSR e hidratación para crawlers IA y con schema y datos estructurados para gimnasios.

Los filtros que aplican los datasets modernos (y cómo pasarlos)

FineWeb-Edu (HuggingFace, 2024-2026) es la referencia actual de calidad. Su pipeline filtra Common Crawl con un clasificador de calidad educativa entrenado para identificar páginas que aportan conocimiento útil. Solo el 10% del Common Crawl original sobrevive a FineWeb-Edu, y de ese 10% viene la mayor parte de lo que entrena a los modelos abiertos de calidad media-alta.

Los filtros típicos en 2026 son:

1. Idioma: detector de idioma con umbrales de confianza. Páginas con mezcla idiomática mal marcada quedan fuera.
2. Calidad textual: ratio palabras/símbolos, longitud media de párrafo, presencia de párrafos coherentes (no listas de enlaces).
3. Densidad de información: bloques con explicaciones, datos, definiciones; no solo CTAs y header marketing.
4. Deduplicación a nivel documento y a nivel párrafo (MinHash, LSH): contenido replicado entre URLs propias o de terceros baja el peso.
5. Toxicidad y spam: clasificadores de calidad descartan contenido con CTAs agresivos, keyword stuffing, spam fitness (suplementos de venta dura, click-bait).
6. Edu score (FineWeb-Edu): clasificador de "valor educativo" que premia explicaciones, ejemplos, definiciones, datos verificables.
7. PII y privacidad: contenido con datos personales mal anonimizados se descarta.

Las páginas fitness que sobreviven mejor a estos filtros son las que parecen guías o manuales técnicos: explicaciones largas, definiciones claras, listas tipadas (no decorativas), tablas, referencias, datos con fuentes. Las páginas que más caen son las landings agresivas, los homes con poco texto y los listados de servicios sin explicación.

Conecta con contenido answer-first y bloques de respuesta para citas IA y con glosario y diccionario fitness con páginas de definición citables.

Por qué la mayoría de marcas fitness quedan fuera

En auditorías de marcas fitness en 2026, los patrones recurrentes que las dejan parcial o totalmente fuera de los corpus de pre-entrenamiento son:

1. Bloqueo accidental de CCBot en robots.txt. Plantillas de WordPress o Webflow vienen con bloqueos de "bots agresivos" que incluyen CCBot por defecto. Sin saberlo, la marca se autoexcluye del primer eslabón.
2. SSR ausente o defectuoso. Sitios construidos como SPA sin pre-render quedan como WET vacío o casi vacío.
3. Bloqueo del bot por WAF / CDN. Cloudflare, Vercel, AWS WAF pueden marcar CCBot como sospechoso y servirle 403 o un challenge JavaScript que no puede resolver.
4. Dominio joven. Common Crawl tarda 6-18 meses en cubrir bien un dominio nuevo. Una marca de 2026 puede no entrar bien en datasets hasta 2027.
5. Contenido duplicado interno. Mismas piezas de copy reutilizadas en 50-200 URLs deduplica casi todo el sitio.
6. Densidad informativa baja. Páginas con 100-300 palabras útiles no superan filtros de calidad.
7. Fragmentación de marca. Misma marca con dominios distintos por sede (madrid.dominio.com, valencia.dominio.com) sin enlaces internos coherentes desorienta la consolidación de entidad.
8. PII mal manejada. Páginas de equipo con emails, teléfonos sueltos y datos personales sin estructurar caen por filtros de privacidad en datasets recientes.
9. Contenido solo en castellano sin atributos lang y hreflang. Detectores de idioma con baja confianza descartan o etiquetan mal el documento.
10. Bloqueo intencional de GPTBot / ClaudeBot / Google-Extended. Sí, son crawlers distintos de CCBot, pero el patrón mental de "bloquear bots IA" suele acabar bloqueando todos. Y bloquear estos crawlers explícitos también te excluye del fine-tuning específico de cada motor.

Conecta con auditoría GEO "por qué ChatGPT cita a mi competidor" y con alucinaciones IA sobre marca: cuando ChatGPT y Perplexity dicen información incorrecta.

Cómo auditar si tu dominio está en Common Crawl y derivados

Antes de invertir en estrategia de pre-entrenamiento, audita estado actual. Pasos concretos:

1. Verifica acceso de CCBot:
   • curl -A "CCBot/2.0 (https://commoncrawl.org/faq/)" -I https://tudominio.com/
   • Espera un 200. Si recibes 403/429/503, hay problema.
2. Revisa robots.txt:
   • curl https://tudominio.com/robots.txt
   • Busca líneas tipo User-agent: CCBot con Disallow: /. Elimínalas si las hay.
3. Consulta el índice de Common Crawl (CC Index Server o index.commoncrawl.org):
   • Para un dump reciente: https://index.commoncrawl.org/CC-MAIN-2026-21-index?url=tudominio.com&output=json
   • Lista las URLs de tu sitio que están en el dump y con qué status code.
4. Audita densidad de páginas indexadas: cuántas URLs tienes vs cuántas hay en el dump. Esperar > 70% es razonable para sitios sanos.
5. Inspecciona el WET de una URL clave: descarga el WARC del dump y extrae el WET de tu home. Mira cuánto texto útil aparece. Si es vacío o muy corto, tu SSR falla.
6. Verifica que estás en HuggingFace FineWeb-Edu: el dataset es público en huggingface.co/datasets/HuggingFaceFW/fineweb-edu. Filtra por URL para confirmar.
7. Comprueba presencia en C4: el dataset también es público en huggingface.co/datasets/allenai/c4.
8. Pregunta directamente al modelo: lanza prompts del tipo "¿qué sabes de tudominio.com?" en ChatGPT, Claude y Gemini sin búsqueda activa. Si responde con detalle sin abrir Bing, está en su memoria paramétrica. Si dice "no tengo información", probablemente estás fuera o con muy poca señal.

Conecta con medir menciones en ChatGPT, Perplexity y Google AI: KPIs GEO y con herramientas de visibilidad de marca IA: Profound, Otterly, AthenaHQ, Peec.

Las palancas que sí mueven la aguja del pre-entrenamiento

Una vez auditado, estas son las palancas reales para conseguir presencia paramétrica:

1. Desbloquear el crawl

• Permitir a CCBot, GPTBot, ClaudeBot, Google-Extended, PerplexityBot, OAI-SearchBot y Amazonbot.
• Revisar reglas de WAF / CDN para que no bloqueen estos user agents.
• Servir 200 OK con HTML SSR rápido (< 1.5 s TTFB ideal).
• Confirmar que robots.txt, sitemap y URLs canónicas son consistentes.

2. Densidad informativa por página

• Mínimo 800-1.500 palabras útiles en páginas pillar.
• Definiciones, datos, tablas, FAQs explícitas.
• Eliminar landings con menos de 300 palabras (o consolidarlas).
• Cada página debe poder responder por sí sola al menos a una pregunta tipo "qué es / cómo funciona / cuánto cuesta / cuándo aplica".

3. Consistencia de marca

• Misma cadena de marca (nombre exacto) repetida en miles de contextos: home, blog, footer, casos de éxito, schema, sitemap.
• Organization schema con sameAs apuntando a redes sociales, Wikidata, Crunchbase, LinkedIn, directorios sectoriales.
• Misma denominación en toda la web abierta (LinkedIn, Glassdoor, prensa, podcasts).

4. Volumen de presencia externa

• Menciones en medios sectoriales fitness (Vitónica, Men's Health, Fitness Magazine, Hipertrofia).
• Entrevistas en podcasts y transcripciones publicadas.
• Casos de éxito mencionados en clientes y partners.
• Apariciones en Reddit, Quora, foros sectoriales con menciones espontáneas.

5. Calidad técnica auditable

• HTML semántico, headings jerárquicos, listas tipadas.
• Schema validado (Organization, LocalBusiness, Service, FAQPage, Article).
• Sin contenido duplicado entre URLs propias.
• Páginas de equipo y entrenadores con Person schema y sameAs (LinkedIn, ORCID, Instagram pro).

6. Hreflang y idioma marcados

• <html lang="es"> y hreflang en cada página.
• Si tienes inglés, separación clara por path o subdominio.
• Detección de idioma alta confianza para que los filtros multilingües te incluyan en el slice correcto.

7. Persistencia temporal

• URLs canónicas estables durante 12-24 meses al menos.
• No cambiar slugs sin redirección 301 robusta.
• No mover contenido entre dominios.

Conecta con topic clusters y pillar pages para arquitectura de contenido GEO y con entidad de marca, Wikidata y Knowledge Graph para GEO.

El debate del bloqueo: ¿bloquear o no bloquear a los crawlers IA?

En 2024-2025 hubo una ola de marcas grandes (NYT, BBC, Reuters) bloqueando GPTBot. La lógica: "no quiero que se entrenen con mi contenido gratis". Para una marca fitness pequeña o mediana, ese cálculo es distinto:

Bloquear te excluye del pre-entrenamiento. Cero presencia paramétrica. Dependes 100% del grounding en tiempo real. Si un competidor permite y tú bloqueas, el competidor está en la cabeza del modelo y tú no.

Permitir te da presencia paramétrica permanente. Una vez horneado en un modelo, sobrevives a citation decay, a cambios de ranking, a apagones de búsqueda.

La regla práctica para fitness en 2026: salvo que tengas contenido premium pagado o casos de propiedad intelectual sensible, permite. Tu objetivo es maximizar citas, no proteger texto que ya está público.

Configuración recomendada de robots.txt para fitness en 2026:

User-agent: CCBot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: Bytespider
Allow: /

User-agent: *
Allow: /

Sitemap: https://tudominio.com/sitemap.xml

Conecta con llms.txt y crawlers IA para gimnasios y entrenadores y con privacidad, RGPD e IA para gimnasios y entrenadores.

Knowledge cutoffs y la ventana de oportunidad

Los modelos de 2026 tienen knowledge cutoffs que se actualizan periódicamente. Una foto razonable a junio de 2026:

La implicación práctica: cada trimestre hay una ventana de pre-entrenamiento que captura el estado del corpus. Si has hecho un esfuerzo editorial importante en los meses previos, te beneficias del próximo cutoff. Si tu sitio cambia justo después del cutoff, esperas hasta el siguiente.

Esto justifica trabajar con cadencia trimestral: cada 90 días, antes del próximo crawl masivo, asegúrate de que tus páginas pillar tienen densidad, marca consistente y técnicas correctas.

Conecta con citation decay y la regla de las 13 semanas y con frescura y actualización de contenido GEO.

KPIs específicos del pre-entrenamiento

Métricas que te dicen si estás dentro o fuera:

Los dos KPIs más rentables son % URLs en último dump Common Crawl y respuesta del modelo sin búsqueda. El primero te dice si la materia prima existe; el segundo si los modelos ya te conocen.

Conecta con tráfico IA: medir, atribuir y convertir desde ChatGPT, Perplexity y Google AI y con auditoría GEO "por qué ChatGPT cita a mi competidor".

Plan de 90 días para entrar en los datasets de pre-entrenamiento

Semana 1: auditoría completa

1. Verifica respuesta a CCBot, GPTBot, ClaudeBot, Google-Extended, PerplexityBot.
2. Inspecciona robots.txt, WAF, CDN.
3. Consulta CC Index Server para URLs propias.
4. Lanza prompts "qué sabes de [marca]" sin búsqueda en ChatGPT, Claude, Gemini.
5. Documenta brechas.

Semana 2: desbloqueo técnico

6. Ajusta robots.txt con la configuración recomendada.
7. Revisa WAF / CDN para que CCBot y demás reciban 200 OK.
8. Verifica SSR en páginas pillar (Lighthouse, View Source).
9. Confirma lang y hreflang en todas las páginas.
10. Re-lanza curl simulando user agents y comprueba 200 con HTML completo.

Semana 3-4: densidad y calidad

11. Audita 30-50 páginas pillar por densidad informativa.
12. Reescribe landings con menos de 500 palabras útiles.
13. Añade definiciones, tablas, FAQs explícitas.
14. Consolida páginas duplicadas (canonical + 301).
15. Elimina contenido replicado de footer o boilerplate en bloques principales.

Semana 5-6: consistencia de marca

16. Asegura Organization schema con sameAs apuntando a redes, Wikidata, LinkedIn, directorios.
17. Audita menciones de marca en LinkedIn, Wikipedia, Crunchbase, prensa, podcasts.
18. Crea ítem en Wikidata si no existe (proceso documentado en otro post).
19. Coordina con partners para mencionar la marca con denominación oficial.

Semana 7-8: distribución externa

20. Lanza 2-3 colaboraciones con medios sectoriales fitness.
21. Aparece en al menos 1 podcast con transcripción publicada.
22. Solicita reseñas en directorios verticales (Capterra, Trustpilot, Google Business).
23. Coordina menciones en Reddit y Quora con respuestas útiles del equipo.

Semana 9-10: validación y seguimiento

24. Vuelve a auditar respuesta a crawlers (debe ser 200 estable).
25. Mide presencia en FineWeb-Edu si hay nuevo dump publicado.
26. Re-lanza prompts paramétricos en los 3-4 modelos clave y compara con baseline.
27. Documenta cambios en KPI sheet.

Semana 11-12: institucionalización

28. Establece rutina trimestral de auditoría pre-cutoff.
29. Crea checklist técnico para cada nueva URL del sitio.
30. Define rol responsable de "GEO de pre-entrenamiento" en el equipo.

Por qué Fitai Labs ayuda en este frente

El pre-entrenamiento es la parte de GEO más alejada del marketing tradicional y la que más combina técnica con consistencia editorial sostenida. Una plataforma operativa con:

• Web pública con SSR limpio y HTML semántico, que pasa filtros de calidad de FineWeb-Edu y similares.
• Schema Organization, Service, LocalBusiness, FAQPage y Person consistente en toda la red de páginas.
• Renderizado SEO-friendly sin depender de JavaScript del cliente.
• Densidad informativa por página alineada con cómo los filtros premian conocimiento útil.
• App de cliente que multiplica menciones de marca en contextos externos (reseñas, casos, testimonios).
• CRM y atribución que conectan citas paramétricas con captación real.

Es la diferencia entre estar en la cabeza de los modelos cuando un cliente pregunta sin buscar y depender únicamente de que el motor te encuentre vía Bing en el momento exacto.

Si quieres revisar si tu gimnasio, estudio, clínica o servicio de entrenamiento está dentro o fuera de los datasets de pre-entrenamiento, qué bloqueos técnicos tienes y cómo prepararte para el próximo knowledge cutoff, agenda una demo de Fitai Labs y revisamos contigo el estado actual y la hoja de ruta. Si prefieres por WhatsApp, escríbenos aquí.

Preguntas frecuentes

¿Tiene sentido para una marca fitness pequeña preocuparse del pre-entrenamiento?

Sí, especialmente si compites en consultas con intención comercial (mejor app de gimnasio, mejor entrenador en X). El pre-entrenamiento da una capa de defensa que el grounding en tiempo real no te da. Y el coste marginal es bajo si ya estás haciendo GEO en serio: las palancas son las mismas (técnica limpia, contenido denso, marca consistente).

¿Cuánto tarda en notarse que estoy en Common Crawl?

Common Crawl publica dumps mensuales. Una URL nueva puede aparecer en el siguiente dump (4-8 semanas). FineWeb-Edu se publica trimestralmente. Los modelos entrenan con estos datasets en ciclos de 6-18 meses. La ventana realista para ver impacto paramétrico es de 3 a 12 meses.

¿Bloquear GPTBot, ClaudeBot y CCBot me protege de algo útil?

Para la mayoría de marcas fitness pequeñas y medianas, no. Te excluye de ser citado de forma orgánica. Si tu modelo de negocio es contenido premium pagado, sí tiene sentido proteger. Si tu contenido es marketing público, bloquear te hace invisible para la capa paramétrica.

¿Cómo sé si ChatGPT me conoce sin buscar?

Lanza un prompt del tipo "¿qué sabes de [nombre de tu marca]?" pidiendo que no use búsqueda. Si responde con detalle y describe tu propuesta, estás en su memoria. Si dice "no tengo información" o describe a alguien que no eres tú, no estás o estás mal representado.

¿Sirve crear un dominio nuevo y "sembrar" para entrar antes?

Un dominio nuevo tarda 6-18 meses en cubrirse bien en Common Crawl. Acelerar con backlinks, sitemap activo y respuesta limpia ayuda. Pero no esperes presencia paramétrica robusta hasta al menos 12-24 meses tras lanzamiento.

¿FineWeb-Edu es mejor que C4?

FineWeb-Edu es más estricta con calidad (clasificador de valor educativo). Pasa menos páginas pero las que pasan son más relevantes para entrenamiento. C4 es más permisiva. Estar en ambas es óptimo. Estar solo en C4 es válido pero menos potente.

¿Cómo afecta tener WordPress vs Next.js a la presencia en datasets?

No tanto la tecnología como la implementación. WordPress con HTML limpio y bien optimizado entra perfectamente. Next.js sin SSR (solo CSR) o con SSR mal configurado deja a CCBot leyendo poca cosa. La regla es: SSR + HTML semántico + densidad informativa.

¿Debo migrar a https si aún tengo http?

Sí, hace décadas. Common Crawl prefiere https. Modelos modernos pueden tratar http como señal de calidad baja.

¿Si cambio mi slug de URL pierdo presencia paramétrica?

En parte. El modelo aprendió la URL antigua. Hasta el próximo cutoff con tu nueva URL, podrías quedar fragmentado. Mantén 301 robustos y minimiza cambios de slugs en piezas pillar.

¿Cómo se relaciona esto con el llms.txt?

llms.txt es señalización editorial: ayuda al motor a entender qué páginas son tu núcleo. Es complementario al pre-entrenamiento. Pasa los filtros técnicos primero, luego dirige con llms.txt.

¿Tengo que repetir la marca muchas veces en cada página?

No con keyword stuffing, sí con contexto natural. Que la marca aparezca en home, sección "sobre nosotros", footer estructurado, casos, blog, schema. Que en el blog se mencione cuando aporta. Esto da consistencia de entidad sin caer en spam.

¿Cuántas horas semanales requiere mantener esta capa?

Una vez configurada, 1-2 horas semanales para auditorías rápidas y 6-8 horas trimestrales para la auditoría pre-cutoff. Es bajo coste recurrente con alto retorno acumulado a 12-24 meses.

Fuentes y referencias

• Common Crawl Foundation: about
• Common Crawl Index Server
• HuggingFace: FineWeb dataset
• HuggingFace: FineWeb-Edu dataset
• Allen AI: C4 dataset
• Together AI: RedPajama
• Allen AI: Dolma dataset
• Technology Innovation Institute: RefinedWeb (Falcon)
• EleutherAI: The Pile
• OpenAI: GPTBot user agent
• Anthropic: ClaudeBot guide
• Google: Google-Extended
• Perplexity: PerplexityBot
• Schema.org: Organization
• Schema.org: sameAs