114 | Cómo tener un correcto archivo Robots.txt en WordPress

En el episodio 114 de Wordpress Semanal te explico qué es el archivo robots.txt, te enseño a crearlo y te doy ejemplos de cómo puedes configurarlo en WordPress. Escuchar en iTunes Escuchar en iVoox Escuchar en Spotify Plugin de la semana: Instagram Feed Con el plugin Instagram Feed puedes mostrar fotos de instagram en tu web de forma actualizada. Ya sean de tu cuenta, de otras o de varias a la vez. Siempre que no sean privadas, claro. Viene con bastantes opciones de personalización y funciona a las mil maravillas (es el que uso para mis clientes). Si quieres opciones más avanzadas, como efectos en al pasar el ratón por encima, entonces puedes comprar la versión pro. El archivo robots.txt en WordPress ¿Qué es el archivo robots.txt? Un archivo que da indicaciones a los motores de búsqueda sobre cómo y qué tienen que rastrear en nuestra web Puede ser virtual (el que crea WordPress por defecto) o físico (si lo creas tú o algún plugin como Yoast) El físico se encuentra en la raíz de tu instalación de WordPress Si quieres comprobar si lo tienes o cómo lo tienes teclea en un navegador la dirección de tu web seguida de /robots.txt (por ejemplo https://gonzalonavarro.es/robots.txt) ¿Es el robots.txt importante para el SEO? Sí Sobre todo si haces las cosas mal Es aconsejable estar al día en las mejores prácticas ¿Cómo crear el robots.txt en WordPress? WordPress crear un archivo robots.txt virtual (es decir, no verás el archivo si accedes por FTP a tu web) También puedes crearlo tú mismo. Esto invalida el virtual. Puedes usar el plugin de Yoast para crearlo de forma automática ¿Qué tiene que tener tu robots.txt? A mi me gusta guiarme por los expertos en esto Por ejemplo, el de Yoast está prácticamente vacío Igual que el mío Pero hay que tener en cuenta que cada caso puede ser distinto Por ejemplo, Yoast bloquea una página de su web donde tiene una herramienta de sugerencias Pero en tu caso no tienes por qué hacerlo Olvídate de las antiguas prácticas No bloquees directorios de WordPress como wp-includes o wp-content/plugins Tampoco uses el robots.txt para bloquear urls que no reciben tráfico La forma correcta de hacerlo es con nofollow y noindex (puedes hacerlo con Yoast) No bloquees el wp-admin porque eso ya lo cubre WordPress (gracias a Yoast) Tampoco hace falta que pongas un enlace a tu sitemap (basta con que lo subas a través de Google Search Console) Probador de Robots.txt en Google Search Console y cómo indexarlo Puedes comprobar el estado del archivo robots.txt en Google Search Console Accede a tu cuenta y ve a Rastreo > Probador de Robots.tx Escribe robots.txt y dale a «Probar» Google te dirá si tienes errores Si has hecho cambios en el archivo, haz click en «Enviar» y después en el paso 3 («Enviar»). Esto hará que se indexe la versión nueva Ejemplos de robots.txt de algunos referentes en SEO y WordPress El de Yoast (ellos siempre lo tendrán actualizado) El de Romuald Fons (ya no es necesario el allow y el disallow que hace) Robots.txt de Neil Pattel (tiene problemas con los comentarios y por eso los bloquea) Para seguir aprendiendo a gestionar tu negocio o proyecto con WordPress, prueba el área para suscriptores durante 15 días sin compromiso y echa un vistazo a todos los cursos, la zona código y el soporte WordPress. Enlaces En este episodio he mencionado los siguientes recursos: Nuevo vídeo de la Zona código: crear listas numeradas personalizadas Curso del plugin de Yoast (vemos cómo crear el robots.txt, o cómo configurar el sitemap…) Conclusión El archivo robots.txt es un archivo muy poderoso que tiene que usarse con cuidado. Te permite denegar accesos pero realmente casi nunca deberías optar por esta opción. Con los años, Google ha cambiado la forma en la que rastrea las web así que las antiguas «mejores prácticas» ya no son válidas. Yo te recomiendo seguir a gente que viva del SEO (como Yoast) para estar siempre al tanto de lo que debes hacer. Si te ha gustado el episodio de hoy y quieres ayudarme a seguir creando episodios como este en iTunes, deja una valoración aquí (tardarás segundos). ¡¡Gracias!! Si me escuchas desde iVoox, también te agradezco tus comentarios y me gusta. La entrada 114 | Cómo tener un correcto archivo Robots.txt en WordPress es una artículo de Gonzalo Navarro.