Los Ficheros Robot.txt

Nota del Editor Continuando con el tema de las etiquetas, o meta-tags, es muy importante mencionar las etiquetas de los robots. Estas pocas veces se mencionan pero son de gran importancia porque permiten comunicarnos con las "arañas", o robots, que viajan por el Internet indexando las páginas inscritas en los motores de búsqueda. Hoy mas que nunca hay que tener presentes los archivos robot.txt porque los buscadores ya entraron a efectuar lo que se denomina el "deep-linking". Es decir, los robots entran a las páginas y examinan todo el contenido de cada página. Ya los buscadores no se limitan a los "meta-tags" de la descripción, nombre y key-words. Ahora entran y catalogan TODO el contenido, salvo instrucciones en otro sentido. Es importante controlar este proceso de busqueda, que es guiado por los algoritmos de los buscadores (search engines). Para ello es necesario conocer el uso y el manejo de los ficheros robot.txt . El Boletín del ABC del Internet tiene por finalidad ser una herramienta de ayuda para todos los Webmasters de habla hispana. Para suscripciones o retiros, ver los enlaces al final de la edición. _____________________________

ABC DE LOS FICHEROS ROBOT.TXT 1- Para qué sirven los Archivos Robot.txt ? Si su sitio web tiene páginas o directorios que no desea que sean indexados por los motores de busqueda, usted puede utilizar los ficheros robot txt para guiar a los robots sobre lo que pueden hacer y lo que no pueden hacer en un sitio web. Al llegar el robot (o "spider") al sitio, busca los ficheros robot.txt y sigue sus instrucciones. Estos ficheros no son obligatorios, por esta razón muchos sitios web no los tienen. Los ficheros robots.txt siempre se deben denominar "robots.txt" y deben estar escritos en ascii. 2- Donde se colocan los Archivos Robot.txt ? Deben ubicarse en el directorio principal (root directory) del sitio web porque es ahí donde las arañas estan instruídas a buscarlos. Tome nota, si usted no tiene instalado un fichero robot.txt en el directorio principal de su sitio web es muy probable que en las estadísticas de tráfico de su sitio aparezcan muchos errores 404. Esto se origina al solicitar las arañas el fichero y no encontrarlo. ^ Regresar arriba

3- Como se crean los ficheros Robot.txt ? Con la ayuda de un procesador de palabras (word pad) o un editor de HTML, usted podrá: (a)- crear el archivo, (b)- salvarlo como: "robots.txt", y (c)- subir el fichero al directorio principal, utilizando un programa de FTP en la modalidad ACSII . Ejemplos del código: Para excluir todos los robots de algunas partes del sitio web o servidor: User-agent: * Disallow: /cgi-bin/ Disallow: /misc/sitestats/ Excluir un robot (o "spider") específico de algunas partes del sitio web o servidor: User-agent:slurp.so/ Disallow: /cgi-bin/ Disallow: /secure/ Disallow: /products/ Disallow:/misc/sitestats/ Para indicar que nada esta restringido y que los robot puede seguir todos los links: User-agent: * Disallow: Para permitir acceso completo a un robot específico y excluir a todos los demás: User-agent: Googlebot/1.0 Disallow: User-agent: * Disallow: / OJO, peligro: este código le restingir el acceso a todos los robots: User-agent: * Disallow: / ^ Regresar arriba

4- Cuales son los principales robots? Cada buscador tiene sus propios robots o "spiders". La lista es larga, por limitaciones de espacio aquí solamente mencionamos los más famosos: Alta Vista : Scooter Infoseek : InfoSeek Sidewinder Ultraseek Mozilla Lycos : Lycos_Spider_(T-Rex) Google : Googlebot/1.0 Inktomi : Slurp Slurp.so ^ Regresar arriba

5- Donde se colocan las etiquetas (tags) de los robots? Las etiquetas o meta-tags para los Robots se colocan en el encabezado de la página web para instruir al robot sobre lo que puede y no puede indexar. Vea el ejemplo siguiente ilustrativo: El ABC del INTERNET ^ Regresar arriba

6- Cuales son las etiquetas (meta-tags) para los Robots? Indexar la página y seguir los links No indexar la página, pero seguir los links Indexar la página, pero no seguir los links: No indexar ni seguir los links: Usted puede utilizar (colocar) estas etiquetas en cada página específica conforme sean los requerimientos individuales para cada página. ^ Regresar arriba

Y eso es todo por hoy amigos. Hasta la próxima edición. Un saludo para todos! Enrique de Argaez, Editor [e-mail]