Blogia
VentaOnline - La aventura de vender en la red

POSICIONARSE EN BUSCADORES

Los Ficheros Robot.txt

Los Ficheros Robot.txt

Nota del Editor

Continuando con el tema de las etiquetas, o meta-tags, es muy importante mencionar las etiquetas de los robots. Estas pocas veces se mencionan pero son de gran importancia porque permiten comunicarnos con las "arañas", o robots, que viajan por el Internet indexando las páginas inscritas en los motores de búsqueda.

Hoy mas que nunca hay que tener presentes los archivos robot.txt porque los buscadores ya entraron a efectuar lo que se denomina el "deep-linking". Es decir, los robots entran a las páginas y examinan todo el contenido de cada página. Ya los buscadores no se limitan a los "meta-tags" de la descripción, nombre y key-words. Ahora entran y catalogan TODO el contenido, salvo instrucciones en otro sentido.

Es importante controlar este proceso de busqueda, que es guiado por los algoritmos de los buscadores (search engines). Para ello es necesario conocer el uso y el manejo de los ficheros robot.txt .

El Boletín del ABC del Internet tiene por finalidad ser una herramienta de ayuda para todos los Webmasters de habla hispana. Para suscripciones o retiros, ver los enlaces al final de la edición.

_____________________________


ABC DE LOS FICHEROS ROBOT.TXT

1- Para qué sirven los Archivos Robot.txt ?

Si su sitio web tiene páginas o directorios que no desea que sean indexados por los motores de busqueda, usted puede utilizar los ficheros robot txt para guiar a los robots sobre lo que pueden hacer y lo que no pueden hacer en un sitio web.

Al llegar el robot (o "spider") al sitio, busca los ficheros robot.txt y sigue sus instrucciones. Estos ficheros no son obligatorios, por esta razón muchos sitios web no los tienen. Los ficheros robots.txt siempre se deben denominar "robots.txt" y deben estar escritos en ascii.

2- Donde se colocan los Archivos Robot.txt ?

Deben ubicarse en el directorio principal (root directory) del sitio web porque es ahí donde las arañas estan instruídas a buscarlos.

Tome nota, si usted no tiene instalado un fichero robot.txt en el directorio principal de su sitio web es muy probable que en las estadísticas de tráfico de su sitio aparezcan muchos errores 404. Esto se origina al solicitar las arañas el fichero y no encontrarlo.

^ Regresar arriba

3- Como se crean los ficheros Robot.txt ?

Con la ayuda de un procesador de palabras (word pad) o un editor de HTML, usted podrá: (a)- crear el archivo, (b)- salvarlo como: "robots.txt", y (c)- subir el fichero al directorio principal, utilizando un programa de FTP en la modalidad ACSII .

Ejemplos del código:
Para excluir todos los robots de algunas partes del sitio web o servidor:
User-agent: *
Disallow: /cgi-bin/
Disallow: /misc/sitestats/

Excluir un robot (o "spider") específico de algunas partes del sitio web o servidor:
User-agent:slurp.so/
Disallow: /cgi-bin/
Disallow: /secure/
Disallow: /products/
Disallow:/misc/sitestats/

Para indicar que nada esta restringido y que los robot puede seguir todos los links:
User-agent: *
Disallow:

Para permitir acceso completo a un robot específico y excluir a todos los demás:
User-agent: Googlebot/1.0
Disallow:
User-agent: *
Disallow: /

OJO, peligro: este código le restingir el acceso a todos los robots:
User-agent: *
Disallow: /

^ Regresar arriba

4- Cuales son los principales robots?
Cada buscador tiene sus propios robots o "spiders". La lista es larga, por limitaciones de espacio aquí solamente mencionamos los más famosos:

Alta Vista : Scooter
Infoseek : InfoSeek Sidewinder Ultraseek Mozilla
Lycos : Lycos_Spider_(T-Rex)
Google : Googlebot/1.0
Inktomi : Slurp Slurp.so

^ Regresar arriba

5- Donde se colocan las etiquetas (tags) de los robots?

Las etiquetas o meta-tags para los Robots se colocan en el encabezado de la página web para instruir al robot sobre lo que puede y no puede indexar. Vea el ejemplo siguiente ilustrativo:



El ABC del INTERNET





^ Regresar arriba

6- Cuales son las etiquetas (meta-tags) para los Robots?

Indexar la página y seguir los links


No indexar la página, pero seguir los links


Indexar la página, pero no seguir los links:


No indexar ni seguir los links:


Usted puede utilizar (colocar) estas etiquetas en cada página específica conforme sean los requerimientos individuales para cada página.

^ Regresar arriba


Y eso es todo por hoy amigos. Hasta la próxima edición.
Un saludo para todos!

Enrique de Argaez, Editor
webmaster@abcdelinternet.com

Ventajas de usar METAS

Ventajas de usar METAS

Ventajas de usar METAS

Uno puede tener muchas metas en la vida y lograrlas todas, pero en este caso no nos referimos a este tipo de metas. Vamos a estar hablando sobre la etiqueta del HTML

Uno puede escribir un documento web sin tener que usar la etiqueta de . No importa si uses o no esta etiqueta tu documento será desplegado muy elegantemente sin ningún problema. ¿Entonces, para que me sirve esta etiqueta? Según Webopedia: "La etiqueta provee información sobre la página web. A diferencia de una etiqueta normal HTML, la etiqueta meta no afecta la visibilidad de la página. En realidad provee información sobre el autor del documento, cada cuanto se actualiza, de que trata la página y que palabras claves (keywords ) representa el contenido de la página. Muchos motores de búsqueda (search engines) usan esta información para crear sus índices." Según la World Wide Web Consortium (W3C): "meta data es información para ser interpretada en el ámbito de maquina (machine language)" Uno de los meta más importante para los motores de búsqueda son los "Meta Keywords" y "Meta Description". Para los "Meta Keywords" recuerda usar palabras que describan el contenido de tu página. Se sabio y no trates de hacer trampa colocando palabras para tratar de aumentar tu "ranking", pues actualmente los motores de búsqueda poseen funciones para detectar este tipo de fraude. Cuando vayas a escribir la descripción en el "Meta Description", ten en cuenta estos mismo detalles. Trata de ser conciso y claro. El propósito de tu página es un buen candidato para ser el contenido de la descripción de tu página.

Meta Keywords

Los "keywords" son palabras claves que describen el contenido de tu página web.

Meta Description

La descripción de tu página es muy importante. Debes saber que la mayoría de los motores de búsqueda solo toman los primeros 150 caracteres de la descripción. Así que debes colocar una descripción bastante concisa y efectiva.

Meta Redirect.

Con este meta podemos redireccionar al usuario de una pagina a otra. Por ejemplo: En esta META de arriba, al cabo de 10 segundos el usuario será trasladado a www.ecodig.com.

Meta Refresh
> Recarga la página periódicamente. El número 600 indica los segundos que se tardará en recargar la página.

Meta Window-target

Se usa para mantener la página web fuera del marco (frame).
Los siguientes meta se describen por sí solo.

Meta Author

Meta Date

Meta Copyright

Meta Expiration

El navegador carga la página directamente del chache. Una vez expire la fecha el navegador carga la página desde el servidor.
Recarga la página web directamente al servidor.

META Cache-Control

Evita que la página web sea cargada al cache por el servidor o el navegador.
La siguiente etiqueta solo funciona en los navegadores de Netscape.

META Content-Type
META Content-Style-Type

META Robots Los "Robots" son programas usados por los motores de búsqueda para indexar las páginas de un website. Si deseas que todas las paginas sean indexas utiliza el siguiente meta:

Pero si no lo deseas, puedes:

No añade la pagina al motor de búsqueda. También puedes usar
)

No añade la página inicial pero el robot continua el orden de los enlaces de tu site.

Solo indexa la pagina inicial.

META Generator

Es añadido automaticamente por la mayoría de los programas para crear páginas web.

META "Smart Parsing"

Esta etiqueta es una creacion de Microsoft para enlasar las paginas web con alguna palabra clave dentro de un documento. No recomiendo su uso pero si deseas mas información visitas las siguientes páginas:

http://www.sitepoint.com/article/888
http://www.alistapart.com/stories/smarttags/
http://www.officesmarttags.com/

Toma tu tiempo para escoger que meta colocar en las páginas de tu website. Recuerda siempre usar palabras claves y no hagas trampa para subir de "ranking" en los motores de búsqueda, podrás quedar expulsado de sus índices y perderás algunas visitas.

Autor: Jaime Olmo
http://www.ecodig.com/webdesign/metadata.php

Comprobando el PageRank en Google desde tu sitio

Comprobando el PageRank en Google desde tu sitio


kabytes chequea el PageRank de GoogleDesde el blog de kabytes llega una herramienta fantástica que permite chequear el PageRank de cualquier sitio en diferentes datacenters. Han liberado el código PHP en formato Zip para su descarga, libre de toda licencia para usarlo o modificarlo.

Esta aplicación online podemos presentarla en nuestro sitio web o blog como un servicio al usuario, donde deberá ingresar el nombre de dominio de su página web y observar los resultados en el PageRank. Seguir leyendo

Domina los spider-robots de los buscadores con meta comandos

Domina los spider-robots de los buscadores con meta comandos

Los motores de búsqueda usan robots o spiders para indexar los sitios web. Hay varias formas de modificar su comportamiento, generando un archivo robots.txt, como hablamos en algún momento. También sabemos que hay tecnologías que no funcionan bien con los spiders (Flash, Javascript, etc.), que hay que tener en cuenta si queremos que el sitio se posicione alto. Sin embargo, el uso de meta comandos para robots en cada una de las páginas de nuestro sitio puede hacer que los robots trabajen a favor nuesto.

Los “Spider Commands” más usados

Este comando es uno de los más usados y uno de los menos necesarios. La función del robot es indexar tu sitio, salvo que le indiques que no lo haga. El comando “index” es como si dijeras “Hola, robot, si quieres indexar mi sitio, adelante”. Está de más ya que el sitio se indexará de todas formas.

Este comando es igual que el anterior. Le indica al robot que “siga” los links que hay en esa página, pero de nuevo es una función que el robot hará sin que se lo pidan.

Este sí es útil. Indica a un robot que NO indexe la página. Pero hay que tener en cuenta que sí seguirá los links que haya en ella.

Algo muy importante: hace alrededor de un mes publicamos una nota sobre la penalización de Google a quienes usen este comando para fines ilegítimos. Esto se debe a que “noindex” puede usarse para que una página no sea indexada ni vista por el público, pero que sí que se indexen un montón de links irrelevantes dentro de ella con el objetivo de subir el PageRank del sitio. Esto no es para nada recomendable.

Pero un buen uso de este comando sería si tienes un sitio con una versión dinámica y otra en HTML normal, agregar “noindex” a las páginas dinámicas para evitar confusiones y caída del PageRank por error, al pensar que estás duplicando contenido.

Es para que los robots no indexen los links. ¿Te viste obligado a poner un link por cortesía pero la página destino deja mucho que desear? Puedes usar este truco para que tu PageRank no baje.

Esta es un arma poderosa. Mantiene a los robots a raya. “No leas esta página. No mires los links. No la indexes”. Hace que tu página sea invisible a todos los buscadores.

Todos los buscadores ofrecen versiones de los sitios que fueron almacenadas en el caché (cache version), que los usuarios pueden ver como si se tratara de una instantánea del sitio en el pasado. ¿Pero qué pasa con sitios que venden productos o servicios? Si los precios subieron y un usuario ve los precios anteriores no se llevará una buena impresión. Este comando les dice a los robots: “No guardes un archivo de esta página, habrá cambios frecuentes en ella”.

Hay mucho otros comandos, algunos no convenidos por todos los motores de búsqueda, pero estos funcionan universalmente y nos ayudarán a darle un empujón en el PageRank a nuestro sitio. Cuéntanos qué comandos usas tú y cómo te funcionan. ¡Esperamos tus comentarios!

Fuente: SiteProNews