# # robots.txt para http://www.ciemat.es # # creado el: 09/06/2006 13:58h # creado por: Grupo Intermark http://www.grupointermark.com # creado para: WebControlCMS (R) # más información en: http://www.robotstxt.org # # Función: permite o deniega el acceso a los robots de los motores de búsqueda. # # Instrucciones de configuración: # # User-agent: # Descripción: Indica el agente de usuario que visita la página # Valores: # * -> para todos los robots # -> para un robot específico # # Disallow: # Descripcion: Indica si se tiene acceso a # Valores: # (vacio) -> acceso permitido a todo el web # / -> acceso denegado a todo el web # // -> acceso denegado a y todo su contenido # // -> acceso denegado a de # # Ejemplos: # # Descripción: Regla que deniega el acceso del robot # de www.google.com (googlebot) a todo el web # User-agent: googlebot # Disallow: / # # Descripción: Regla que permite el acceso de todos los robots # al web completo # User-agent: * # Disallow: # # Descripción: Regla que deniega el acceso del robot # de www.google.com (googlebot) a la carpeta /recursos/ # User-agent: * # Disallow: /recursos/ # User-agent: * Disallow: /pages/ User-agent: * Disallow: /recursos/gruposTrabajo/