###################################
# Robots.txt
#
# Basado en: InfraBios.com
###################################
 
# Mi Mapa del sitio - No proporcionar simplemente por el gusto de hacerlo
 
Sitemap: http://www.dsproject.net/forods/sitemap/?xml
 
# Google - Bot Mas importantes
#  Lamentablemente robots.txt sólo evitar que determinadas direcciones URL de rastreo, 
#  y no la adición de cualquier URL a través de la que procede en su índice. Por lo tanto, estamos confiando en una metaetiqueta noindex.
 
User-agent: Googlebot
 
# No indexar versiones móviles
 
  Disallow: /index.php?*;wap
  Disallow: /index.php?*;wap2
  Disallow: /index.php?*;imode
  Disallow: /*sort=
  Disallow: /*msg
  Disallow: /attachments/
  Disallow: /avatars/
  Disallow: /Packages/
  Disallow: /sitemaps/
  Disallow: /Smileys/
  Disallow: /Sources/
  Disallow: /Themes/
 
# Yahoo - Demasiado agresivo
# Por lo tanto, limitar tanto como sea posible.
 
  User-agent: Slurp
 
# Disallow Everything
 
  Disallow: /
 
# Ahora y luego permitir que los bits de inhabilitar bits
 
  Allow: /site_map_citrus.xml$
  Allow: /index.php?action=sitemap;xml
  Allow: /robots.txt$
  Allow: /index.php$
  Allow: /index.php?topic=*.0$
  Allow: /index.php?topic=*.*0$
  Allow: /index.php?topic=*.*5$
  Allow: /index.php?board=*.0$
  Allow: /index.php?board=*.*0$
  Allow: /index.php?board=*.*5$
 
# Pero no permitir que estos
 
  Disallow: /index.php?*.msg
  Disallow: /index.php?topic=*.msg*0$
  Disallow: /index.php?topic=*.msg*5$
  Disallow: /index.php?*.new
  Disallow: /attachments/
  Disallow: /avatars/
  Disallow: /Packages/
  Disallow: /sitemaps/
  Disallow: /Smileys/
  Disallow: /Sources/
  Disallow: /Themes/
 
# Cualquier cosa con un; disallow
 
  Disallow: /index.php?*;*
 
  User-agent: *
 
  Disallow: /attachments/
  Disallow: /avatars/
  Disallow: /Packages/
  Disallow: /sitemaps/
  Disallow: /Smileys/
  Disallow: /Sources/
  Disallow: /Themes/
 
# Mala robot - A menudo hace caso omiso de robots.txt - Residuos de ancho de banda
# A pesar de reclamar en su página web a ser un motor de búsqueda en el desarrollo
 
  User-agent: Twiceler
 
    Disallow: /
 
  User-Agent: W3C-checklink
 
    Disallow: /
 
  User-agent: TurnitinBot
 
    Disallow: /
 
# Parar siguiente PHPSESSID's
 
  User-Agent: MJ12bot
  Disallow: /index.php?PHPSESSID
 
# Todas las capturas (el resto)
# Será seguido por cualquier otro de los robots mencionados anteriormente
# Utilización BASE robots.txt directivas sin comodines, al final anclas etc
# Por lo tanto, deben comprender estas arañas (incluyendo MSNBot)
 
  User-agent: *
 
# SMF carpetas por defecto
 
  Disallow: /attachments/
  Disallow: /Packages/
  Disallow: /Smileys/
  Disallow: /Sources/
  Disallow: /Themes/
 
 
# Predeterminados SMF Acciones
 
  Disallow: /index.php?action=activate
  Disallow: /index.php?action=admin
  Disallow: /index.php?action=calendar
  Disallow: /index.php?action=emailuser
  Disallow: /index.php?action=findmember
  Disallow: /index.php?action=help
  Disallow: /index.php?action=helpadmin
  Disallow: /index.php?action=login
  Disallow: /index.php?action=logout
  Disallow: /index.php?action=mlist
  Disallow: /index.php?action=modifykarma
  Disallow: /index.php?action=pm
  Disallow: /index.php?action=post
  Disallow: /index.php?action=printpage
  Disallow: /index.php?action=profile
  Disallow: /index.php?action=recent
  Disallow: /index.php?action=register
  Disallow: /index.php?action=reminder
  Disallow: /index.php?action=search
  Disallow: /index.php?action=theme
  Disallow: /index.php?action=unread
  Disallow: /index.php?action=unreadreplies
  Disallow: /index.php?action=verificationcode
  Disallow: /index.php?action=who
  Disallow: /index.php?theme
  Disallow: /index.php?action=stats;expand
  Disallow: /index.php?action=stats;collapse