Правильный robots.txt для WordPress

Файл robots.txt содержит набор правил по индексированию сайта: какие страницы и разделы запретить к индексации, какой домен считать главным, а какой его зеркалом: с «www» или без «www», по какому адресу находится sitemap.xml, рекомендации по соблюдению определенного интервала между скачиваниями роботом документов с сервера и многое другое.

Веб-разработчиками, работающими с WordPress, проведено большое количество тестов на наиболее оптимальное содержание robots.txt для сайта с учетом структуры платформы. Одно из наиболее оптимальных приведено ниже.

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: */trackback
Disallow: */feed
Disallow: /?feed=
Disallow: /?s=
Disallow: /?se=
Disallow: /*?*
Disallow: /tag
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: */comment-page*
Disallow: */replytocom=
Disallow: */tag
Disallow: /author*
Disallow: */?author=*

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: */trackback
Disallow: */feed
Disallow: /?feed=
Disallow: /?s=
Disallow: /?se=
Disallow: /*?*
Disallow: /tag
Disallow: /xmlrpc.php
Disallow: */comments
Disallow: */comment-page*
Disallow: */replytocom=
Disallow: */tag
Disallow: /author*
Disallow: */?author=*

Host: kamadigital.ru
Sitemap: http://kamadigital.ru/sitemap.xml