Рекомендації щодо SEO під Google. Частина 7. Ефективно використовуйте robots.txt
Файл robots.txt повідомляє пошуковій системі, чи може вона отримати доступ та просканувати ту чи іншу частину вашого сайту. Цей файл, який має мати назву robots.txt, завантажується у кореневий каталог сайту. (google-seo.at.ua/robots.txt)
Ви можете уникати сканування деяких частин вашого сайта, оскільки вони не будуть корисними користувачам, які побачать посилання на ці сторінки у результатах пошуку. Якщо на вашому сайті є субдомени, то потрібно створити окремий файл robots.txt для кожного субдомену.
Є кілтка інших способів запобігти появі деяких сторінок вашого сайту у результатах пошуку, наприклад noindex для метатегу robots, використання .htaccess щоб запаролити закриті каталоги, або Google Webmaster Tools для того, щоб вилалити контент, який вже був просканований.
Вдале використання robots.txt
Використовуйте більш безпечні методи для контенту, який бажаєте захистити
За допомогою robots.txt складно захистити конфеденційну інформацію, оскільки пошукові системи можуть відображати у результатах пошуку URL сторінки, закритої файлом robots.txt. Крім того, деякі пошукові стстеми можуть ігнорувати файл robots.txt і індексувати сторінки, які він забороняє. Наостанок, любопитні користувачі можуть перевірити каталоги і підкаталоги, закриті файлом robots.txt і дізнатися url сторінок, контент яких ви не бажаєте показувати. Шифрування контенту або запаролення його - більш безпечні альтернативи.
Уникайте: - дозволяти для індексування, наприклад, сторінки з результатами пошуку (користувачі не люблять переходити з однієї сторінки з результатами пошуку до іншої, це не приносить їм жодної користі) - дозволяти для індексування численні автоматично згенеровані сторінки з майже однаковим контентом - дозволяти для індексування сторінки з результатами проксі-сервісів.
