• Добро пожаловать на биржу фриланса Justwebber.com

  • Мы делаем удаленное сотрудничество удобным

  • Заказчикам - огромный выбор исполнителей, а фрилансерам - неиссякаемый поток проектов

  • За удаленной работой - ваше будущее и финансовое благополучие

Правильный robots.txt на DLE


Навигатор: Форумы / Предметное общение / Программирование / Правильный robots.txt на DLE
Автор Сообщение

SergeS

#1 /15.09.2013 11:53
 222
 

Карма:  3




Всем доброго времени. Интересует, такой вопрос каким должен быть robots.txt на DLE. У меня на сайте он выглядит вот так:

User-agent: *
Disallow: /engine/
Host: rusportable.ru
Sitemap: rusportable.ru/sitemap.xml:


И отредактировал файл /engine/engine.php

if (
$do == 'addnews' OR /* Страница добавления новости с сайта */
$do == 'alltags' OR /* Страница просмотра списка тегов */
$do == 'feedback' OR /* Страница формы обратной связи */
$do == 'favorites' OR /* Страницы закладок пользователей */
$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
$do == 'lostpassword' OR /* Страница восстановления пароля */
$do == 'pm' OR /* Страницы личных сообщений пользователей */
$do == 'register' OR /* Страница регистрации нового пользователя */
$do == 'rules' OR /* Страница правил сайта */
$do == 'stats' OR /* Страница статистики сайта */
$do == 'search' OR /* Страница поиска и результатов поиска */
//$do == 'static' OR /* Все статические страницы */
$do == 'tags' OR /* Просмотр новостей по тегу */
$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
//$subaction == 'showfull' OR /* Просмотр полной новости */
$subaction == 'userinfo' OR /* Просмотр профиля пользователя */
$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
//(intval($_GET['cstart':

) > 1 ) OR /* Любые страницы пагинации */
//($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
//($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
//($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
//($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
$catalog != '' /* Просмотр каталога по буквенному идентификатору */
) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;]

Где убран двойной слеш в начале строки «//» те страницы закрыты от индексации. Может я чего не так закрыл или?

А какой у Вас?


ADMIN

#2 /17.09.2013 11:04
АДМИНИСТРАТОР   


 286
 

Карма:  20




Я уже не пользуюсь ДЛЕ, но год назад robots.txt был примерно такой:
Disallow:
User-agent: *
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2012/
Disallow: /tags/
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*?*
Sitemap: httр://адрес сайта/sitemap.xml
Host: адрес сайта
Обычно используют один из 2 вариантов:

1) Стандартными средствами через robots.txt
2) Правки в php файлах.

У вас используется второй вариант, который описан здесь


SergeS

#3 /26.09.2013 19:32
 222
 

Карма:  3




Да совершенно верно, сделал как у Алыча написано. Только все ли я правильно закрыл, вот вопрос?


ADMIN

#4 /27.09.2013 16:32
АДМИНИСТРАТОР   


 286
 

Карма:  20




Если все сделано по инструкции, то правильно. А лучший показатель - это анализ. Плагин (RDS) и аналогичные покажет количество страниц в поиске, или в вебмастере гугл или яндекс, там точно будет видно как действует механизм. Хотя я когда держал сайт на ДЛЕ , не заморачивался этими правками, делал все через robots.txt и был вполне доволен результатом


SergeS

#5 /27.09.2013 16:43
 222
 

Карма:  3





Пользуюсь данным плагином и сервисами, которые Вы указали.

Добавлено 3 недели спустя:

На данный момент, если поставить стандартный robots.txt на мой сайт. Он пойдет или еще чего добавлять нужно?

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

ADMIN

#6 /16.10.2013 19:20
АДМИНИСТРАТОР   


 286
 

Карма:  20




Примерно такой файл работал вполне нормально
Disallow:
User-agent: *
Disallow: /user/
Disallow: /engine/
Disallow: /favorites/
Disallow: /catalog/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /2013/
Disallow: /tags/
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: /*?*
Sitemap: httр://rusportable.ru/sitemap.xml
Host: httр://rusportable.ru/

Добавлено 4 минуты спустя:

А дальше можете на основе анализа оттачивать под нужды своего сайта. Тут все просто:
Хотите убрать категорию из индекса, добавляете Disallow: /категория
Хотите убрать страницу из индекса, добавляете Disallow: /страница.html , как в браузере выглядит. Если расширение php у страницы, значит Disallow: /страница.php


SergeS

#7 /17.10.2013 04:51
 222
 

Карма:  3




Вчера поставил robots.txt, который Вы мне посоветовали. А то все по удалял...посмотрим, что из этого получиться!

Добавлено 7 часа спустя:

Да кстати, забыл спросить. В самом низу кода, есть вот такая cтрока:



Это мусор или?

ADMIN

#8 /17.10.2013 14:25
АДМИНИСТРАТОР   


 286
 

Карма:  20




Нет, это не мусор. Таким образом разработчики поставили информацию о себе, она выводится из php файла. А те кто нуллят движок обычно вписывают вместо этой информации свои ники. Так что вам эта надпись не навредит никак, это просто служебная информация движка, некоторые убирают ее, некоторые не трогают, а есть такие что вписывают свою информацию туда.


SergeS

#9 /17.10.2013 15:53
 222
 

Карма:  3




Вот и я о том же, там в конце ссыль на мой сайт, а описание сайта DLE.


ADMIN

#10 /17.10.2013 16:17
АДМИНИСТРАТОР   


 286
 

Карма:  20




Это не ссылка, это называется комментарий в html

12>>>