| Добрый вечер, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались. | |
Форум
Пользователи
Помощь
Поиск
Новые сообщения
Новые темы| | Похожие темы |
| |||
Пятница, 29.07.2011, 10:18 SX | Этот прием работает и с другими ботами, подставив их юзерагент, та что листайте логи доступа апача  Так же можно задать интервал для всех ботов User-agent: * Crawl-delay: 10 И не забываем что robots.txt, должен иметь юникс переносы строк, иначе не будет работать. Отредактировано Status-X: 29.07.2011, 10:22:38 |
 |
Показать все сообщения
| |||
| Похожие темы | Предыдущая тема | Следующая тема |
| Быстрый переход: |
Сейчас на сайтеПользователей: 0, Гостей: 2
Поисковые боты: 165
Bot(145), oBot(5), Googlebot(3), Mail.Ru Bot(9), Crawler, BingBot(2)
Статистика форума| Темы | Сообщения | Пользователи | |
| За сутки: | 0 | 0 | 0 |
| За неделю: | 0 | 0 | 0 |
| За месяц: | 0 | 0 | 1 |
| Всего: | 1444 | 9453 | 3410 |
| Мы приветствуем нового участника: dota812651 | |||
Дни рождения