| Добрый вечер, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались. | |
Форум
Пользователи
Помощь
Поиск
Новые сообщения
Новые темы| | Похожие темы |
| |||
Пятница, 29.07.2011, 10:14 SX | Mail.ru ложит сайты Несколько раз мне отписывали о том что система вызывает перегрузку на хостингах. Это одна из жалоб http://www.status-x.ru/topic/641/ После иследований на нескольких сайтах, выяснилось что вызывает это бесцеремонный бот Mail.ru. Он пытается с максимальной скоростью проиндексировать все страницы, и высасывает все не стесняясь Можно конечно забанить его по айпишнику. Но как оказалось этот бот хоть и наглый, но директивы из robots.txt соблюдает. Добавляем в этот файл строки User-agent: Mail.ru Crawl-delay: 300 В результате бот будет обращаться к сайту не чаще одного раза в 5 минут. |
 |
Показать все сообщения
| |||
| Похожие темы | Предыдущая тема | Следующая тема |
| Быстрый переход: |
Сейчас на сайтеПользователей: 0, Гостей: 3
Поисковые боты: 197
Mail.Ru Bot(13), Bot(172), Googlebot(2), TrendictionBot, Crawler, oBot(5), BingBot(2), Yandex
Статистика форума| Темы | Сообщения | Пользователи | |
| За сутки: | 0 | 0 | 0 |
| За неделю: | 0 | 0 | 0 |
| За месяц: | 0 | 0 | 1 |
| Всего: | 1444 | 9453 | 3410 |
| Мы приветствуем нового участника: dota812651 | |||
Дни рождения