| Добрый вечер, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались. | |
Форум
Пользователи
Помощь
Поиск
Новые сообщения
Новые темы| | Похожие темы |
| |||
Пятница, 29.07.2011, 10:14 SX | Mail.ru ложит сайты Несколько раз мне отписывали о том что система вызывает перегрузку на хостингах. Это одна из жалоб http://www.status-x.ru/topic/641/ После иследований на нескольких сайтах, выяснилось что вызывает это бесцеремонный бот Mail.ru. Он пытается с максимальной скоростью проиндексировать все страницы, и высасывает все не стесняясь Можно конечно забанить его по айпишнику. Но как оказалось этот бот хоть и наглый, но директивы из robots.txt соблюдает. Добавляем в этот файл строки User-agent: Mail.ru Crawl-delay: 300 В результате бот будет обращаться к сайту не чаще одного раза в 5 минут. |
 |
Показать все сообщения Пятница, 29.07.2011, 10:18 SX | Этот прием работает и с другими ботами, подставив их юзерагент, та что листайте логи доступа апача  Так же можно задать интервал для всех ботов User-agent: * Crawl-delay: 10 И не забываем что robots.txt, должен иметь юникс переносы строк, иначе не будет работать. Отредактировано Status-X: 29.07.2011, 10:22:38 |
| |
Пятница, 29.07.2011, 11:09 NickSysTara | Александр спасибо. Очень радует как быстро ты помогаешь в решении проблем. Еще раз спасибо И кстати: С праздником, с Днем Системного администратора. |
| |
| |||
| Похожие темы | Предыдущая тема | Следующая тема |
| Быстрый переход: |
Сейчас на сайтеПользователей: 0, Гостей: 4
Поисковые боты: 184
oBot(6), Mail.Ru Bot(11), Bot(158), Yandex(2), Googlebot(3), TrendictionBot, Crawler, BingBot(2)
Статистика форума| Темы | Сообщения | Пользователи | |
| За сутки: | 0 | 0 | 0 |
| За неделю: | 0 | 0 | 0 |
| За месяц: | 0 | 0 | 1 |
| Всего: | 1444 | 9453 | 3410 |
| Мы приветствуем нового участника: dota812651 | |||
Дни рождения