| Добрый день, Гость! Представляем Вам наши форумы. Вы можете зарегистрироваться чтобы писать на форумах или зайдите под своим именем, если Вы уже регистрировались. | |
Форум
Пользователи
Помощь
Поиск
Новые сообщения
Новые темы| | Похожие темы |
| |||
Четверг, 12.05.2011, 12:25 Odyssey | v.1.03 sys_counter_referer за несколько месяцев вырос до 98 тыс записей и стал размером 13 мб посмотрел по статистике за сегодня только Mail.Ru Bot загадил на 3400 строк практически каждые 2 секунды запросы были сайт простой товаров 240 |
 |
Показать все сообщения Четверг, 12.05.2011, 12:34 SX | Ну так почистите  В 1.04 например каждую неделю по расписанию чистится, в заданиях по умолчанию есть такой пункт |
| |
Четверг, 12.05.2011, 13:34 Odyssey | речь не в этом - почистить то я почистил конечно, откуда такое кол-во запросов на ресурс за несколько часов одного дня :) ладно ddos кто-то, а то поисковые боты... p.s. информация на сайте не обновлялась - разве что юзер новый появился, но это врядли бы добавило более 3000 запросов Отредактировано Odyssey: 12.05.2011, 13:37:38 |
| |
Четверг, 12.05.2011, 14:11 SX | На самом деле ничего странного, в принципе такое бывает, а вот придурковатый Mail.Ru Bot часто ложит сайты, высасывает все без раздумывания. Цитата p.s. информация на сайте не обновлялась - разве что юзер новый появился, но это врядли бы добавило более 3000 запросов Ну а как ты думаешь поисковики узнают что инфа обновилась, они просто высасывают страницы |
| |
Четверг, 18.04.2013, 10:41 Odyssey | скиньте таблицу пожалуйста, а то удалил случайно нашел сам :) Скрытая часть сообщения Для просмотра Вам необходимо иметь 5 сообщений. У Вас 0 сообщений. Отредактировано Odyssey: 18.04.2013, 11:48:38 |
| |
Воскресенье, 03.11.2013, 21:47 RND | подскажите пожалуйста, как можно корректно отключить функцию статистики рефереров? когда налетают роботы, они засоряют БД запросами и сервер ложится от высокой нагрузки Добавлено RND: 03.11.2013, 21:47:27 я хочу удалить таблицу sys_counter_referer совсем ... подскажите пожалуйста какие строки нужно закомментировать в скрипте, чтобы в логах не писались ошибки? |
| |
Понедельник, 04.11.2013, 01:42 Vampireos | тоже кстате меня достали)) толпами ходят на пустой мой сайт, и рыщут рыщут всё)) ..напомнил мне, такш вместе бум ставить над ними эксперименты вариант первый, наверно самый правильный и лояльный по отношению к ним) в robots.txt пишем: User-agent: * Crawl-delay: 10000 Disallow: /lang/ Disallow: /admin/ 10000 это столько секунд, или 160 минут мы приказывает пустоголовым ботам ждать прежде, чем жадно всматриваться в надежде найти обновления на сайте, пусть задумаются над своим поведением  |
| |
Понедельник, 04.11.2013, 01:51 RND | Цитата в robots.txt пишем: User-agent: * Crawl-delay: 10000 Disallow: /lang/ Disallow: /admin/ я уже давно это прописал время в роботсе ... правда ставлю 100-150 секунд.. больше не рискую, иначе из индекса боюсь выпадут сайты... но не помогают настройки роботса... видно не все боты читают его сейчас поудалял из бд, все таблицы с реферерами... вроде бы нагрузка в 5 раз снизилась... боюсь апаче будет логами забиваться ошибками соединения с бд... надо же, наверное, еще и в скрипте где-то поудалять подключения к этой таблице статистикой не пользуюсь... а бд грузит неслабо... надо как-то от неё корректно избавляться Отредактировано RND: 04.11.2013, 01:53:03 |
| |
Понедельник, 04.11.2013, 03:12 Vampireos | мдяушь, тоже проверил только что, похоже клали они на всё на это гады)) ладно ..ладно, посылаем их жёстко через htaccess ..подумав отложил этот вариант) сделал так: User-agent: oBot Disallow: / User-agent: * Disallow: / этот oBot настолько настырный что по другому он непонял) |
| |
Понедельник, 04.11.2013, 10:10 RND | Цитата Автор: Vampireos мдяушь, тоже проверил только что, похоже клали они на всё на это гады)) ладно ..ладно, посылаем их жёстко через htaccess ..подумав отложил этот вариант) сделал так: User-agent: oBot Disallow: / User-agent: * Disallow: / этот oBot настолько настырный что по другому он непонял) если бы oBot читал бы роботс, то хватило бы предыдущих настроек роботс... oBot игнорирует и дополнительные настройки, о который Вы пишите... собственно, помимо oBot, наверняка есть и другие боты без маркера User-agent, которые просто воруют или анализируют контент.... нагрузка создаётся из-за большого кол-ва одновременных запросов записи бд на диске... именно SELECT Datum_Int FROM sys_counter_referer WHERE Referer = '' ORDER BY Datum_Int DESC LIMIT 1; лучшего как удалить эту таблицу пока не придумал... (реально снизилась нагрузка) т.к. она собственно не нужна для работы сайта... единственно, хотелось бы удалить корректно и в скрипте |
| |
| |||
| Похожие темы | Предыдущая тема | Следующая тема |
| Быстрый переход: |
Сейчас на сайтеПользователей: 0, Гостей: 4
Поисковые боты: 232
Crawler(13), Bot(196), oBot(7), Googlebot(2), BingBot(6), Yandex(8)
Статистика форума| Темы | Сообщения | Пользователи | |
| За сутки: | 0 | 0 | 0 |
| За неделю: | 0 | 0 | 0 |
| За месяц: | 0 | 0 | 1 |
| Всего: | 1444 | 9453 | 3410 |
| Мы приветствуем нового участника: dota812651 | |||
Дни рождения