В последнее время появилась проблема, которая касается новостных сайтов и порталов. Заключается она в большом трафике на определенные новости. Само по себе это звучит не плохо. Большой трафик много посетителей, ПС учитывают активность и т.д., но есть одно но! Этот трафик настолько плотный, что ложит сервер. По внешнему виду напоминает DDoS атаку направленную на отказ работы сервера, но нет повторяющихся IP.
В логе выглядит следующим образом
95.104.218.132 — — [03/Apr/2015:17:25:33 +0200] «GET /upkeep/themes/news/dleimages/fullexpand.gif HTTP/1.0» 200 320 «http://ziv.ru/upkeep/themes/news/css/engine.css» «Mozilla/5.0 (Linux; U; Android 1.5; en-us) AppleWebKit/528.5+ (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1»
И еще десяток тысяч с таким же user agent AppleWebKit/528.5+
На форумах широко обсуждалась эта тема, но конкретного и точного понимания, что это такое не определено. Основное предположение, что это программа для планшетов и/или телефонов типа «Новости у вас в кармане». Которая собирает горячие новости, при этом скорее всего в автоматическом режиме. Например появилась свежая новость и начинает тянутся со всех мобильных устройств, это объясняет тем что ip пользователей разные.
Вообще решение пока одно банить по user agent. Если нашли другое решение, поделитесь с другими в комментариях.
BrowserMatchNoCase AppleWebKit/528.5+ bad_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
Спасибо за информацию!!!!!