Защита от спама с помощью .htaccess и User Agent
Один из вариантов защиты от спам ботов — блокировка их доступа к сайту в момент доступа к нему. Многие боты не имеют адекватного описания user agent или размещают там какую-то левую информацию. Соответственно дописав в .htaccess следующий код блокируются боты с пустым описанием user agent, с подозрительным описанием или пытающиеся выкачать сайт полностью популярными методами.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]
RewriteCond %{HTTP_USER_AGENT} ^.*(< |>|'|%0A|%0D|%27|%3C|%3E|%00).* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*(HTTrack|clshttp|archiver|loader|email|nikto|miner|python).* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*(winhttp|libwww\-perl|curl|wget|harvest|scan|grab|extract).* [NC]
RewriteRule ^(.*)$ - [F,L]