Обычно Вы узнаете о спаме сервера, когда приходит письмо от хостера, что Ваш сервер рассылает спам. Вы заходите на сервер просматриваете очередь и там десятки, сотни и тысячи сообщений. Но на сервере много сайтов и заражен и рассылать с спам может любой. Что бы быстро найти вредоносный скрипт: в файл php.ini добавляем или рас комментируем дерективы

mail.add_x_header = On
mail.log = /var/log/php.mail.log

После чего в этот лог будет попадать информация о скрипте отправителе почты.