Спам-фильтры с хорошей поддержкой регулярных выражений во всех полях электронной почты?

У нас есть небольшой магазин Windows с Exchange. Спам — постоянная проблема; мы получаем тысячи спам-сообщений в день, и нам удается удалить большую часть спама с помощью фильтра на нашем входящем SMTP-порту. Тем не менее, какой-то мусор проходит. 1% из 10 000 спам-сообщений в день — это по-прежнему большая проблема.

В настоящее время мы используем Xwall в качестве спам-фильтра. У него есть две действительно хорошие функции.

  1. Внесение в серый список (простое игнорирование первого электронного письма с сайтов, ранее невидимых; настоящие почтовые программы на таких сайтах отправляют повторно через некоторое время, поэтому такая почта проходит, но спамеры почти никогда не отправляют повторно). Это ловит 90% и более.
  2. Возможность устранять (спам) электронную почту, проверяя определенные шаблоны строк, используя некоторые простые совпадения с подстановочными строками (текст со звездочками для подстановочных знаков).

Тем не менее, это непоследовательно разрешает проверку шаблонов для любого поля электронной почты (в частности, мы не можем применять какие-либо фильтры к «От:», который спамеры, кажется, заполняют множеством полезных индикаторов «Я спам», например, «От : Discounted Cars (Hilda.Pate@leaderRefreshing.com)». Он также не обеспечивает мощное сопоставление с образцом (например, достойные регулярные выражения). Отсутствие регулярных выражений означает ложные срабатывания и ложные отрицания. Мы жаловались на это ребятам из Xwall в течение многих лет. но нет ответа.

Есть ли приложение для фильтрации спама, которое имеет:

  • Серый список
  • Белый список с регулярными выражениями на адресах электронной почты
  • Реальная фильтрация регулярных выражений по всем полям электронной почты по полям. Поскольку фильтры регулярных выражений изобретены для того, чтобы остановить определенную волну спама («Что Марта Стюарт сделала со своим лицом?»), действительно хорошим свойством была бы дата окончания (по умолчанию 90 дней?), чтобы позволить таким фильтрам устареть с возможностью легко повторно включить, если волна спама продолжается.
  • Возможность отфильтровывать электронную почту на основе слов с ошибками (Сколькими способами вы можете неправильно написать «cialas», используя забавные символы для i и l?)
  • Запись всей входящей электронной почты в журнал с указанием причины фильтрации (включая «нет»)
  • Возможность обозначить отфильтрованную запись электронной почты как «ОК» для повторной отправки, чтобы обрабатывать случайные ложные срабатывания.

Другие функции, такие как байесовское обучение, приятны, но не обязательны.

Поскольку такой фильтр принимает SMTP-сообщения через общедоступный SMTP-порт и пересылает (отфильтрованные) сообщения на внутренний SMTP-порт, который мы предоставляем для Exchange, для нас не имеет значения, где он работает. В частности, фильтр может работать как в Windows, так и в Linux.

Наш сервер Exchange довольно старый (2005 г.), и мы готовимся к обновлению. Я был бы рад услышать, что все это встроено в современные версии Exchange. Пессимизма хватает.

«Другие функции, такие как байесовское обучение, приятны, но не необходимы». Я удивлен, что вы просто не переключаетесь на другое программное обеспечение для фильтрации. Доказано, что байесовская фильтрация намного эффективнее сопоставления с образцом.
В каком смысле? Механизм сопоставления с образцом работает чертовски хорошо и часто улавливает новые формы того же старого спама. Байесовский материал должен изучать новый спам. Я был бы рад, если бы вы порекомендовали решение, в котором есть и то, и другое. Я могу жить без байесовской части. Я не хочу жить без части регулярного выражения.
Я предложил награду +100, чтобы получить больше действий по этому поводу. По-видимому, это не привлекло большего внимания. Действительно ли состояние инструментов управления спамом настолько бесплодно?

Ответы (3)

Байесовская фильтрация — это тысячелетие. ;) Хотя, если честно, за последние пять лет индустрия электронной почты изменилась настолько, что уже не та, что была раньше. Байесовские фильтры раньше были нормой для фильтрации, и теперь они очень легко используются, чтобы помечать только наиболее очевидных нарушителей, которые явно являются нежелательными сообщениями.

Репутация IP — это то, на что вам нужно обратить внимание, так как большинство нежелательных сообщений поступают из бот-сетей, заполненных IP-адресами, которые когда-либо рассылали только пару сотен спам-сообщений и не имеют репутации, поэтому это простой признак спама.

Barracuda предлагает такую ​​услугу, наряду с некоторыми другими.

Честно говоря, хотя это того стоит, переместите свою электронную почту к выделенному поставщику электронной почты. Если для ваших почтовых сервисов не критично оставаться дома, не стоит больше пытаться держать их дома. Доходит до того, что компаниям приходится нанимать команду экспертов по электронной почте только для того, чтобы держать что-то подобное у себя, поскольку требуемое обслуживание все больше и больше выходит из-под контроля.

Google был бы моим лучшим выбором или Amazon. Откровенно говоря, система защиты от спама Google просто великолепна, и ложные срабатывания относительно редки, и самое худшее, что я обычно пропускаю, — это информационный бюллетень, на который я законно подписался.

Мы не хотим, чтобы наша электронная почта была доступна провайдеру, независимо от того, какие гарантии они нам дают (АНБ, кто-нибудь?), поэтому о третьей стороне не может быть и речи. Честно говоря, мы неплохо справляемся только с Xwall и Exchange, мы получаем около 15 000 электронных писем в день, большинство из которых являются спамом или вирусами, но только 20-30 спам-сообщений проходят через наши фильтры. При рассмотрении их, приличные регулярные выражения, как мы видим, завершат работу довольно хорошо.
... Можете ли вы сказать что-нибудь еще о репутации IP? Как делается вывод, что машина «отправила всего несколько сотен спам-сообщений»? Я думаю, что одного спам-сообщения будет достаточно, чтобы выкинуть отправителя. Кто следит за репутацией IP?
... если это материал класса SpamHaus, да, мы уже знаем об этом (и наше текущее решение использует его. Может быть, это должно быть в моем списке требований, потому что я не знаю, насколько это эффективно.) Я вижу, как это полезно после того, как будет обнаружено, что машина рассылает спам, но это не остановит 1-ю тысячу сообщений этой машины, тогда как фильтр на «Виагре» все равно работает нормально.
Что ж, полезность репутации IP заключается в том, что IP-адрес начинается с 0 репутации. Так что объедините это с тем фактом, что да, он видит там слово виагра, и это почти гарантия того, что его пометят. Большинство IP-адресов почтовых серверов естественным образом увеличивают объем исходящих сообщений — обычно они не переходят от отсутствия сообщений к миллиону сообщений в день. Репутация IP-адресов отслеживает эти факторы вместе с тем, какой процент недоставленных сообщений (большинство спамов отбрасывает огромное количество сообщений между законными адресами), и использование всех этих данных, мало чем отличающееся от байесовского метода, дает ему оценку.
Если вы не используете STMP с SSL/TLS, ваша электронная почта все равно доступна для АНБ.
@IraBaxter Если вы действительно беспокоитесь об АНБ, то никогда не отправляйте и не получайте электронную почту за пределами вашей собственной внутренней сети. Электронная почта не защищена , поэтому обычно не имеет значения, находится ли она в облаке.
@MichaelHampton: Мне не нравится слежка АНБ, но полагаю, что они не являются прямым вектором угрозы, даже если они являются непосредственной причиной. Более вероятно, что компании Big Cloud вывернут руки, вольно или невольно, чтобы отказаться от всех этих облачных данных. Нет смысла упрощать, давая им это.
@IraBaxter Хорошо, в этом больше смысла ... и это гораздо более вероятная угроза. Проблема здесь в том, что лучшие спам-фильтры — это облачные сервисы или прикрепленные к ним.

GFI MailEssentials поддерживает Outlook с

Пользовательские правила фильтрации обеспечивают гибкую и детальную фильтрацию любой части сообщения электронной почты, включая заголовки сообщений, тему, текст, имя вложения и содержимое вложения, с использованием различных типов методов сопоставления с образцом, включая регулярные выражения.

Также

Функция POP2Exchange дает компаниям, использующим внешние учетные записи электронной почты POP3, практичный способ получать электронные письма без необходимости использования выделенного почтового сервера. http://www.gfi.com/products-and-solutions/email-and-messaging-solutions/gfi-mailessentials/specifications

Несколько антиспамовых фильтров http://www.gfi.com/products-and-solutions/email-and-messaging-solutions/gfi-mailessentials/specifications/an-arsenal-of-anti-spam-filters

Подключаемый модуль защиты от нежелательной почты из черного списка IP-адресов — позволяет администраторам электронной почты обновлять GFI MailEssentials с помощью IP-адресов «спамовых», скомпрометированных или вредоносных SMTP-серверов, чтобы сообщения электронной почты, исходящие с этих серверов, удалялись или помещались в карантин.

Я посмотрел на сайте. Их онлайн-документы фактически используют слово «regex» в качестве параметра фильтра для «заголовков», так что это действительно выглядит как серьезный кандидат. +1, и я могу погрузиться в это глубже.
@irabaxter Вы нашли решение, которое удовлетворило ваши потребности?

MailRoute Inc. — поставщик услуг по обеспечению безопасности электронной почты, который «отмывает» электронную почту от вирусов и спама. Служба работает, беря на себя роль посредника в записи DNS MX между открытым Интернетом и почтовым сервером. Служба также защищает от сбоев сервера электронной почты, временно размещая входящие сообщения электронной почты до тех пор, пока сервер электронной почты не будет снова готов к приему сообщений.

Возможности MailRoute перечислены на странице https://www.mailroute.net/ .

  • GreyListing для блокировки спам-ботов и зомби
  • Черные списки известных спамеров.
  • Базы отпечатков спама.
  • Лексический анализ для выявления распространенных спамерских слов или фраз.
  • Байесовская фильтрация.
  • Анализ шаблонов распределенного трафика выявляет новый спам.
  • Белые и черные списки позволяют корректировать оценки в зависимости от отправителя.
  • Карантин: спам хранится в MailRoute SpamStore® в течение семи дней и доступен через веб-интерфейс.
  • Переписывание строки темы: добавление слова или фразы и SpamScore® в строку темы сообщения.
  • К каждому сообщению добавляются настраиваемые строки заголовков, поэтому вы можете выбрать собственные критерии фильтрации.
  • Настраивается для каждого пользователя или домена. У каждого пользователя могут быть свои индивидуальные настройки чувствительности и обработки.
  • Общедоменные или отдельные белые и черные списки позволяют блокировать или разрешать определенные адреса.
  • Совместимость со всеми системами электронной почты — независимо от платформы или базовой операционной системы.
  • Внедрение занимает всего несколько минут и не сопряжено с риском.
  • Гарантия безотказной работы 99,999%.

См. подробный обзор пользователей на http://community.spiceworks.com/topic/341240-so-far-so-good-on-mailroute-spam-filter-free-trial .

Звучит как-то разумно. Как это относится к аспекту регулярного выражения моего вопроса?
Согласно расширенной поддержке MailRoute: «Конечно, мы используем много сопоставлений шаблонов регулярных выражений в наших собственных правилах, но ни одна из наших настраиваемых пользователем систем не поддерживает регулярные выражения. Я не уверен, кроме белого / черного списка, где наши пользователи использовали бы что. Можете ли вы объяснить, что вы ищете более подробно?" ИМХО, очевидно, что пользовательские регулярные выражения будут использоваться для белого и черного списков пользователей. Однако я хотел бы получить ваши мысли, прежде чем я отвечу.
Из моего запроса выше: «Настоящая фильтрация регулярных выражений по всем полям электронной почты по полям». Почему это неясно? Из реального спама очевидный пример: поле from содержит: "Lunar Sleep Sample <LunarSleep@oaferide.com>" Я хочу сказать, "если <Lunar Sleep> находится в поле From:, отметьте это как спам". Или "Доктор Оз". Удивительно, как много cr-- можно устранить таким образом. Почему производители почтовых инструментов так боятся предоставлять пользователям регулярные выражения? Те, кто не знает, что это такое, не будут его использовать. Те, кто это сделает, будут использовать его эффективно. И это не значит, что библиотеки регулярных выражений недоступны.
... Тем не менее, я не хочу посредника (большинство из нас уже хотят избегать АНБ, не говоря уже о людях, чьи мотивы мы не можем контролировать). Mailroute не является решением моей проблемы.
Сквозное шифрование тела сообщения помешает прослушиванию при использовании сторонней службы для фильтрации спама с использованием полей заголовка сообщения. Посредники в виде служб ретрансляции SMTP неизбежны.
FWIW для расширенной поддержки MailRoute «Нет, мы не предоставляем настраиваемую пользователем фильтрацию по полям в заголовках электронной почты. Это интересная идея, но в настоящее время мы не имеем ее на доске разработки. это? Я не могу припомнить, чтобы где-нибудь еще я видел это».
Спам-фильтры с хорошей поддержкой регулярных выражений во всех полях электронной почты?
СпросиСетьПолитика конфиденциальности1y, 0v