Кликфрод, скрапинг офферов и сканеры съедают бюджет и портят статистику. Разбираем, как устроен бот-интел, что реально фильтрует TDS, какие метрики держать под контролем и как внедрить блокировки без потери живого трафика.
Трафик — это деньги на входе воронки. Пока в трекер идёт всё подряд, вы платите за клики, которые не могут конвертироваться, и принимаете решения по статистике, в которой четверть данных — мусор. Разберём по слоям: чем именно опасны боты, почему арендованный трекер эту задачу не решает, как устроен бот-интел и как выглядит рабочая фильтрация в TDS.
Порядок цифр: без фильтрации 15–40% запросов к трекинговой ссылке — не люди. В дорогих ГЕО доля выше: там больше сканеров и конкурентного интереса. На потоке в 100 000 кликов это 15–40 тысяч оплаченных, но пустых событий в месяц.
Типовое распределение запросов к трекинговой ссылке без фильтрации
| Проблема | Что это значит на практике |
|---|---|
| Данные у третьей стороны | Все клики, источники, устройства и постбэки лежат на чужом контуре. Вы не контролируете хранение, выгрузку и доступы. |
| Общие IP и домены | Трекинг-домен делится с другими пользователями сервиса. Репутация смешивается, а блокировка соседа может задеть и вас. |
| Нет своей логики фильтра | Пороги и правила одинаковы для всех. Нельзя учесть специфику ГЕО, источника или оффера — и нельзя быстро что-то донастроить. |
| Ограниченный экспорт | Логи и сырые события отдаются частично или в урезанном виде. Разбор инцидента превращается в гадание. |
| Зависимость от аптайма сервиса | Недоступность чужой панели = остановка трафика, при этом SLA обычно нет. |
Термин звучит громко, но механика простая: набор сигналов, которые собираются в момент клика, и правило, по которому сигналы превращаются в решение. Четыре базовых класса сигналов:
| Слой | Что проверяет | Что ловит | Цена ошибки |
|---|---|---|---|
| honeypot | Скрытые поля и ссылки, невидимые человеку | Парсеры, автотесты, «умные» боты, которые ходят по всем ссылкам подряд | почти нулевая |
| FCrDNS + ASN | Обратный DNS, совпадение PTR с прямым, принадлежность сети | Датацентры, облачные скрипты, сканеры вместо пользователей | почти нулевая |
| фиды | Списки известных бот-сетей, прокси и сканерских диапазонов | Подтверждённые источники мусора | низкая |
| скоринг | Сумма сигналов по весам, итоговый балл 0–100 | Гибридные боты без одного явного признака | требует настройки |
Дополнительно считаются velocity-лимиты — частота кликов с одного IP и подсети. Человек не делает 20 кликов в минуту, скрипт делает. И поведенческие признаки — порядок действий на странице, наличие событий интерфейса, глубина прокрутки.
Honeypot — это ловушка: на странице есть элемент (поле формы или скрытая ссылка), которого не видит посетитель, но видит парсер. Обращение к ловушке = автоматический бот, без сомнений. FCrDNS (forward-confirmed reverse DNS) — проверка, что PTR-запись IP ведёт на домен, который сам разрешается в этот же IP. Если у клика нет нормальной связки PTR↔A и IP принадлежит датацентровому ASN — это почти наверняка скрипт. Фиды — внешние и собственные списки плохих сетей, которые обновляются. Скоринг складывает всё в один балл: например, датацентр + нет PTR + нет событий мыши + honeypot = 95 из 100, блокировка. Порог обычно ставят 50–70 и настраивают по своей статистике.
TDS — это свой трекер на своём контуре, поэтому фильтрация встроена в горячий путь и настраивается под конкретный поток, а не включается одной галочкой:
Важная деталь: гео-база (MaxMind) работает локально, без внешних API в горячем пути. Значит, проверка не встанет, если у внешнего сервиса авария, и не добавит задержку к клику — отклик остаётся в районе 0.03 секунды. Всё self-hosted: трафик и решения не уходят третьим лицам.
| Метрика | Как считать | Ориентир |
|---|---|---|
| Доля отфильтрованного | отфильтрованные запросы / все запросы | 15–40% в зависимости от ГЕО и источника |
| False positive (FP) | люди, ошибочно попавшие в фильтр / живые клики | < 1%, проверка выборкой 100–200 кликов в неделю |
| CR и EPC до/после | конверсии и доход на клик по «чистому» и полному потоку | CR +10–30% при неизменном числе конверсий |
| Доля ботов по источнику | отфильтрованные / все по каждому источнику | источник > 50% — отдельный разбор до закупки |
| События пикселя | сравнение кликов и событий по лендингам | резкий разрыв = бот-эмуляция или потеря пикселя |
Пример на цифрах: 100 000 кликов, 1 800 конверсий, CR 1,8%, EPC $0,54. Фильтр убрал 25 000 ботов, конверсии остались те же: 75 000 кликов, CR 2,4%, EPC $0,72. Рост CR — плюс треть, EPC — плюс треть, при том что «новых» людей не появилось. Это и есть эффект чистых данных.
Выгрузите логи за 7–14 дней: UA, IP, частоты, источники. Посчитайте долю ботов по источникам — до включения любых правил.
Включите все проверки, но не блокируйте. Правила только пишут в логи, кто попал бы под фильтр. Трафик идёт как обычно.
Сначала honeypot, фиды и FCrDNS+ASN — у них почти нулевой FP. Затем скоринг с порогом 60–70. Потом поведенческий клоакинг. Каждый слой — 2–3 дня наблюдения.
Раз в неделю: доля отфильтрованного, FP-выборка, CR и EPC по источникам. Пороги и списки — в регламент, чтобы фильтр жил, а не «настроили и забыли».
Первая — включать блокировки сразу, без теневого режима: FP обнаруживаются уже по упавшим конверсиям. Вторая — ставить скоринг порогом 30 «чтобы резало больше»: под нож попадают реальные пользователи с VPN и мобильных сетей. Третья — фильтровать по ASN без белого списка: мониторинги и антивирусы начнут выглядеть ботами, а их запросы перестанут доходить. Четвёртая — не смотреть в логи причин: без этого фильтр невозможно ни доказать, ни настроить. Пятая — не переносить бот-правила при смене трекера: первые дни на новом контуре польётся весь мусор (об этом — в гайде по переезду).
TDS: бот-скоринг, velocity-лимиты, клоакинг и логи причин. Гостевой вход без регистрации, данные вымышленные.
TDS-трекер подробнее → Стоимость платформыПришлите срез логов или источник — разберём, что именно фильтруется, и настроим пороги под ваш трафик.
Написать в поддержку