Конкурентная разведка по датам истечения доменов

Клиент управлял портфелем веб-проектов в конкурентной нише, где сами домены были стратегическими активами. Конкуренты регистрировали домены с ценными ключами, поднимали на них минимальные сайты для удержания позиций, а иногда давали им истечь, когда теряли интерес. Клиент хотел двух вещей: знать, что именно конкуренты делают со своими доменами, и ловить ценные домены в тот момент, когда они освобождаются. И то и другое требовало постоянного мониторинга, и то и другое делал человек, проверявший WHOIS пару раз в неделю — то есть всегда с опозданием.

мониторинг конкурентов

Построили две связанные системы. Первая — монитор доменов конкурентов. Она берёт список доменов конкурентов — обычно несколько сотен — и ежедневно проверяет их через WHOIS XML API. По каждому домену отслеживаются даты регистрации, даты истечения, изменения NS, изменения DNS-записей и переезды между регистраторами. Любое изменение запускает оповещение. Если конкурент сменил NS — это может означать миграцию сайта. Если дата истечения прошла без продления — это возможность для покупки. Система хранит полную историю по каждому домену, и клиент видит паттерны — например, что конкурент стабильно отпускает домены в определённой ключевой категории.

поиск и перехват

Вторая система занимается обнаружением и перехватом доменов. Клиент задаёт брендовые ключи — слова, которые он хочет занимать в доменном пространстве. Система мониторит фиды истекающих доменов, сопоставляя освободившиеся или скоро освобождающиеся домены с этими паттернами. При совпадении она проверяет доступность в реальном времени, оценивает домен по релевантности ключа и историческим метрикам и выводит его команде с пометкой приоритета. Цель — сократить окно между «домен только что освободился» и «мы его зарегистрировали» с дней до минут.

фильтрация шума

Главным вызовом был шум. Брендовые ключи вроде распространённых отраслевых терминов ежедневно совпадают с сотнями нерелевантных доменов. Ключ «crypto» отмечал домены про криптовалюту, криптографию, криптозоологию и чьего-то кота по кличке Crypto. Построили многослойный пайплайн фильтрации: сначала pattern matching, затем скорер релевантности, учитывающий длину домена, TLD, паттерны дефисов и осмысленность сочетания соседних слов. Это уронило долю ложных срабатываний примерно с 80% до меньше 15%, хотя команда всё равно вручную проверяет отмеченные домены перед действиями.

WHOIS и лимиты API

Сами данные WHOIS оказались ненадёжными так, как мы не предполагали. Сервисы приватности скрывают информацию о владельцах для растущего числа доменов. Некоторые регистраторы возвращают устаревшие данные. Даты истечения иногда сдвигаются без объяснений — домен, который выглядел истекающим на следующей неделе, внезапно показывает продление на два года вперёд. WHOIS трактуется как вероятностные данные, а не авторитетные: изменения помечаются, но система явно маркирует уровни уверенности и рекомендует ручную верификацию для ценных целей.

Удержание в рамках бюджетов API потребовало аккуратной оркестрации. Мониторинг сотен доменов в день плюс фиды истечения и проверки доступности легко могли съесть всю месячную квоту за неделю. Реализовали приоритетное расписание: конкуренты первого эшелона и ценные ключевые домены проверяются ежедневно, второй эшелон — раз в три дня, длинный хвост — раз в неделю. Система также дедуплицирует вызовы API: если домен есть и в списке конкурентов, и в фиде совпадений по ключам, он проверяется один раз.

результаты

Слой конкурентной разведки работает непрерывно и уже поймал несколько ценных доменных покупок, которые клиент иначе пропустил бы полностью. Шум разгребает автоматизация; ценность даёт команда, которая знает, какие сигналы важны.