Cloudflare kullandığım sitelerimin zamanla yandexten kaybolduğunu farkettim; özetle cloudflare yandex botlarını istemsizce engelliyor.
Yandex botlarına izin vermek için
Cloudflare sitesinde ilgili domainin Security > Waf ayarlarına aşağıdaki gibi User Agent kontrolü yapan bir kural girişi yapmanız gerekiyor.
Log Matching requests Açık pozisyona getirirseniz Yandex Botlarını ve istek sayılarını Loglarda görebilirsiniz. Kurala Or eklemesi yaparak google, bing ve baidu eklemesini yapmanızı tavsiye ederim.
