Web trafiğinin büyük bir kısmı otomatiktir ve bunun yalnızca küçük bir bölümü hizmet-engelleme anlamında düşmancadır. Kategorileri karıştırmak iki pahalı hataya yol açar: bir kazıyıcıyı saldırı gibi ele almak (bu ortakları ve arama motorlarını engeller) ve bir saldırıyı kazıyıcı gibi ele almak (bu da biri bot politikası ayarlarken siteyi kapalı bırakır).
Nasıl Ayrışırlar?
- Niyet: bir sel kapasitenizi ister; bir kazıyıcı içeriğinizi ister ve onu sunmanız için ayakta kalmanızı yeğler.
- Hacim: seller tasarımı gereği gürültülüdür. İyi kazıyıcılar bilerek sessizdir, çoğu zaman bir insan gezinme oturumundan bile yavaştır.
- Şekil: bir saldırı bir iki yola yığılır. Bir kazıyıcı ise siteyi sistematik gezer, bir tarayıcı gibi bağlantıları takip eder.
- Tolerans: bir kazıyıcı genelde 429'a saygı gösterip geri çekilir, çünkü engellenmek işini bitirir. Bir sel umursamaz.
Örtüşme
Agresif kazıma, kimse niyet etmeden bir hizmet-engelleme durumuna dönüşebilir — pahalı bir uca paralel vuran kötü yazılmış bir tarayıcı, sunucunun bakış açısından bir saldırıdan ayırt edilemeyebilir.
Otomasyonu Tanımlamak
Beyan edilmiş kimlik kolay durumdur: meşru tarayıcılar kendilerini duyurur ve adresin gerçekten operatöre ait olup olmadığı kontrol edilerek doğrulanabilir — tarayıcı bilgisi (user agent) dizesine güvenerek değil. Beyan edilmemiş otomasyon daha zordur ve işe yarayan sinyaller davranışsaldır: fazla düzenli istek zamanlaması, bir insanın izleyeceği sayfa yapısını yok sayan gezinme ve iddia edilen tarayıcıyla uyuşmayan bağlantı özellikleri.
Farklı Yanıtlar
- Doğrulanmış arama tarayıcıları: sınamadan muaf, cömertçe hız sınırlı. Onları istersiniz.
- Bilinen ortaklar ve izleme: açıkça izin verin ki bir koruma değişikliği bir entegrasyonu sessizce bozmasın.
- İstenmeyen ama kibar otomasyon: hız sınırı koyun ve 429 döndürün. Çoğu uyacaktır.
- Kötüye kullanan otomasyon: sınayın. Bir JavaScript kontrolü, tek bir gerçek ziyaretçiyi etkilemeden kazıma çalışmalarının çoğunu bitirir.
- Gerçek seller: uygulamadan önce filtreleyin, çünkü hacimde yukarıdakilerin hiçbiri önemli değildir.
Ayrı Ölçün
Bot trafiği ile saldırı trafiği aynı sayaca düşerse, ikisi de anlaşılamaz. Panellerinizde ayrı tutun: doğrulanmış tarayıcılar, doğrulanmamış otomasyon, sınanan istekler ve filtrelenen seller — dört farklı yanıtı olan dört farklı topluluktur. Bu ayrım, genelde kafa karıştıran bir trafik grafiğini bir karara çeviren şeydir.