Crawl'ı yönetme

Bilgi tabanı kaynaklarını eklemeyi Bilgi tabanı oluşturma'da anlattık. Bu sayfa taramanın ince ayarına odaklanır: bot-korumalı siteler, kesintiler, kapsam ve güncel tutma.

Stealth tarama

Standart tarama bir sayfada 403 alırsa (Cloudflare gibi bot koruması), SemAgent otomatik olarak stealth moduna geçer: gerçek tarayıcı parmak izi (camoufox) ve proxy üzerinden erişir. Bu fallback, kendi korumalı sitelerinizi taramanızı sağlar.

Proxy havuzu

• Stealth istekleri bir proxy havuzu üzerinden döner (rotasyon).
• Proxy'ler saatlik otomatik test edilir; sorun çıkarsa uyarı gider.
• Proxy'leri panelden sıralayabilir, düzenleyebilir veya kapatabilirsiniz.

Checkpoint & resume

Uzun taramalar ağ/yeniden-başlatma nedeniyle kesilebilir. SemAgent checkpoint tutar: tarama kaldığı URL'den devam eder, baştan başlamaz. Bir "orphan watchdog" takılan işleri toparlar; çok uzun işler için bir zaman-aşımı üst sınırı vardır.

Crawl sebep-logu

Her sayfa için neden alındı/atlandı/hata kaydı tutulur. "Bu sayfa neden indexlenmedi?" sorusunun cevabı her zaman buradadır — filtre eşleşmedi mi, robots mu engelledi, içerik boş mu, bot mu bloke etti.

Kapsam & limitler

• URL filtreleri (url_include) ile yalnız istediğiniz yolları tarayın.
• Sayfa limiti ile bir kaynağın kaç sayfa alacağını sınırlayın.
• Az sayfa mı alındı? Filtre fazla dar veya limit düşük olabilir — sebep-log'a bakın.

Zamanlanmış yeniden tarama

İçeriğiniz değiştikçe kaynakları belirli aralıklarla otomatik tazeleyin; böylece widget güncel bilgiyle cevaplar.