Gorsel editorle robots.txt dosyalari uretin. Botlari engelleyin, tarama kurallari ayarlayin, site haritalari ekleyin — yaygin kurulumlar icin sablonlarla.
Tool UI component not found: dev/robots-txt
Bu arac hakkinda
robots.txt dosyasi arama motoru tarayicilarina web sitenizde hangi sayfalara erisebildiklerini ve erisemeyeceklerini soyler. Sitenizin kok dizininde bulunur ve herhangi bir duzgun taramadan once kontrol edilen ilk dosyadir.
Yanlis yapilandirilmis robots.txt Google'in tum sitenizi indekslemesini engelleyebilir veya gizli tutmak istediginiz yonetici sayfalarini yanlislikla aciga cikarabilir. Bu uretici gorsel editorle dogru robots.txt olusturmaniza yardimci olur — bot basina kurallar ekleyin, izin ver/engelle yollari ayarlayin, site haritasi URL'leri ekleyin ve yaygin kurulumlar icin sablonlari kullanin.
Olusturulan dosya Google, Bing, Yandex ve tum buyuk arama motorlari tarafindan desteklenen Robot Haric Tutma Protokolu standardini takip eder.
Nasil kullanilir
1. Bir sablonla baslayin veya sifirdan olusturun
2. Kullanici ajan gruplari ekleyin — her grup belirli bir botu hedefler (veya * ile tum botlari)
3. Her grup icin Izin Ver ve Engelle kurallari ekleyin
4. Destekleyen botlar icin istege bagli olarak Tarama Gecikmesi ayarlayin
5. Alta site haritasi URL'lerinizi ekleyin
6. Olusturulan robots.txt'yi kopyalayin ve sitenizin kok dizinine yukleyin
Sikca sorulan sorular
robots.txt dosyasini nereye koymaliyim?
robots.txt dosyasi web sitenizin kok dizinine yerlestirilmeli, https://siteniz.com/robots.txt adresinde erisilebilir olmalidir. Alt dizinlerde calismaz.
Tam olarak degil. Robots.txt taramayi engeller, indekslemeyi degil. Diger siteler engellediginiz bir sayfaya baglanti verirse, Google onu arama sonuclarinda gosterebilir (parcacik olmadan). Indekslemeyi tamamen engellemek icin 'noindex' meta etiketi kullanin.
'User-agent: *' ne anlama geliyor?
Yildiz (*) tum tarayicilarla eslesen joker karakterdir. 'User-agent: *' altindaki kurallar dosyada kendi ozel bolumu olmayan her bot icin gecerlidir.
GPTBot gibi AI tarayicilarini engellemeli miyim?
Bu tercihinize baglidir. Iceriklerinizin AI egitimi icin kullanlmasini istemiyorsaniz, OpenAI tarayicisini engellemek icin 'User-agent: GPTBot' ile 'Disallow: /' ekleyebilirsiniz. Google-Extended ve CCBot gibi diger AI botlari icin de benzer kurallar vardir.
Tarama Gecikmesi nedir?
Tarama Gecikmesi botlara istekler arasinda belirtilen saniye sayisi kadar beklemelerini soyler. Bing ve Yandex tarafindan desteklenir ancak Google tarafindan yoksayilir. Agressif tarama sunucunuzu asiri yukluyorsa kullanin.
Google ve Bing sinirli joker karakterleri destekler: * herhangi bir karakter dizisiyle eslesir ve $ URL'nin sonunu isaretler. Ornegin, 'Disallow: /*.pdf$' tum PDF dosyalarini engeller. Tum botlar bu uzantilari desteklemez.