Robots.txt Dosyası Nedir ve Nasıl Oluşturulur?
Robots.txt, örümcek dediğimiz arama motoru botlarının sitemizde ilk ziyaret edeceği kök dizini dosyasıdır. Sitenin sahibi bu dosyayı oluşturarak, dizine eklenmesini ve engellenmesini istediği klasörleri ve dosyaları belirterek arama motorlarının botlarını sınırlar.
Robots.txt, mutlaka her web sitesinde bulunmalı ve doğru komutlarla oluşturulması gereklidir. Yanlış düzenlenmiş robots.txt dosyası web sitenizin, arama motorları dizinlerine eklenmemesine yol açabilir.
Öncelikle herhangi bir metin düzenleyici veya not defteri açıp adını robots.txt olarak kaydedin. Ardından dosya içerisine aşağıda belirttiğimiz izin ver veya vermeme gibi komutları kaydedip sitenizin kök dizinine yükleyerek işlemi sonlandırın.
Dosyanızı kaydettikten sonra www.siteniz.com/robots.txt şeklinde aratınca 404 sayfası gelmiyor ve yazdığınız komutlar geliyorsa işlemler doğru bir şekilde yapılmış demektir.
User-agent: Bu komut sitenize hangi arama motoru botunun gelip hangisinin gelemeyeceğini belirtmenizi sağlar. Kullanımı aşağıdaki gibidir.
user-agent: * Bu komut tüm arama motorlarının botlarına izin verir.
Allow: Bu komut sitenizdeki hangi içeriklerin arama motorlarının dizinlerine eklenmesini istediğinizi belirler.
Disallow: Bu komut ise sitenizdeki hangi içeriklerin arama motorlarının dizinlerine eklenmemesini istediğinizi belirler.
Crawl-delay: Bu komut botların sitenizi tarama süresini belirtmenizi sağlar.
Aşağıda örnek kullanımı göreceksiniz,
user-agent: *
crawl-delay: 1
disallow: /ornek/
allow: ornek.html
Sitemap: www.siteniz.com/sitemap.xml
-
ERR_SSL_VERSION_OR_CIPHER_MISMATCH' Hatası Nasıl Çözülür?
Bu sorun tarayıcınızın web sitesi ile aynı SSL protokol sürümü kullanmamasından yada...
ERR_BAD_SSL_CLIENT_AUTH_CERT hatası Nedir, Nasıl Çözülür?Bu hata genelde istemci bilgisayar tarafındaki nedenlerle oluşan bir hata olsada nadiren sunucu...
Yer Sağlayıcı Faaliyet Belgesi Nedir ?İnternet Sitesi yayınlayabilecek araçları bünyesinde barındıran firmalara veya şahıslara TİB...
Ransomware(Fidye) Yazılımları Nedir ?Ransomware (Fidye) yazılımları bilgisayarınızı, kilitleyerek veya dosyaları şifreleyerek...
Phishing (Oltalama) Nedir?Resmi kurumlardan, bankalardan, sosyal ağlardan yada sürekli e-posta iletişimde bulunduğunuz...