Web sitelerinin tasarımları tamamlandıktan sonra hosting üzerinden yayınlanmaya başlarlar. Arama motorları, web sitelerinin tüm içeriklerini tarayarak, arşivlerine eklemekte ve arama yapıldığında, arşiv üzerinden siteyi bulmaya çalışmaktadır. Robots.txt arama motorlarının, web sitesini tarama yaparken, hangi bölümlerin taranacağını, hangi bölümlerin ise taranmayacağını belirleyen komut dosya türüdür. Arama motoru yazılımları, web sitelerini tarayacakları zaman ilk önce bu dosyayı bulur ve tarar. Dosyada yer alan komutlara göre sitede izin verilen alanlara ulaşır ve tarama yaparak arşivine eklemeye başlar.
Robots.txt Örnekleri
Robots.txt dosyası kullanım örneklerine göre düzenleme yaparak, sistemin verimli çalışması sağlanabilecektir. Robots.txt dosyasının kullanılabilir olması için kapalı olan ve izin verilen dizinlerin belirtilmesi gerekiyor.
Örnek olarak şu kodlama gösterilebilecektir.
User-agent:*
Disallow:/ozel/ (erişime kapatma)
Allow:/ozel/ozel-degil.html (erişime izin verme),
Bu kodlama örneği ile özel dizinine erişim engellenirken, ozel-değil.html dizinine izin verilmiş olunuyor. Web sitesinde, arama motorlarının görmemesi istenilen alanlar, örnekte gösterildiği şekilde kapatılabilecektir.
Robots.txt dosyasını Kullanma Nedenleri
Robots.txt dosyasını Kullanma NedenleriWeb sitelerindeki robots.txt dosyalarının kullanım amaçları farklı olabilmektedir. En önemli kullanım nedenlerinden birisi, arama motorlarının, web sitesinin de ziyaret edilebilecek yerleri göstermesini sağlamaktır. Bunun dışında kullanım nedenler arasında, web sitelerinin genel bakım ya da tasarım çalışmaları sırasında yapılacak düzenlemelerin yapılabilmesidir. Site üzerinde tasarım çalışmaları yapılırken, arama motorlarının erişimin engellemek için robots.txt dosyası kullanılmalıdır. Çalışmalar tamamlandığında ve site yayınlanmaya hazır hale geldiğinde, kodlama düzenlemesi yapılarak, tekrardan arama motorları erişimine açılmalıdır. Bunun için robots.txt dosyasının içerisinde değişiklik yapmak gerekiyor.
Robots.txt Dosyasında Kullanılan Komutlar
Robots.txt dosyasında yapılacak olan komut değişiklikleri ile arama motoru yazılımlarının erişimleri düzenlenebilecektir. Özel komutlar olarak kullanılan seçenekler, kısmen ya da tamamen erişime kapatılmasını sağlayacaktır. Disallow:/*? Bu komut dizinde yer alan (?) işareti, tüm URL erişimlerinin kapatılmasını ve arama motorlarının bu linkleri görmemesini sağlamaktadır. özel komut seçenekleri çok fazladır ve SEO uzmanları bu komutları kullanarak, düzenleme çalışmalarını yapmaktadır. “disallow:/*.asp$” örneğindeki $ işareti, .asp uzantılı tüm sayfalara erişimin kapatılmasını sağlayacaktır. Site tasarımları ya da düzenleme çalışmaları bittikten sonra bu özel komutlar üzerinde değişiklik yapılarak, sitenin tekrardan erişime açık konuma getirilmesi unutulmamalıdır.
Robots.txt Neden Gereklidir?
Web sitesi sayfalarının taramaya başlayacak olan arama motoru örümcekleri ilk olarak robots.txt dosyasını arayacak ve bu dosya içerisindeki komutlara göre nerelere erişim yapacağını belirleyecektir. Robots.txt bulunmayan internet sayfaları içeriklerinin tümü arama motorları tarafından taranacaktır. İnternet sayfasının tamamının, arama motoru tarafından taranması ve indekslenmesi çok uzun zaman alacak, aynı zamanda arama motoru sıralamalarında yer bulmamasına neden olabilecektir. Web sitesinin hızlı indekslenmesi, arama motoru sıralamalarında yer bulması ve yükselmesi için robots.txt gereklidir. Ayrıca site üzerinde yapılacak güncelleme ve çeşitli çalışmalar sırasında, çalışma yapılan sayfanın erişime geçici olarak kapatılması için ihtiyaç duyulan ve gerekli olan bir dosyadır.
SEO ve Robots.txt
SEO uzmanları, web sitesi üzerinde çalışmaya başlarken, ilk olarak robots.txt dosyasını kontrol etmektedir. Bu dosya içerisinde yer alacak olan özel komutlar, arama motoru optimizasyon çalışmalarını kolaylaştırırken, daha hızlı taranmasını sağlayacaktır. Arama motoru algoritmalarına uyumlu olarak hazırlanan özel komutlar sayesinde, ziyaretçilerin, sayfada hangi bölümleri görebileceklerini belirleyebiliyorsunuz. Özel komutlar genel olarak, allow ve disallow komutları ile yazılmaktadır. Allow erişim yapılabilecek, disallow ise arama motorlarının erişim yapmasını istemediğiniz alanlar için kullanılmaktadır. SEO açısından, robots.txt dosyalarının önemi büyüktür ve hedef kitlenin sitede hangi içeriğe yönlendirilmesi gerektiğini ayarlamayı kolaylaştırmakta, içeriklere daha hızlı erişim yapılmasını sağlamaktadır.
