Cuma , 15 Mayıs 2020
Robot txt Nedir nasıl yapılır
Robot txt Nedir nasıl yapılır

WordPress Robots.txt Nedir – Detaylı Anlatım

Sitenizin Search Engine Result Pages (SERP), yani arama motoru sonuç sayfalarında daha yukarılarda yer alabilmesi için, arama motorlarının en önemli sayfaları keşfetmek için kullandığı botların işini kolaylaştırmanız gerekiyor. Düzgün şekilde ayarlanmış bir robots.txt dosyası sayesinde bu botları en çok görünmesini istediğiniz sayfalara yönlendirebilirsiniz.

Bu rehberde ele alacağımız konular şu şekilde:

  1. robots.txt nedir ve niçin önemlidir
  2. WordPress robots.txt nerede bulunabilir
  3. Nasıl robots.txt dosyası oluşturulur
  4. WordPress robots.txt nasıl olmalı
  5. robots.txt dosyası nasıl test edilir ve Google Search Console’a gönderilir

Yazımızın sonuna geldiğimizde, kusursuz WordPress robots.txt ayarları nasıl yapılır öğrenmiş olacaksınız. O halde hemen başlayalım!

WordPress robots.txt Nedir (ve Niçin İhtiyaç Duyulur)

Robot Txt

Yeni bir web sitesi oluşturduğunuzda, arama motorları uşaklarını (veya botlarını) göndererek tarama yapar ve içerdiği tüm sayfaların bir haritasını oluşturur. Bu sayede birisi ilgili bir anahtar kelime arattığında hangi sayfaları sonuç olarak göstereceklerini belirlerler. Temel seviye de bu oldukça basit görünmektedir.

Asıl problem, modern web sitelerinin sayfalar haricinde çok daha fazla öğe içeriyor olmaları. Örneğin WordPress, genellikle kendi dizinlerine sahip olan eklentiler kurmanıza izin verir. Bunların arama sonuçlarında görünmesini istemezsiniz çünkü içeriğinizle ilgili değildirler.

WordPress robots.txt dosyasının işi arama motorlarına bir dizi talimat vermektir. Onlara aslında şöyle der: “Şşt, buraya bakabilirsin ancak ötedeki diğer odalara grime!” Bu dosya istediğiniz kadar detaylı olabilir ve oluşturması oldukça kolaydır.

Pratikte arama motorları, bir robots.txt dosyası oluşturmamış olsanız bile yine de sitenizi tararlar. Ancak oluşturmamanız verimsizliğe yol açar. Bu dosya olmadığında içeriğinizi indekslemesi için bütün işi botlara bırakırsınız. Botlar aşırı kapsamlı olduğundan diğer kişilerin web sitenizde erişimi olmayan sayfaları arama sonucu olarak göstermesi muhtemeldir.

Daha da önemlisi, robots.txt dosyası olmadığında web sitenizi tarayan çok fazla bot olur. Bu durum performansı negatif olarak etkiler. Fark çok büyük olmasa da sayfa yüklenme hızı her zaman için öncelikleriniz arasında olmalıdır. Nitekim insanlar yavaş web sitelerden nefret eder (buna biz de dahiliz!).

WordPress robots.txt Dosyası Konumu

Bir WordPress sitesi oluşturduğunuzda sistem sunucunuzun ana klasöründe otomatik olarak sanal bir robots.txt dosyası oluşturur. Örneğin, eğer siteniz ornekwebsite.com konumundaysa, ornekwebsite.com/robots.txt adresini açabiliyor ve aşağıdaki gibi bir dosya görüyor olmalısınız:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Bu örnekteki WordPress robots.txt ayarları oldukça basittir. Parça parça açıklamak gerekirse, User.agent: devamındaki bölüm kuralların hangi botlara uygulanacağını belirler. Yıldız işareti kuralların evrensel olduğu ve bütün botlara uygulanacağı anlamına gelir. Örneğimizde dosyamız botlara wp-admin ve wp-includes dizinlerine giremeyeceklerini söylemektedir. Bu oldukça mantıklıdır çünkü bu iki klasör oldukça hassas bilgiler içermektedir.

Ancak kendi dosyanıza daha fazla kural eklemek isteyebilirsiniz. İşe koyulmadan önce, bunun sanal bir dosya olduğunu anlamanız gerekiyor. Genellikle WordPress robots.txt dosyası konumu root diziniyle aynıdır ve sıklıkla public_html veya www (veya web sitenizin ismi) olarak anılır:

Robot Txt FTP

Ancak, varsayılan WordPress robots.txt dosyası herhangi dizinden erişilebilir durumda değildir. Çalışır ancak değişiklikler yapabilmeniz için kendi dosyanızı oluşturmalı ve root klasörüne yükleyerek eskisiyle değiştirmelisiniz.

Birazdan WordPress robots.txt dosyası oluşturmanın çeşitli yöntemlerini anlatacağız. Şimdi biraz WordPress robots.txt nasıl olmalı bunun üzerinde duralım.

WordPress robots.txt Nasıl Olmalı ve Hangi Kuralları İçermeli

Yukarıda WordPress tarafından oluşturulan örnek bir robots.txt dosyası gördünüz. Bu örnekte sadece iki kısa kural bulunuyor ancak çoğu web sitesi bundan çok daha fazlasını eklemektedir. Şimdi iki farklı robots.txt dosyasını karşılaştıralım ve farklarını görelim.

İşte ilk WordPress robots.txt örneğimiz:

User-agent: *
Allow: /
# Disallowed Sub-Directories
Disallow: /checkout/
Disallow: /images/
Disallow: /forum/

Bu sıradan robots.txt dosyası içinde forum da bulunan bir web sitesine ait. Arama motorları sıklıkla forumlardaki her bir başlığı indeksler. Forumunuzun ne için olduğuna bağlı olarak bu özelliği kapatmak isteyebilirsiniz. Bu sayede Google, kullanıcıların sıradan muhabbet ettiği yüzlerce başlığı indekslemez. Aynı zamanda belirli alt forumları görmezden gelmek ve arama motorlarının geri kalan herşeyi taramasını sağlamak için bazı kurallar belirleyebilirsiniz.

Ayrıca Allow: / şeklinde bir bölüm görüyorsunuz. Bu satır botlara web sitenizin sayfalarını tarayabileceklerini ancak belirlediğiniz istisnaları görmezden gelmelerini söyler. Aynı şekilde belirlediğimiz kuralların evrensel (yıldız işaretli) olduğunu farketmişsinizdir, tıpkı sanal WordPress robots.txt dosyası gibi.

Şimdi bir diğer WordPress robots.txt dosyasına göz atalım:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: Bingbot
Disallow: /

Bu dosyada WordPress’in varsayılan olan belirlediği aynı kuralları girdik. Ancak bir de sitenizi Bing’in arama botunun taramasına izin vermeyen yeni bir kural ekledik. Bingbot, tahmin edeceğiniz üzere bu botun ismi.

Hangi arama motorunun web sitenize erişim sağlayacağı ve hangilerinin sağlayamayacağı konusunda oldukça spesifik kurallar belirleyebilirsiniz. Pratikte Bingbot tabiki oldukça faydalı (Googlebot kadar havalı olmasa da). Ancak piyasada bazı zararlı botlar da bulunuyor.

Kötü haber ise bu botlar her zaman için robots.txt dosyasındaki talimatları takip etmiyor (sonuç olarak biraz asiler). Unutmamak gerekir ki çoğu bot bu dosyada belirlediğiniz talimatları takip etse de, bunu yapmaya onları zorlamıyorsunuz sadece güzelce rica ediyorsunuz.

Eğer konu hakkında biraz araştırma yaptıysanız, WordPress sitenizde neye izin verip neyi engelleyeceğiniz konusunda oldukça fazla tavsiye ile karşılaşmışsınızdır. Ancak bizim tecrübemize göre, ne kadar az kural belirlerseniz o kadar iyi. WordPress robots.txt nasıl olmalı sorusuna örnek olarak tavsiyemiz aşağıdaki gibidir:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/

Geleneksel olarak WordPress wp-admin ve wp-includes dizinlerine erişimi engellemeyi sever. Ancak bu artık faydalı bir yaklaşım olarak görülmüyor. Artı olarak eğer resimlerinize arama motoru optimizasyonu (SEO) için metadata ekliyorsanız, botların bu bilgiye ulaşmasını engellemenin herhangi mantıklı açıklaması yoktur. Bunun yerine yukarıdaki iki kural bütün temel sitelerin ihtiyacını karşılayacaktır.

Robots.txt dosyasında neler bulunacağı tamamen sitenize ve ihtiyaçlarınıza göre değişebilir. Bu yüzden kendi araştırmanızı mutlaka yapın!

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir