Robots.txt Neden Önemli? Nasıl kullanılır? SEO Etkisi

Siteniz için Arama Motoru Sonuçları Sayfalarında (SERP) iyi sıralama yaparak görünürlük kazanmak, iyi bir amaçtır. 

Neyse ki, bunu WordPress sitenizde yapmanın basit bir yolu var. Bir robots.txt dosyası kullanmak arama motorlarını (ve dolayısıyla ziyaretçileri) gizlemek istediğiniz herhangi bir içerikten uzağa yönlendirecek ve hatta Arama Motoru Optimizasyonu (SEO) çabalarınızı desteklemeye yardımcı olacaktır.

Bu yayında, bir robots txt  dosyasının ne olduğunu ve sitenizin SEO’su ile nasıl bağlantılı olduğunu anlamanıza yardımcı olacağız  . Daha sonra Yoast SEO eklentisini kullanarak bu dosyayı WordPress’te nasıl hızlı ve kolay bir şekilde oluşturup düzenleyebileceğinizi göstereceğiz .

robot.txt dosyasına giriş

Özetle, robots txt bir web sitesinin ana dizininde saklanan düz bir metin dosyasıdır. Görevi, arama motoru tarayıcılarında, web sitenizin sayfalarını keşfetmeden ve dizine eklemeden önce talimat vermektir.

Robot.txt dosyasını anlamak  için arama motoru tarayıcıları hakkında biraz bilgi sahibi olmanız gerekir . Bunlar, içerikleri hakkında bilgi edinmek için web sitelerini ziyaret eden programlardır (veya ‘bot’lar). Tarayıcıların sitenizin sayfalarını nasıl dizine eklediklerinin SERP’lere son verip vermeyeceklerini (ve ne kadar sıralandıklarını) belirler.

Bir arama motoru tarayıcısı bir web sitesine ulaştığında, yaptığı ilk şey sitenin ana dizinindeki bir robots txt dosyasını kontrol etmektir. Bir tane bulursa, içinde listelenen talimatları not eder ve siteyi araştırırken bunları izler.

Bir robots txt dosyası yoksa, bot sitenin tamamını (veya bulabildiği kadarını) tarayacak ve dizine ekleyecektir. Bu her zaman bir sorun değil, ama yinede sitenizde SEO için zararlı olabilecek birkaç durum vardır.

Neden robot.txt SEO için Önemlidir?

Robots.txt dosyasının en yaygın kullanımlarından biri, web sitesi içeriğini arama motorlarından gizlemektir. Buna, bazı sayfaların taranması için botlara ‘izin vermeme’ denir. Bunu yapmak isteyebileceğiniz birkaç sebep bulunmaktadır.

Birinci sebep, SERP sıralamanızı korumaktır. Yinelenen içerik , SERP’lerdeki tüm kopyaları listeleyemediklerinden ve bu nedenle önceliklendirmek için sürüm seçmeleri gerektiğinden arama motoru tarayıcılarının kafasını karıştırma eğilimindedir . Bu, içeriğin, ters etki yaratan en üst sıralarda yer almasıyla rekabet etmesine neden olabilir.

İçeriği arama motorlarından gizlemek isteyebileceğiniz bir başka neden de, web sitenizin özel tutmak istediğiniz bölümlerini (örneğin, hazırlık alanınız veya yalnızca üyelere özel forumlar) göstermelerini engellemektir. Bu sayfalarla karşılaşmak kullanıcılar için kafa karıştırıcı olabilir ve trafiği sitenizin geri kalanından uzaklaştırabilir.

Botların sitenizin belirli alanlarını araştırmasına izin vermemesine ek olarak, robot.txt dosyanızda bir ‘tarama gecikmesi’ de belirleyebilirsiniz . Bu, botların yüklenmesinden ve sitenize birden fazla sayfayı bir kerede taramasından kaynaklanan aşırı yüklenmeleri önler . Ayrıca, Bağlantı zaman aşımına uğratan hataları azaltabilir, bu da kullanıcılarınız için çok sinir bozucu olabilir.

WordPress’te robots.txt Nasıl Oluşturulur ve  Düzenlenir (3 Adımda)

Neyse ki, Yoast SEO eklentisi, WordPress sitenizin robots txt dosyasını oluşturup düzenlemenizi kolaylaştırır . Aşağıdaki adımlar , sitenize zaten Yoast SEO yazılımını yüklediğinizi ve etkinleştirildiğini varsayacaktır .

Adım 1: Yoast SEO Dosya Düzenleyicisine Erişin

Robot.txt dosyanızı oluşturmanın veya düzenlemenin bir yolu,  Yoast’ın Dosya Düzenleyici aracını kullanmaktır. Erişmek için WordPress yönetici panelinizi ziyaret edin ve kenar çubuğundaki Yoast SEO> Araçlar bölümüne gidin :

Çıkan ekranda, araçlar listesinden Dosya Düzenleyici’yi seçin  :

Zaten bir  robots.txt dosyanız varsa, dosyada değişiklik yapabileceğiniz bir metin editörü açılacaktır. Bir robots txt dosyanız yoksa, bunun yerine bu düğmeyi göreceksiniz:

Bir robots.txt dosyasını otomatik olarak oluşturmak ve web sitenizin ana dizinine kaydetmek için üzerine tıklayın. Robots.txt dosyanızı bu şekilde ayarlamanın iki faydası vardır .

İlk olarak, dosyanın doğru yere kaydedildiğinden emin olmalısınız; bu, arama motoru tarayıcılarının bulabilmelerini sağlamak için çok önemlidir. Dosya küçük harflerle yazılmalıdır. Bu önemlidir, çünkü arama motoru tarayıcıları büyük / küçük harf duyarlıdır ve Robots.txt gibi adlara sahip dosyaları tanımaz.

2. Adım: Biçim Robots.txt Dosyası

Arama motoru tarayıcılarıyla etkili bir şekilde iletişim kurmak için robots.txt dosyanızın doğru biçimlendirildiğinden emin olmanız gerekir . Tüm  robots.txt dosyaları bir ‘user-agent’ ve ardından agent’in takip etmesi için ‘yönergeleri’ listeler.

Bir kullanıcı aracısı, talimat vermek istediğiniz belirli bir arama motoru tarayıcısıdır. Bazı yaygın olanları : bingbot, googlebot, slurp (Yahoo) ve yandex. Yönergeler, arama motoru tarayıcılarının izlemesini istediğiniz talimatlardır. Bu yazıda iki tür direktif bulabilirsiniz: disallow ve crawl.

Bu iki ögeyi bir araya getirdiğinizde tam bir robots.txt dosyası alırsınız . Sadece iki satırdır. İşte robots.txt örnek dosya:

Bir sitenin URL’sini yazıp /robots.txt  (örneğin, example.com/robots.txt ) yazarak daha fazla örnek bulabilirsiniz .

Bir sitenin URL sonuna /robots.txt  (örneğin, example.com/robots.txt ) yazarak daha fazla örnek bulabilirsiniz.

Bir diğer önemli biçimlendirme elemanı ‘ wild card ‘ dır. Bu, aynı anda birden fazla arama motoru tarayıcısını belirtmek için kullanılan bir semboldür. 

Bizim robots.txt dosyasında bulunan yıldız simgesi (*) tüm arama motoru aracılarına yönelik olduğunu göstermektedir.

Yaygın olarak kullanılan diğer ‘wild card’ dolar ( $ ) sembolüdür. Bu sembol belirli bir URL ile biten tüm sayfalara uygulanacak yönergeleri vermek için kullanılır.

Burada, site tüm .xml dosyalarındaki arama motoru tarayıcılarını engellemek için $ wild kartı kullanıyor. 

Kendi robots.txt dosyanızda, gereksinimlerinize en uygun kombinasyon ne kadar olursa olsun, istediğiniz sayıda direktif, kullanıcı aracısı ve joker karakter ekleyebilirsiniz.

Adım 3: Arama Motoru Tarayıcılarını Yönlendirmek için robots.txt Komutlarını Kullanın

Artık robots.txt dosyanızı nasıl oluşturacağınızı ve formatlayacağınızı bildiğinize göre, aslında arama motorlarındaki botlara talimatlar vermeye başlayabilirsiniz. Robots.txt dosyanıza ekleyebileceğiniz dört genel direktif vardır :

• Disallow. Arama motoru tarayıcılarına, belirtilen sayfayı veya sayfaları taramamasını ve dizine eklememesini söyler.
• Allow. Önceki bir yönerge tarafından izin verilmeyen alt klasörlerin taranmasını ve dizine alınmasını sağlar. Bu komut yalnızca Googlebot ile çalışır.
• Crawl Delay. Arama motoru tarayıcılarına, söz konusu sayfayı yüklemeden önce belirli bir süre beklemelerini söyler.
• Site map. Arama motoru tarayıcılarına,sitelerin daha etkili bir şekilde gezinmelerine yardımcı olacak ek bilgiler sağlayan bir site haritasının konumunu verir. Bu yönergeyi kullanmayı seçerseniz, dosyanın sonuna yerleştirilmelidir.

Robots.txt dosyanız için bu yönergelerin hiçbiri kesinlikle gerekli değildir.

En azından, SERP’lerde kesinlikle istemediğiniz sayfaların taranmasına ve site haritanıza dikkat çekmemesine izin vermeyin. Bu görevlerin bazılarını ele almak için başka araçlar kullansanız bile, robots.txt dosyanız direktiflerin yerine getirildiğinden emin olmak için bir yedekleme sağlayabilir.

Sonuç

Arama motoru tarayıcılarında talimat vermek isteyebileceğiniz birçok neden vardır. Sitenizin belirli alanlarını SERP’lerden gizlemeniz, tarama gecikmesi ayarlamanız veya site haritanızın konumunu belirtmeniz gerekip gerekmediğini, robots.txt dosyanız halledebilir.

Robots.txt dosyanızı Yoast SEO ile oluşturmak ve düzenlemek için, şunları yapabilirsiniz:

1. Yoast SEO Dosya Düzenleyicisine erişin.
2. Robots.txt dosyanızı biçimlendirin  .
3. Arama motoru tarayıcılarını yönlendirmek için robots.txt komutlarını kullanın  .

SEO’nuzu geliştirmek için robots.txt kullanma hakkında herhangi bir sorunuz var mı? Aşağıdaki yorumlar bölümünde sorun!