logo
May the "efficiency" be with you.

E-Ticaret Danışmanlığı

Dijital Performans Yönetimi

Dönüşüm Oranı Optimizasyonu

Eposta Pazarlaması

Çevrimiçi Durum analizi

Dilediğiniz zaman iletişime geçebilirsiniz.
Genç ve dinamik ekibimizle 7/24 hizmetinizdeyiz.

(0212) 800 7986

info@hamlinmcgill.com

Serdar-ı Ekrem Cd. No:15, Beyoğlu, İstanbul

(0212) 800 7986

Serdar-ı Ekrem Cd. No:15, Beyoğlu, İstanbul

Yukarı

Robots.txt Dosyası – Nedir? Nasıl Kullanılır?

Robots.txt Dosyası – Nedir? Nasıl Kullanılır?

Detaya girmeden önce kısaca Robots.txt dosyasının, arama motorlarının web sitenize nasıl eriştiğini kontrol etmeye yaradığını belirtelim.

Bu metin dosyası ile, arama motorlarına hangi tip sayfalara erişebileceklerini, hangilerine erişemeyeceklerini yönergelerle söyleriz. Böylece arama motorları için sitemizi ziyaret eden botlar, sitede yeni bir içerik var mı, güncellenen içerik var mı bunu anında görür ve işler. Bu şekilde arama motorlarının tarama bütçesinde tasarruf sağlamış oluruz ve aynı zamanda arama motorlarının sitemizi sevmesini sağlarız.

Sitemizin mevcut Robots.txt dosyası

Buraya yanlış yönergeler eklemek, arama motorlarının sayfaları (veya tüm web sitenizi) taramasını engelleyebileceği için sıralamanızı olumsuz etkileyebilir. Bu yüzden bu dosyayı oluştururken dikkatli olmakta yarar var.

Bahsi Geçen “Robotlar” nedir?

Robotlar, basit birer uygulamadır. Arama motorları için çalışan bu robotlar, siteler arasında sürekli olarak gezinirler ya da sektörel terimle “crawl” ederler. Bu uygulamar gezdikleri sitede yeni bir şeyler görürlerse bu yeni sayfayı arama motorlarının dizinine eklerler.

Bu robotlara User-agent denildiğini de belirtelim.

Bazen bu robotlar şu şekillerde de bilinir:

  • Örümcekler
  • Botlar
  • Web Tarayıcıları

Ancak şunu belirtelim spesifik olarak bir robotun sitenize erişimini engellemek ya da izin vermek isterseniz bu robotun resmi adını kullanmanız gerekir. (Örneğin, Google tarayıcısına “Googlebot” denir). Tüm web robotlarının listesine buradan ulaşabilirsiniz.

Robots.txt dosyanız, doğrudan arama motoru botlarıyla konuşmanın, sitenizin hangi bölümlerinin taranmasını (veya taranmamasını) istediğinize ilişkin net talimatlar vermenin bir yoludur. Yukarıdaki görselde robots.txt kullanılan site ve kullanılmayan site arasındaki farkı net şekilde görebilirsiniz.

Robots.txt Dosyası Nasıl Kullanılır?

Robots.txt dosyasını oluştururken ilgili “syntax”ı bilmeniz gerekir. (Syntax, sözdizimi anlamına gelir.)

1. User-agent’i Tanımlayın

İlgili robotun resmi adını bu komutla tanımlıyoruz (yani Google, Yahoo vb.). Ancak bu noktada tüm robotlara izin vermek faydanızadır. Bunun için “User-agent: *” komutu yeterlidir.

2. Disallow

Sayfalara veya web sitenizin bir bölümüne erişimi engellemek istiyorsanız, URL yolunu burada belirtin. Örneğin; “Disallow: /tag” Bu komutla sitemizdeki tag yani etiket içeren tüm sayfaların taranmasını ve dizine eklenmesini engelledik.

3. Allow

Disallow ile engellediğiniz bir kapsamda bir url’i hariç bırakmak istiyorsunuz o url’i buraya giriyoruz.

Wikipedia’nın robots.txt dosyası

Robots.txt Neden Bu Kadar Önemli?

Kısacası, robots.txt dosyasını kullanarak tarayıcılara “Bu sayfaları dizine ekleyin, ancak bu sayfaları dizine eklemeyin” diyebilirsiniz.

1. Hassas bilgileri engelleme

Dizinler iyi bir örnektir.

Muhtemelen aşağıdaki gibi hassas veriler içerebilecek dizinleri gizlemek istersiniz:

  • /cart/
  • / cgi-bin /
  • /scripts/
  • / wp-admin /

2. Düşük kaliteli sayfaları engelleme

Google, web sitenizi düşük kaliteli sayfalardan “arındırmanın” önemli olduğunu defalarca belirtmiştir. Sitenizde çok fazla “boş” sayfa olması performansı düşürebilir.

3. Kopya içeriği engelleme

Kopya içerik barındıran sayfaları hariç tutmak isteyebilirsiniz. Bu sayfalar genel site performansına zarar vereceğinden dolayı arama motorlarının bu sayfaları dizine eklenmesini engellemek mantıklı olur.

Ancak, kullanıcıların yine de bu sayfaları ziyaret edebileceğini ve bu sayfalara bağlantı verebileceğini unutmayın.

Web Sitenize Robots.txt Nasıl Eklenir?

İlk olarak, yukarıda belirtilenlere göre direktiflerinizi bir metin dosyasına yazmanız gerekir. Bu metin dosyasının adını ise “robots.txt” yapmanız yeterlidir.

Ardından, metin dosyasını sitenizin en üst dizinine yüklemeniz gerekli. Bunun için Cpanel’i ya da Filezilla’yı kullanabilirsiniz.

Bu yüzden sitenizin robots.txt dosyasına “https://siteadiniz.com/robots.txt” yoluyla erişebilirsiniz. Aynı şekilde takip ettiğiniz sitelerin robots.txt dosyasına da bu şekilde erişip örnek olarak bakabilirsiniz. Ayrıca subdomain’iniz varsa yani blog.hamlinmcgill.com gibi bir alt dizinine sahipseniz bu subdomain için ayrı bir robots.txt dosyası oluşturmanız gerektiğini unutmayın.

Robots.txt Dosyasını Test Etme

Google, kontrol etmek için kullanabileceğiniz ücretsiz bir robots.txt test aracına sahip.

Siz de Google Search Console’da bu alana Crawl > Robots.txt Tester kısayolundan ulaşabilirsiniz.

Üst Seviye SEO için Robots.txt Dosyasını Kullanın

Artık SEO’nun bu önemli unsurunu anladığınıza göre, arama motorlarının istediğiniz sayfaları dizine eklediğinden, istediğinizin eklenmediğinden emin olun.

Bundan sonra, arama motorlarına sitenizi nasıl tarayacaklarını bildirmek için robot.txt’yi kullanmaya devam edebilirsiniz. Veya takıldığınız bir nokta olursa bize yorum bölümümüzden yazabilirsiniz.

İlginizi çekebilir;

Yapılandırılmış Veri (Structured Data) Nedir? JSON-LD Nedir?

"Verimlilik" büyülü kelimemiz. Her zaman, her işte başarılı olmak için verimliliğin esas alınması gerektiğine inanıyoruz. Gelin işinizi "verimli" hale getirelim.

Yorum Yok

İçerik Yorumları