Googlebot nedir?

Googlebot kılavuzu

Googlebot nedir? Google botları ne işe yarar. Yararları ve zararları nelerdir? tüm bu soruların yanıtları makale detayında.

  • Googlebot  Google tarafından tasarlanan bir web tarayıcısıdır.
  • Web sayfalarına erişim sağlamak ve sıralama faktörlerinin sinyalini göndermek için Google tarafından kullanılır.
  • Googlebot tarafından toplanan bilgiler Google sıralamalarını güncellemek için kullanılır.

Googlebot milyarlarca web sayfasını ziyaret eder ve internet üzerindeki internet sitelerinin tamamına yakın sayfaların, sıralamasını belirler.

Web tarayıcısı nedir?

  • Web tarayıcıları (botlar, robotlar veya örümcekler olarak da bilinir), bağlantıları takip etmek, bilgi toplamak ve daha sonra bu bilgileri bir yere göndermek için tasarlanmış bir yazılım türüdür.

Googlebot ne yapar?

  • Googlebot, web sayfalarının içeriğini (web sayfasını oluşturan kelimeler, kod ve kaynaklar) alır.
  • Aldığı içeriğin başka yerlere bağlantıları varsa, bu not edilir.
  • Daha sonra bilgileri Google’a gönderir.

Googlebot ve web siteniz arasındaki ilişki

Google dizini, web sayfalarının karşılaştırıldığı ve sıralandığı yerdir.

    • Web sayfalarınızın Google’da bulunabilmesi için Googlebot’a görünür olmaları gerekir.
    • Web sayfalarınızın en iyi şekilde sıralanması için, tüm web sayfası kaynaklarına Googlebot tarafından erişilebilmelidir.

Googlebot ile Google dizini arasındaki fark

Googlebot

      • Googlebot, yayınlanmış içeriği tarar ve hafızasına kaydeder.
      • Googlebot, içerikte hiçbir sıralama kriterini dikkate almaz, sadece yayınlanan içeriği tespit eder ve Google’a erişilebilir sinyali gönderir.
      • Googlebot’un dikkat ettiği “Bu içeriğe erişebilir miyim?, erişebileceğim başka içerik var mı?” sorunsalıdır.

Google dizini

      • Google dizininin görevi ise, Googlebot’tan aldığı içerik ve sayfa sinyallerini semantik analiz sonucunda, sıralamalarda yer almasını sağlamasıdır.

Google tarafından sıralanmanın ilk adımı Googlebot’un ilk sinyal iletişimi kurduğu anda gerçekleşir.

Googlebot’un sayfalarınızı görebilmesini sağlamak

Googlebot, Google dizinini güncelleme yapısı olduğundan, Googlebot’un sayfalarınızı görüntülemesi önemlidir.

Bir webmaster’ın sorması gereken temel sorular şu olmalıdır…

  1. Googlebot, sayfalarımı “görebiliyor” mu?
  2. Googlebot tüm içeriğime ve bağlantılarıma tamamen erişebiliyor mu?
  3. Googlebot tüm sayfa kaynaklarıma erişebiliyor mu?

Her birine daha yakından bakalım …

1. Googlebot, sayfalarımı “görebiliyor” mu?

Google’ın siteniz için gördükleri hakkında fikir edinmek için aşağıdaki Google aramasını yapın …

site:sizinsiteniz.com

Alan adınızın önüne “site:” koyarak Google’dan siteniz için dizine eklediği sayfaları listelemesini talep edebilirsiniz.

İpucu: Bunu yaparken “site:” ile etki alanı adınız arasında boşluk olmadığından emin olun.

Aşağıda bu konuyla ilgili örnek verilmiştir:

Örnek:

site:datrom.net

Beklediğinizden daha az sayfa listeleniyorsa eğer, Googlebot’unu robots.txt dosyanız tarafından engellemediğinizden emin olmanız gerekir.

2. Googlebot tüm içeriğime ve bağlantılarıma tamamen erişebilir mi?

Bir sonraki adım, Google’ın içeriğinizi ve bağlantılarınızı doğru görmesini sağlamaktır.

Sadece Googlebot’un sayfalarınızı görebilmesi, Google’ın bu sayfaların tam olarak seo uyumla olup olmadığının tespit edildiği anlamına gelmez.

Google bot bir web sitesini insanlarla aynı şekilde görmez. Üzerinde resim bulunan bir web sayfası düşünün. İnsanlar resmi görebilir, ancak Googlebot’un gördüğü şey yalnızca bu resmi çağıran koddur.

Googlebot bu web sayfasına (html dosyası) erişebilir, ancak çeşitli nedenlerle bu web sayfasında bulunan resme erişemeyebilir.

Bu senaryoda, Google site içerisinde bulunan resmi indexlemez; bu, Google’ın web sayfanızı tam olarak anlamadığı anlamına gelir.

Googlebot bir web sayfasını nasıl “görür”

Googlebot web sayfalarının tamamını göremez, yalnızca o sayfanın bileşenlerini görebilir.

Sitenizde bulunan bileşenlerden herhangi biri Googlebot’a erişemiyorsa, bot Google dizini için Google’a sinyal gönderemiyor olabilir.

Sadece görüntüyle sınırlı da değil bu durum. Bir web sayfasında birden fazla indexlenmesi gereken bölümler var olabilir. Google’ın web sayfalarınızı en iyi şekilde sıralayabilmesi için Google’ın tüm bileşenleri algılamasını sağlamanız gerek.

Googlebot’un web sayfanızdaki içeriklere erişemeyebileceği pek çok olasılık var, işte bunlardan birkaçı.

  • Kaynak robots.txt tarafından engellendi
  • Sayfa bağlantıları okunamıyor
  • Kötü HTML veya kodlama hataları
  • Kötü HTML veya kodlama hataları
  • Çok karmaşık dinamik bağlantılar

Bunların çoğu, Google Politika Aracı kullanılarak hızlı bir şekilde doğrulanabilir.

Bir Google Hesabınız varsa, Google arama konsolundaki Getir ve Oluştur aracını kullanın. Bu araç, Google’ın tek bir sayfa için gördüklerinin canlı bir örneğini verecektir.

3. Googlebot, tüm sayfa kaynaklarıma erişebilir mi?

CSS ve javascript dosyaları robots.txt dosyanız tarafından engellenmişse, web sayfası içeriğinizle ilgili bazı ciddi yanlış anlamalara neden olabilir (sitenizde okunmayan resimlerden çok daha kötüsü gibi).

Sayfa kaynakları yüklenmemişse, bir web sayfasının gerçekten farklı olabileceği veya farklı içeriğe sahip olabileceği olasılığı artar.

CSS veya javascript kullanan bir mobil sayfa olacaktır. Googlebot bu sayfanın CSS kodlarına veya Javascript’ine erişemiyorsa, sayfanın mobil olabileceğini fark etmeyebilir.

Bu olasık ve diğer olasılıklar gibi, Google sayfanızı “görecek” ve hatta anlayabilecektir, ancak yalnızca HTML kodlarını iyi analiz etmemesi sonucunda sitenin tamamını fark etmek için yeterli olmayabilir.

Bu, Google yönergeleri aracını kullanarak da kontrol edilebilir .

Googlebot’u kontrol edebilir miyim?

Evet.

Googlebot, robots.txt standartlarında verilen talimatları izler ve hatta Google’a özgü gelişmiş kontroller sunar.

Googlebot’u kontrol etmenin bazı yolları …

  • Bir robots.txt dosyası kullanın
  • Robot talimatlarını web sayfalarınızın meta verilerine ekleyin
  • Robot talimatlarını başlıklarınıza ekleyin
  • Site Haritalarını Kullanın
  • Google arama konsolunu kullanın

Şu ana kadar en yaygın yöntem robots.txt dosyasının kullanılmasıdır.

Robots.txt dosyası nedir?

Robots.txt dosyası, Googlebot gibi arama motoru örümceklerinin web sayfalarınızı nasıl gördüğünü ve etkileşim kurduğunu kontrol eder.

Bir robots.txt dosyası Googlebot’a, Googlebot’un erişmek istemediği dosya ve klasörleri listeleyerek sayfalarınızı ziyaret ettiğinde ne yapacağını söyler.

Daha fazla bilgi için robots.txt dosya kılavuzuma bakın.

Robots.txt dosyanızı görüntülemek için (veya sizde olup olmadığını görmek için), siteadiniz.com/robots.txt olarka kontrol edin.

Örnek:

https://datrom.net/robots.txt

Google robots.txt dosyasından bahseden bir kaç kaynak.

robots.txt dosyası
Google’ın robots.txt dosyasını nasıl kullandığına ilişkin teknik genel bakış
Robots meta etiketleri ve başlıkları

Site Haritaları ve Googlebot

Site haritaları, Googlebot’un web sitenizi anlamasına yardımcı olabilmenin bir yoludur…

“Bir site haritası, sitenizin web sayfalarını Google ve diğer arama motorlarına sitenizin içeriğinin organizasyonu hakkında bilgi vermek için listeleyebileceğiniz bir dosyadır.”

Google, Site haritalarının en iyi şekilde kullanıldığını açıklayan liste.

Web siteniz gerçekten büyük.
Siteniz iyi, bağlı olduğu içerik sayfalarından oluşan büyük bir arşive sahip.
Web siteniz yeni ve birkaç dış bağlantısı var.
Siteniz zengin medya içeriği kullanıyor, Google haberlerinde görünür veya diğer site haritaları uyumlu ek açıklamaları kullanıyor.
Site haritaları artık birçok şey için kullanılmakta, ancak Googlebot, site haritaları temel olarak, web sitelerini ziyaret ettiğinizde Googlebot için bir rehber olarak kullanılabilen URL’ler ve diğer verilerin bir listesini oluşturmaya yarar.

Google, site haritaları nasıl oluşturulacağını tam olarak açıklamaktadır.

Googlebot ve Google Arama konsolu

Googlebot’u kontrol edebileceğiniz başka bir yer ise Google arama konsolu.

Googlebot web sunucunuza çok hızlı bir şekilde erişiyorsa, tarama oranını değiştirebilirsiniz.

Googlebot’un sitenize nasıl eriştiği, robots.txt’nizi test ettiği, Googlebot tarama hatalarını görüntülediği ve Google’ın web sayfalarınızı nasıl gördüğünü anlamanıza yardımcı olacak istekleri getirme ve oluşturma hakkında genel bir bakış elde edebilirsiniz.

Kaç adet Google Bot / Google Web Tarayıcısı var?

Dokuz farklı Google web tarayıcısı türü vardır.

Googlebot (Google Web Araması)
Google akıllı telefon
Google Mobile (özellikli telefon)
Googlebot Görseller
Googlebot-Video
Googlebot-News
Google AdSense
Google Mobile Adsense
Google Adsbot Açılış Sayfası Kalite Kontrolü
Her bilgi parçası hakkında ayrıntılar için Google tarafından sağlanan Google tarayıcı yardım sayfasını ziyaret edin. Kullanılan her web tarayıcısıyla ilgili ayrıntıları içerir.

Googlebot Kullanıcı Aracısı nedir?

Birkaç adet Googlebot olduğundan, aslında birkaç Googlebot kullanıcı aracı var demektir,bunlardan en temel olanlara bir göz atalım.

Googlebot (Google web Araması)

Kullanıcı Aracısı adları: Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot Smartphone

Kullanıcı aracısı adları: Googlebot

Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12F70 Safari/600.1.4 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot Görüntüsü

Kullanıcı aracısı adları: Googlebot-Image (Googlebot)

Googlebot-Image/1.0

Googlebot Videosu

Kullanıcı aracısı adları: Googlebot-Video (Googlebot)

Googlebot-Video/1.0

Google tarayıcılarının yardım sayfası, Google web tarayıcılarının tümü hakkında kullanıcı Aracısı bilgileri sağlar. En güncel ve güvenilir bilgileri bulmanız gereken tek resmi kaynak.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir