Arama motoru optimizasyonu hakkında her şeyi biliyorsunuz – iyi yapılandırılmış bir sitenin, alakalı anahtar kelimelerin, uygun etiketlemenin, teknik standartların ve çok sayıda içeriğin önemi. Ancak muhtemelen Googlebot optimizasyonu hakkında pek düşünmüyorsunuz.
Googlebot optimizasyonu, arama motoru optimizasyonu ile aynı şey değildir çünkü bir seviye daha derine iner. Arama motoru optimizasyonu, daha çok kullanıcının sorguları için optimizasyon sürecine odaklanır. Googlebot optimizasyonu, Google tarayıcısının sitenize nasıl eriştiğine odaklanır.
Elbette çok fazla örtüşme var. Ancak, bu önemli ayrımı yapmak istiyorum çünkü bunun sitenizi etkileyebileceği temel yollar vardır. Bir sitenin taranabilirliği, aranabilirliğini sağlamanın önemli ilk adımıdır.
Googlebot nedir?
Googlebot, Google’ın web’i tarayan ve bir dizin oluşturan arama botudur. Örümcek olarak da bilinir. Bot, erişimine izin verilen her sayfayı tarar ve onu, kullanıcıların arama sorguları tarafından erişilebileceği ve döndürülebileceği dizine ekler.
Google’ın Nasıl Çalıştığı ile ilgili animasyonlu bilgi grafiğim size örümceklerin web’i nasıl getirdiğini ve bilgileri nasıl dizine eklediğini gösteriyor.
Googlebot’un sitenizi nasıl taradığına ilişkin tüm fikir, Googlebot optimizasyonunu anlamak için çok önemlidir. İşte temel bilgiler:
Önerilen makale: sermayesiz iş fikirleri hakkında bilgi almak ve güncel iş fikirleri haberlerine ulaşmak için ilgili sayfayı ziyaret edebilirsiniz.
Googlebot, önemli sayfa sıralamasına sahip siteleri taramak için daha fazla zaman harcar. Googlebot’un sitenize ayırdığı süreye “tarama bütçesi” denir. Bir sayfanın yetkisi ne kadar yüksek olursa, o kadar fazla tarama bütçesi alır.
Googlebot her zaman sitenizi tarıyor. Google’ın Googlebot makalesi şunu söylüyor: “Googlebot, sitenize ortalama olarak birkaç saniyede bir defadan fazla erişmemelidir.” Başka bir deyişle, siteniz tarayıcıları doğru bir şekilde kabul ediyorsa, siteniz her zaman taranır. SEO dünyasında “tarama hızı” ve Google’ın sitenizi en uygun sıralama için yeniden taramasını nasıl sağlayacağınız hakkında pek çok tartışma var. Burada bir terminoloji yanlış anlaşılma var, çünkü Google’ın “tarama hızı” Googlebot’un site taramasının tekrarını değil, isteklerinin hızını ifade ediyor. Tarama hızını Web Yöneticisi Araçları’nda değiştirebilirsiniz (dişli simgesi → Site Ayarları → Tarama hızı). Googlebot sitenizi tutarlı bir şekilde tarar ve ne kadar tazelik, geri bağlantılar, sosyal sözler vb. olursa, sitenizin arama sonuçlarında görünme olasılığı o kadar artar. Googlebot’un sitenizdeki her sayfayı her zaman taramadığını unutmamak önemlidir. Burası tutarlı içerik pazarlamasının önemine işaret etmek için iyi bir yerdir — taze, tutarlı içerik her zaman tarayıcının dikkatini çeker ve üst sıralarda yer alma olasılığını artırır.
Googlebot, siteyi tarama kurallarını öğrenmek için önce bir sitenin robots.txt dosyasına erişir. İzin verilmeyen sayfalar taranmaz veya dizine eklenmez.
Googlebot, sitemap.xml’yi sitenin taranacak ve dizine eklenecek tüm alanlarını keşfetmek için kullanır. Sitelerin oluşturulma ve düzenlenme biçimlerindeki farklılıklar nedeniyle, tarayıcı her sayfayı veya bölümü otomatik olarak taramayabilir. Dinamik içerik, düşük dereceli sayfalar veya çok az dahili bağlantı içeren geniş içerik arşivleri, doğru şekilde oluşturulmuş bir Site Haritasından yararlanabilir. Site haritaları, Google’a video, resimler, mobil ve haberler gibi kategorilerin arkasındaki meta veriler hakkında tavsiyelerde bulunmak için de faydalıdır.
Googlebot İçin Optimize Edilmiş Bir Site İçin Altı İlke
Googlebot optimizasyonu, arama motoru optimizasyonundan bir adım önce geldiği için, sitenizin mümkün olduğunca kolay ve doğru bir şekilde dizine eklenmesi önemlidir. Bunun nasıl yapılacağını açıklayacağım.
1. Fazla süslü olmayın.
Benim tavsiyem, “fazla abartmayın” bu sebepledir. Googlebot JavaScript, çerçeveler, DHTML, Flash ve Ajax içeriğinin yanı sıra eski iyi HTML’yi taramaz.
Google, Googlebot’un JavaScript ve Ajax’ı ne kadar iyi veya ne kadar ayrıştırdığı konusunda henüz açıklama yapmadı. Jüri olmadığından – ve görüşler gamı yönettiğinden – muhtemelen en iyisi, önemli site öğelerinizin ve/veya içeriğinizin çoğunu Ajax/JavaScript’e göndermemenizdir.
Matt Cutts’ın bize Javascript’i tarayıcıya açabileceğimizi söylediğinin farkındayım. Ancak bazı kanıtlar ve Google Web Yöneticisi Yönergeleri yine de şu küçük tavsiyeyi sunuyor:
JavaScript, tanımlama bilgileri, oturum kimlikleri, çerçeveler, DHTML veya Flash gibi süslü özellikler bir metin tarayıcıda sitenizin tamamını görmenizi engelliyorsa, arama motoru örümcekleri sitenizi taramakta sorun yaşayabilir.
JavaScript kullanımı konusunda şüphecilikten yanayım. Ne dilediğini tahmin et, ama temelde, fazla süslü olma.
2. robots.txt dosyanızla doğru olanı yapın.
Neden bir robots.txt dosyasına ihtiyacınız olduğunu hiç düşündünüz mü? SEO için standart en iyi uygulamadır, ancak neden?
Bir robots.txt dosyasının gerekli olmasının bir nedeni, çok önemli Googlebot’a bir yönerge işlevi görmesidir. Googlebot, tarama bütçesini sitenizdeki herhangi bir sayfaya harcayacaktır. Googlebot’a, tarama bütçesini nereye harcaması ve harcamaması gerektiğini söylemeniz gerekir. Sitenizde taranmaması gereken sayfalar veya silolar varsa, lütfen robots.txt dosyanızı buna göre değiştirin.
Googlebot, sitenizin gereksiz bölümlerine ne kadar az zaman harcarsa, sitenizin daha önemli bölümlerini o kadar çok tarayabilir ve geri getirebilir.
Dostane bir tavsiye olarak, lütfen sitenizin engellenmemesi gereken sayfalarını veya bölümlerini engellemeyin. Googlebot’un varsayılan modu, her şeyi taramak ve dizine eklemektir. robots.txt dosyasının tüm amacı, Googlebot’a nereye gitmemesi gerektiğini söylemektir. Google’ın dizininin bir parçası olmak istediğiniz her şeyi tarayıcının serbest bırakmasına izin verin.
3. Taze içerik oluşturun.
Daha sık taranan içeriğin daha fazla trafik kazanma olasılığı daha yüksektir. Tarama sıklığında pagerank muhtemelen belirleyici faktör olsa da, benzer şekilde sıralanan sayfaların tazelik faktörü ile karşılaştırıldığında pagerank’ın daha az önemli olması muhtemeldir.
Düşük dereceli sayfalarınızın olabildiğince sık taranmasını sağlamak Googlebot optimizasyonu için özellikle çok önemlidir. AJ Kohn’un yazdığı gibi, “Düşük PageRank sayfalarınız rakiplerinden daha sık taranırsa kazanırsınız.”
4. Sonsuz kaydırmalı sayfaları optimize edin.
Sonsuz bir kaydırma sayfası kullanıyorsanız, Googlebot optimizasyonu şansınızı mutlaka mahvetmiyorsunuz demektir. Ancak sonsuz kaydırmalı sayfalarınızın Google tarafından sağlanan ve konu ile ilgili yazımda açıklanan şartlara uygun olduğundan emin olmanız gerekmektedir.
5. Dahili bağlantı kullanın
Dahili bağlantı, özünde Googlebot’un sitenizi tararken izleyeceği bir haritadır. Dahili bağlantı yapınız ne kadar entegre ve sıkı sıkıya bağlıysa, Googlebot sitenizi o kadar iyi tarar.
Dahili bağlantı yapınızı analiz etmenin doğru bir yolu, Google Arama Konsolu → Arama Trafiği → Dahili Bağlantılar’a gitmektir. Listenin başındaki sayfalar, SERP’lerde döndürülmesini istediğiniz güçlü içerikli sayfalar ise, o zaman iyi gidiyorsunuz demektir. En çok bağlantı verilen bu sayfalar, sitenizin en önemli sayfaları olmalıdır:
6. Bir sitemap.xml oluşturun
Site haritanız, sitenize nasıl erişileceği konusunda Googlebot’a verilen en net mesajlardan biridir. Temel olarak, bir Site Haritası tam olarak adından da anlaşılacağı gibi Googlebot’un takip etmesi için sitenize giden bir harita görevi görür. Her site kolayca taranamaz. Karmaşık faktörler, daha iyi bir kelime olmadığı için, Googlebot’un “kafasını karıştırabilir” veya sitenizi tararken dikkatinin dağılmasına neden olabilir.
Site haritaları bu yanlış adımlar için gerekli düzeltmeyi sağlar ve sitenizin taranması gereken tüm alanlarının taranmasını sağlar.
Googlebot’un Sitenizdeki Performansını Analiz Etme
Googlebot optimizasyonunun harika yanı, sitenizin tarayıcıyla nasıl performans gösterdiğini görmek için tahmin yürütmenize gerek olmamasıdır. Google Web Yöneticisi Araçları, ana özellikler hakkında yararlı bilgiler sağlar.
Size bunun sınırlı bir veri kümesi olduğunu söylemek istiyorum, ancak sitenizin tarama performansıyla ilgili önemli sorunlar veya eğilimler konusunda sizi uyaracaktır:
Web Yöneticisi Araçları’nda oturum açın ve bu teşhisleri kontrol etmek için “Tara”ya gidin.
Tarama Hataları
Sitenizin tarama durumuyla ilgili herhangi bir sorun yaşayıp yaşamadığını öğrenebilirsiniz. Googlebot düzenli olarak web’i tararken, siteniz ya kendi kendini sorunsuz bir şekilde taramaya tabi tutar ya da son dizine göre botun orada olmasını beklediği sayfalar gibi bazı kırmızı bayraklar atar. Tarama hatalarını kontrol etmek, Googlebot optimizasyonu için ilk adımınızdır.
Bazı sitelerde tarama hataları vardır, ancak hatalar o kadar az veya önemsizdir ki trafiği veya sıralamayı otomatik olarak etkilemezler. Ancak zamanla, bu tür hatalar genellikle trafik düşüşüyle ilişkilendirilir. Aşağıda, hatalarla karşılaşan bir site örneği verilmiştir:
Tarama İstatistikleri
Google size botun günde kaç sayfa ve kb analiz ettiğini söyler. Düzenli olarak yeni içeriği öne çıkaran proaktif bir içerik pazarlama kampanyası, bu istatistikler için olumlu bir yukarı ivme sağlayacaktır.
Google gibi getir
“Google Gibi Getir” özelliği, sitenize veya tek tek sayfalara Google’ın bakacağı şekilde bakmanıza olanak tanır.
Engellenen URL’ler
Robots.txt dosyanızın çalışıp çalışmadığını kontrol etmek ve görmek istiyorsanız, “Engellenen URL’ler” size bilmeniz gerekenleri söyleyecektir.
site haritaları
Bir site haritası eklemek, bir site haritasını test etmek veya site haritanızda ne tür içeriğin dizine eklendiğini keşfetmek istiyorsanız site haritası özelliğini kullanın.
URL Parametreleri
Dinamik URL’lerin neden olduğu yinelenen içerik miktarına bağlı olarak, URL parametre dizinlerinde bazı sorunlar yaşayabilirsiniz. URL Parametreleri bölümü, Google’ın sitenizi URL parametreleriyle tarama ve dizine ekleme şeklini yapılandırmanıza olanak tanır. Varsayılan olarak, tüm sayfalar Googlebot’un karar verdiği şekilde taranır:
Çözüm
Sitenizin performansını ve SEO’sunu gerçekten düzene koymak ve iyileştirmek istiyorsanız, Googlebot optimizasyonuna biraz zaman ve çaba harcamalısınız. Bazı web yöneticileri, yalnızca Googlebot optimizasyonuna gereken önemi vermedikleri için ihmal ettikleri trafik miktarının farkında değiller.
Bir sitenin indekslenmesi ve arama motoru sonuçlarında döndürülmesi için taranması gerekir. Site doğru bir şekilde taranmadıkça, dizine eklenmez veya döndürülmez. Bu makaleyle başlayın, sitenizi Googlebot için optimize edin ve bunun trafiğinizi nasıl daha iyi hale getirdiğini görün.