Robots.txt Nedir?
Arama motorları ve benzeri web üzerinde indexleme işlevi gören firmaların, programladıkları Bot (robot, örümcek, spider vb.) ismindeki minik programcıklar devamlı olarak internet üzerinde gezinerek siteleri, veya görevlendirildikleri içerikleri kaydederler. Botlar için eğer robots.txt dosyası kullanılmıyorsa herhangi bir limit yoktur. Web sitesi içerisinde belki web sitesi sahibinin dahi bilmediği ve görmediği içerikleri kaydedebilirler.
Bu botların özellikle yönetici paneli vb kısımlara erişimi tehlikelidir. Örneğin bir Google Bot’u sitenizin admin sayfalarına erişip, kullanıcı bilgilerinizi, ve hatta yönetici haklarına sahip olduğunuz “session” bilgilerini indexleyebilir. Böylece arama sonuçlarında yayınlanmasını istemediğinizbilgiler tüm kullanıcılara açılabilir.
Bundan sakınmak için Robots.txt dosyası yaratıp, Bot’ların hangi dosya ve klasörlere erişmeyeceğini belirleyebilirsiniz. Robots.txt kullanarak sadece sizin izin verdiğiniz kısımların indexlenmesini sağlayabilirsiniz.
robots.txt dosyasını etkin kullanmak
robot.txt dosyası, arama motorlarının botlarına sitenizin hangi bölümlerine ve sayfalarına erişip erişmeyeceğini belirten, yani arama sonuçlarında çıkmasını istemediğiniz sayfa ve bölümlerin indekslemesini engelleyen bir dosyadır.
Bu dosya mutlaka robots.txt olarak adlandırılmalı ve sitenin kök dizininde bulunmalıdır. Ancak bir alt alanadı (subdomain) kullanıyorsanız ve bu alt alanadının altındaki bölümlerden bazılarını kısıtlamak istiyorsanız, burası için ayrı bir robot.txt dosyası oluşturmalısınız.
Google Web Yöneticisi Araçları, robot.txt dosyası oluşturmanıza yardımcı olacak bir oluşturucu (generator) sunmaktadır.
robot.txt dosyası sayfalarınıza erişimi tamamen kısıtlamaz. Eğer engellemek istediğiniz içeriğinize başka sitelerden bağlantı verilmişse, arama sonuçlarında engellenen bağlantıların url'leri verilir, başlık ve özet bilgi verilmez. İçeriğe erişimi şifre koruma ve .htacdess dosyası ile sınırlandırmak daha güvenli alternatiflerdir.
nofollow kullanmak :
Böyle durumlarda bağlantıların içindeki rel değerine vereceğiniz "nofollow" özniteliği ile bunu kısıtlayabilirsiniz.
<a href="baglanti.html" rel="nofollow">Bağlantı</a>
Tüm sitedeki bağlantılara nofollow değeri atamak isterseniz tanımlayacğaınız meta etiketini <head></head> içerisine ekleyerek bunu sağlayabilirsiniz.
<meta name="robots" content="nofollow">
Captcha kelimesi ise Luis von Ahn, Manuel Blum, Nicholas Hopper ve John Langford tarafından 2000 yılında konmuştur. Açılımı ise Completely Automated Public Turing test to tell Computers and Humans Apart’tır.
Nerelerde kullanılır?
Bloglara spam yollanmasını önlemek: Çoğu blog yazarı yorum olarak gelen spamlerin farkındadır. Botlar yazdıkları spam comment’ler sayesinde arama motorlarında spam’i yapılan web sitesinin üst sıralara çıkmasını amaçlıyor. Bu yorumların önüne geçebilmek için captcha kullanılıyor. Bu sayede bloglara yorum yapmak için üye olmaya da gerek kalmıyor. Üye olmayan kullanıcı captcha testini geçtikten sonra insan olduğunu ispatlıyor.
Website üyeliğini kontrol etmek: Üyelik ile sunulan ücretsiz hizmetlerden botlar kullanılarak milyonlarca üyeliğin alınması sağlanabiliyor. Sistemin bu şekilde milyonlarca email vs. hizmetler vererek çalışmaz hale gelmemesi için captcha kullanılıyor.
EMail adreslerini gizlemek: Spammer’lar spam yapabilmek için email adreslerini kullanıyorlar. Bu email adreslerini bulabilmek için de web’de text araması yapıyorlar. Bunu önlemek için de web sayfalarında bir email adresini görebilmek için öncelikle captcha testini geçmeniz ve insan olduğunuzu ispatlamanız gerekiyor.
Şifreyle giriş sistemlerinde, bildiğiniz üzere, bir hesaba belirli sayıda hatalı giriş uygulandıktan sonra, o hesap belli bir süre kilitleniyor. Botlar, bu kilitlenmeyi kullanarak sistemdeki çoğu hesabın kullanılmaz olmasını hedefliyor.
Mobil siteler ve seo ayarları:
Google’ın mobil seo algoritması üzerine konuşacak olursak, edindiğimiz deneyimler ve yurt dışı kaynaklı makaleler bize gösteriyor ki mobil seo algoritması standart arama algoritması kadar kompleksli bir yapıya sahip değil. Göz önünde bulundurduğu kriterler sınırlı. Bunları sıralayacak olursak;
1-Mobil Tasarım Mobil algoritmanın göz önünde bulundurduğu kriterlerden en önemlisi web sayfanızın mobil uyumlu olması ve cep telefonları tarafından kolayca erişilebilir bir yapıya sahip olması. Buradan google algoritması mobil kullanıcıya daha kaliteli hizmet sunduğunuzu anlar mobil arama sonuçlarında sitenizi arama sonuçlarında daha üst sıralarda çıkartır. Sitenize mobil tasarım yaptıramıyorsanız bile Flash,Js gibi mobil tarayıcılar tarafından okunamayan teknolojilerden kaçınmayı unutmayın..
2-Kırık LinkHer ne kadar normal arama sonuçlarında da kırık linkler önemli olsada mobil seo’da bu önem dahada katlanıyor. Google mobil algoritması site içerisindeki link hiyerarşisine ayrı bir önem vermekte ve kırık linki olan sayfaları sıralamada daha aşşağılarda çıkartmakta. Dikkat etmeniz gereken şey sayfalarınızın tümünden ana sayfaya link çıkışının olup olmaması, kesinlikle olmalı. Ve periyodik olarak kırık link kontrolü yapmanız.
3-Mobil Seo HaritasıArama sonuçlarını etkilediğini düşündüğümüz bir diğer faktör ise mobil site haritası. Microsystools sitesinden mobil seo haritanızı oluşturmanız web yöneticisi araçlarından sitenize upload etmeniz mobil seo konusunda sizleri bir adım öne geçirecektir.
4-Mobil UygulamalarBu seçenek hakkında her ne kadar spekülasyonlar olsa da sitenize mobil uygulama yaptırmanızı öneririm. Kullanıcıları browser üzerinden değilde telefondaki bir uygulama üzerinden sitenize çekmeniz sizlere mobil seo açısından avantaj sağlayacaktır.
kaynak:
Kayıtlar
