finans ve vergiler

Google Arama Motorlarında Belirli Bir Web Sitesini Nasıl Engellerim?

Barındırma sunucunuzdaki belirli bir web sitesini Google ve diğer arama motoru robotlarından engellemek için web sitesinin birincil dizini için bir "robots.txt" dosyası oluşturabilirsiniz. Bir robots.txt dosyası, arama motoru örümceklerine bir Web sunucusunda barındırılan siteleri taramasını veya bunlardan kaçınmasını söyler. Siteyi tüm örümceklerden engellemek için bir joker karakter kullanmak veya engellemek için GoogleBot gibi kullanıcı aracısını belirtin. Alternatif olarak, arama motorlarının sitenizdeki tek bir sayfayı endekslemesini engellemek için HTML koduna "noindex" meta etiketini ekleyin.

Robots.txt Dosyası

1.

Not Defteri gibi bir metin düzenleyicide boş bir sayfa açın.

2.

Aşağıdaki kodu metin dosyasına yazın veya kopyalayıp yapıştırın. Bu kod Google örümceklerinin sitedeki tüm klasörleri ve alt klasörleri endekslemesini önler.

Kullanıcı aracısı: GoogleBot Disallow: /

Tüm arama motorlarını yalnızca “MyFolder” adlı bir klasörden engellemek için aşağıdaki biçimi kullanın.

Kullanıcı aracısı: * Disallow: / MyFolder /

3.

“Dosya” yı ve ardından “Kaydet” i tıklayın. Dosya Adı alanına “robots.txt” yazın, ardından dosyayı kaydetmek için “Kaydet” i tıklayın.

4.

Robots.txt dosyasını Google’dan ve Web sunucunuzdaki diğer arama motorlarından engellemek için dizine yükleyin.

Meta Etiket

1.

Bir kod düzenleyicide engellemek için HTML sayfasını açın.

2.

Etiketten hemen sonra aşağıdaki meta etiketi ekleyin:

3.

Dosyayı kaydedin, ardından kod sayfasını Web sunucunuza yükleyin. Metatag, robotlara sayfayı görmezden gelmesini söyler.

İpuçları

  • Sitenizdeki tüm içeriği dizine almak için, bir robots.txt dosyasının kullanılmasından kaçının. Dosya yalnızca barındırma sunucunuzdaki bir veya daha fazla dizini engellemek istiyorsanız gereklidir.
  • Resim dosyalarının endekslenmesini engelleyebilirsiniz, böylece resimleriniz Google Görseller'de gösterilmez. Sitenizdeki tüm GIF resimlerinin GoogleBot endekslenmesini engellemek için aşağıdaki kodu kullanın:
  • Kullanıcı aracısı: Googlebot
  • Disallow: /*.gif$

Uyarılar

  • Robots.txt dosyası, ahlaksız spam gönderenler ve diğerleri tarafından geçersiz kılınabilir. Bununla birlikte, çoğu meşru şirket robots.txt dosyalarında belirtilen kurallara saygı gösterir.
  • Farklı örümceklerin robots.txt dosyalarını farklı şekillerde yorumlayabildiğini unutmayın.

none

Tavsiye