facebook

SEO Çalışması Danışmanlığı

Blog

İndex Sorunu: Site Neden İndexlenmiyor.

ndex-sorunu-ve-çöüzümü

İndex Sorunu ve Çözümleri

İndex sorunu veya geç indexlenme sorunu özellikle yeni sitelerin çok sık karşılaştığı genel bir sorun olmakla beraber çözümü yok vardır. Neden site indexlenmiyor? Veya neden sitenin bir kısmı indexlenmiyor sorusu her zaman karşımıza çıkmaktadır. Bu tür index sorunu yaşayan webmaster veya site sahipleri için  cevap niteliği taşıyacak detaylı bir analizi aşağıda yayınlıyoruz.  Bu yazı sorunu çözmenizde size yol göstereceğine inanıyorum.

İndex sorunu’nun temel nedenleri:

İndex sorununu temel’de 5 ana sabebe ayırabiliriz. Bunlar sırasıyla;

  • Arama motorları robotlarının bu site veya dosyadan haberdar değilleridr.
  • Site, soya veya sitenin bir kısmı arama motorları örümceklerinin erişimine kapalıdır.
  • Site kara listededir.
  • Site teknik sorunlar şamamaktadır.
  • Sitenin bazı bölümleri veya sayfaları kelitesiz veya illegal içerik barındırıyor.

Şimdi bu indexlenme sorununa neden olan bu 5 ana faktörü detaylı bir şekilde inceleyelim:

  1. Arama Motorları’nın Site/ Dosya hakkında haberleri yok.

Arama motorlarının site hakkında bilgisi olmayabilir. Özellikle yeni açılan siteleri ilgilendiren bu problemin çözümü arama motorlarına sitenizi kayıt etmekle mümkün fakat bu sorunun en temel nedeni sitenin açılmasının üzerinden çok kısa zaman geçmiş olması. Bu sorun genelde yeni açılan veya çok geçe aralıklarla güncellenen sitelerde yaşanmaktadır. Normal şartlarda Google’ın yeni bir sayfayı veya dosyayı indezlemesi saniyeler alır ama sitenin duruman göre  ve bazı özel durumlarda bu birkaç gün hatta birkaç haftayı alabilir. Aynı şey Yandex içinde geçerlidir. Yeniaçılan bir site eğer arama motorlarına kaydedilmemiş ise arama motorlarının o siteyi bulması ve indexlemesi 2 haftayı bulabilir.

Bu sorunu kısmen aşabilmek için manuel olarak sitenizi Google dizine kaydedin aynı şekilde Yahoo dizinine kayıt yapın,  aynı şekilde yeni açılan sitenizi Yandex’de kaydedin.

Site veya Dosyada link yok: Aynı şekilde serverdaki loglardan arama motoru robotlarının siteyi ziyaret ettiğini ama indexlemediğini görüyorsanız bunun bir nedeni de site veya sayfada veya dosyada link olmamasından kaynaklanabilir. Bunun için yeni yayınlanan sayfada bağlantı paylaşarak robota sinayel verebilir ve sayfayı veya siteyi indexlemesini sağlayabilirsiniz, bu şekilde rorbota sinyal vererek en azından diğer güncellemede indexlenme oranını arttırmış olursunuz. Şunu bilmeniz gerekir ki bir site ne kadar geç güncelleniyorsa arama motorları robotlarıd ao siteyi o kadar geç aralıkarla ziyaret eder, buda sitenin geç index almasına neden olur. Eğer sitenin başka bir sorunu olmadığından eminseniz sitenizi daha sık güncelleyerek bu sorunu aşmanız mümkün.

1.   Sitenin Tamamı Veya Bir Kısmı Arama Motorları Örümceklerine Kapalı.

Bazen sitemizin varlığı hakkında arama motorlarını haberi olsa bile, webmasterilerin yaptığı teknik hatalardan dolayı sitenin tamanına veya bir kısmına arama motorları örümceklerinin erişimini engellemiş olabiliriz. Bu durum yeni web sitelerinde özellikle WordPress tabanlı sitelerde yaşanmaktadır. Bilindiği gibi WordPress tabanlı siteler SEO Eklentileri kullanmakta ve otormatik  veya manual olarak robot.txt dosyaları oluştırmaktadır. Robot.txt yanlış oluşturulduğunda bilmeyerek sitenin bazı önemli kısmımları veya tamamı arama motoru örümceklerine kapatılabiliyor veya SEO eklentilerinin yanlış ayarlanmasısonucu  böyle bir problem ortaya çıkabiliyor. Şimdi olası sorunların bazılarını inceleyelim.

  • Eğer sitenizin indexlenmesini engelleyecek başka bir hata olmadığını düşünüyorsanız bunu kontrol edin. Yetkilendirilmemiş ( Delegation) Doman : Çok seyrek yaşanan bir problmedir. Sahibi olduğu domain için sadece sizin değil bütün kullanıcıların yetkilenririlmiş olduğunu kontrol edin.  Bu sorun aynı zamanda sitenin illegal içerikleri yüzünden aldığı şikayetler sonucu da meydana gelebilir.  Telif hakları olan içerik paylaşımında belirli bir bölgede domain in yetkilendirilmesi kaldırılabilir. Çok seyrek yaşanan bir durumdur ama vardır. Genelde uyarı yapılır.
  • Robot.txt  engeli: Yeni sitelerde meydaha gelen bazen bilinçsiz, bazen webmasterleri siteyi test ederken arama motorları test sürecini indexlemesin diye  ‘‘Disallow:/ marifetiyle siteyi indexe kapatırlar ve bazen bunu unuturlar. Bu durumda robot.txt dosyasını açarak sitenin indexlenmesi gereken bölümleri arama motorları örümceklerine kapatmadığınızdan emin olun.
  • Meta-robotlar marifetiyle siteyi indexe kapatmak: meta-robots tagları <head> tagları içerisinde bulunurlar ve siteyi indexe kapatmaya yarayan ikincil elementlerdir. Bazı CMS ler (Content Manager Systems) İçerik Yönetici Sistemleri ( WordPress gibi) bu özelliği ciddin kullanımına ciddi anlamda imkan sağlarlar.Ama her webmaster buna bazen fazla dikkat etmezler  Örnek verecek olursam: Türkiye’de çok ziyaret edilen bir WordPress tabanlı bir siteden backlink almak için konuk yazar olarak bir makale yayınlamak istediğim de meta-tag’ın  <meta name=”robots” content=”nofollow,noindex” />  bu şekilde olduğunu gördüğümde şaşırmıştım. Sitenin en önemli sayfaları index dışına atılmıştı, hem de kendi elleriyle.
  • IP veya User-Agent marifetiyle indexe kapatma: Bu sorun hosting firması aracılığı ile çözülebilir. Bir zamanalr Yahoo bu sorunla çok fazla uğraşmıştı. Çünkü hosting firması ve site sahipleri aörümceği IP adresinden erişime kapatmışlardı( çok nadir bir sorundur ama bilgi olarak arşivinizde kaldın). Çok az rastlanan bir durum olmasına rağmen İP nin kara listeye girme durumu da indexlenmeyi engelleyebilir.  Bununla akalalı da somut bir örnek vereyim. Paravan olarak kullandığım bir sitemin zamanla geç indexlendiğini ve daha sonra index süresinin hiçbir şey yapmaz isem 2 -3 haftayı bulduğunu gördüm. Yaptığım araştırma sonucu serverda bulunan iki sitenin aldığı cezanın İP ve diğer sitelere yansımasını gördüm. Server’e değiştirince sorun ortadan kalktı.
  • http-başlık X-ROROBTS-TAG engeli:  Çok seyrek olarak kullanılan metodlardan biridir, bu metod racılığı ile de sitenin tamamı veya bir kısmı indexe kapatılabilir. Feribyg Firefox İçin , ile x-rorbots-tag ların oluduğu veya bu sorunun yaşandığı sayfaları  kontrol edebilirsiniz.
  • Flash veya Ajax navigasyon kullanımı:  Arama motorları, sitenin barındırdığu flash ve ajax elementlerini indexlemede zorlanırlae. Haliye bu nedenden dolayı site sayfalarını ve içeriklerinide indexleme noktasında sorun yaşayabilirler.  Bu elementlerin nasıl çalıştığını görmek için Google Webmaster Araçlarından İndex – Googlebot gibi bak kısmından görebilirsiniz.
  •  Noidex ile önemli bölüm ve sayfaların indexini engellemek: Sitenin indexlenmesi istenilmeyen bölümler için kullanılır veya gereksiz kısımların indexlenmesi engellenmek istenirken yanlışlıkla gerekli kısımlarda engellenir. Yine WordPress tabanlı siteşerde çok sık yapılan hatalardan birisirdi.

 2.   Site Kara Liste’de

Bir websitesi’nin kara listeye birkaç sebebi olabilir ve bu sebeplerde sitenin indexlenmesini engellerle. Temel nedenler şunlardır;

·         Domain Zaten Banlıydı: Bazen banın nedenini çok iyi biliriz ama bazen anlamakta güçlük çekeriz, özellikle yeni alınan domainler’de. Bunun için yeni alınacak domainlerin daha önceden banlanmadığına ve temiz olduğuna dikkat edilmesi gerekir. Genelde sitenin banlanmasına şunlar neden olur.

–       Sitenin aşırı derecede optimize edilmesi , site dışı SEO çalışmaları buna neden olur. Spam yapmak, aşırı derecede kalitesiz ve çok sayıda backlink almak veya site içi SEO adına site içeriğini gizleyerek spam yapmak.

–       Websitesini sadece arama motorları için kurmak. Kullanıcıların faydalanabileceği bilgiden yoksun sadece para kazanma ve aramamotorlarını manuple odklı siteler.

–       Başka bir  sitenin Affilietesi ( Kazanç Ortağı) olmak. ( Aynı siteninin sahibinin başka bir domain de de olan sitesine) Paravan ile karıştırılmasın. Ki artık paravanlar da risk altında.

–       Domain’in kötü bir geçmişi var.

Satın almak istediğiniz domain’de daha önce hangi sitenin olduğunu WebArchiveden görebilirsiniz.

  • İçerik Virüs Yayıyor: Bu maddeyi yazıp yazmamakta biraz çekimser kaldım ama daha sonra yazma gereği hissettim. Eminim ki webmasterler kendi sitelerinde virüs yaymak istemezler ( bir kısım hariç) ama şöyle bir durum söz konusu. Siteleri hacklayarak içeriğe virüs konulabiliyor, bunu yaşayan çok site sahibi var. Siteniz hacklandığında sadece siteyi krutarmakla kalmayın. Aynı zamanda içeriklerdeki değişikliklere de dikkat edin. Virüs yayan bir değişiklik yapılıp yapılmadığını kontrol edin. Bu durumda sitenin indexlenmesini engeller.

3.   Teknik Sorunlar Var.

Nadiratdan da olsa sitedeki teknik sorunlardan dolayı sitenin indexlenmesi yavaş veya tamamen olmayabilir. Bunlardan bazılarını şu şekilde sıralamak mümkün.

  • Yanlış http- Başlığı: Serverin indexe düşecek sayfalar için cevap kodu ‘‘200’’ olmalı. Bunu kontrol etmek için bazı servisler var, bunlardan birtanesi de  Firebug eklentisidir.Aynı şekilde webmaster panelinde de index hatası olduğunda bilidirilir.
  • Yanlış DOCTYPE: Birkaç sitede karşılaştığım için söyleme gereği hissettim, html kodundaki DOCTYPE önünde bulunan (<?xml veya <script>), tagları sitenin kısmen veya tamamen indexlenmesini engeller veya yanlış indexler yada kötü indexlenmesine neden olur. Burada html kodunun standartlara uygun olup olmadığı kontrol edilmelidir.
  • Yanlış Yönlenirmeler ( Redirects):  Yanlış yönlendirmelerde seyrek de olsa yapılan hata 301 yönlendirmesi yerine 302 yönlendirmesinin yapılmasıdır, bu yapıldığında indexlenmiş eski bağlantılar yeni bağlantılara dönüşmezler. Çünkü bur durumda sürekli yönlendirme değil geçici belirli bir tarihten sonraki yönlendirmeler bazalınmıştır. Bunun dışında diğer bir yanlış yönlendirme ise rel=canonical dir. Bir süt kısımda yazdığım gibi, bir dosya için yapılması gereken bütün dosyalar için yapıldığında.
  • Kod Problemleri: Örnekte olduğu gibi. Bilgi Bankası ve İletişim  kısmının kod hataları yüzünden Google’da indexlenmiş hali.

NOT: Siteyi ifşa etmemek için küçük resimler kullandım. Site sahibi hata konusunda ayrıca bilgilendirdim.

index-sorunu

Latin alfabesi kulanan sitelerde çok nadir olarak da olsa görülen bir hata ama farklı Çince, Rusça v.s farklı alfabeler kulanan sitelerde çok sık karşılanan bir hata. Özellikle başlıklarda hatta içeriklerde ve aynı zamanda görsellerde sık sık karşılaşılan bu hata da indexlemeyi zorlaştırı vey engeller.

Rusça bir siteden örnek:

index sorunu-1

1.   Kalitesi Düşük Sayfalar veya Bölümler ( Kategoriler)

Eğer yukarıda belirttiğimiz teknik hataların olmadığına eminseniz ve burada sıraladığımız hataların sitenizde olmadığına, teknik olarak sitenizin mükemmel bir şekilde çalıştığına eminseniz. Artık site içerisine yönelebilirisniz. Çünkü sitenin indexlenmesine engel olan geç veya tamamen indexlenmeme sebebi olan site içi hatta içeriği nedenleri mavcut olabilir.

Asıl konuya girmeden önce Arama Motorlarının çalışmalarıyla alaklı kıs bir bilgi vereyim. Arama motorları her index işlemi için farklı örümcekler kullanırlar. Yani örümcekler siteyi bir kere taramazlar. Siyete yeni bir içerik girildiğinde bir örümcek ( bu başlı başına ayrı ve uzun bir konu olduğu için kıs geçiyorum, bu konuyla alakalı daha uzun bir makale hazırlık aşamasında) gelir ve siteyi tarar, şayet bu örümcek sitede gerçekten kaliteli bir içerik olduğuna karar verirse diğer bir ve farklı fonksiyonları örümcek siteyi tekrar ziyarete der ve diğerinden çok daha detaylı olarak siteyi yeniden tarar. Şatey ilk örümcek sitedeki içeriğin faydasız ve kalitesiz olduğunu algılarsa diğer örümcek siteyi ziyaret etmez. Bunun sebebi arama motorları gereksiz işlemlerle uğraşmak yerin gerçekten kaliteli içeriklere vatik ayırarak zamnadan tasarruf yaparalar.

Arama motorlarının çalışmaları hakkında kısa bir bilgi verdikten sonra şimdi asıl konumuza dönelim. Zaten açıklamadan da ne demek istediğimi anlamışsınızdır. Kalitesiz içerik indexleme ileminid doğrudan etkiler.

 

  • İçerik Zatan Başka Site’de Var (Kopya İçerik):  Arama motorları bir siteye girilen verinin kopya olup olmadığını tarayana kadar anlamazlar bu yüzden ilk etapda iyi bir şekilde indexlerler. Ama daha sonra içeriğinizin aynısını başka sitede de bulurlar ise o zaman sizin sitenizdeki içeriğe değer vermezler hatta sıralamadan tamamen kaybolabilir. Hatta ve hatta Webmaster araçlarında arama motorunun sitenizdeki binlerce sayfasını gördüğünü ama kopya içerik sayfasını görmediğini bile kontrol edebilirsiniz. Şayet arama motoru örümceği başka bir sinyal almaz ise bu böyle kaldı. Başka sinyalden kasıt geç indexlenen siteler için. Örnek verecek olursak geç indexlenen sitelerin içeriklerini alan diğer siteler, geç indexlelen sitelerin kopyalanan içeriklerini indexleyen arama motorları içeriğin kopya olduğunu anlar ve sırama yerini değiştiri.
  • İçerik sitenin başka bir bölümü veya sayfasında var:  Buradaki sorun başka sitelerden kopyalanan içerikle alakalı değil. Bir sitede aynı içeriğin tekrarlanmasıdır. İçeriğin tamamının veya bir kısmının tekrarlanması indexlenmemesine neden olabilir. Bazı SEO uzmanları içeriğin bir kısmını kopayalabileceğini söyleselerde ben aynı fikirde olmadığımı belirtmek isterim. Bugün içeriğin tamamına önlem alan arama motorları yarın içeriğin bir kısmının kopyalanmasına da önlem almayacağına kim garanti verebilir. Yarını sürekli düşünmek lazım.

NOT: Burada içeriğin bir kısmı derken alıntılardan bahsetmiyorum.

  • Özgün İçerik Hacmi Düşük, En  Az 500 kararkter: Site içeriğinin çok az olması arama motorları algoritmalarının sitenizdeki içeriğin değerini diğer site içerikleriyle kıyaslama yapma noktasında zorlanmasına neden olur. 80-100 karakterlik içeriklerle güncellenen sitelerin bırakın ilk sayfalarda sıralanmasını, indexlenmesi bir mucize diyebilirim. Bu şekilde kalitesiz ve içerik hacmi düşük websitelerinin sayfalarını daha çok arama hacçi çok düşük olan anahtar kelimelerin sayfa sıralama sonuçlarındagörebiliriz.  SEO açısından bir makale veya içeriğin ne kadar uzun olması gerektiği hakkında bir şey diyecek olursam: Olabildiğince uzun derim. 250 kelimelik makale furyasını kesinlike bırakmanızı tavsiye ederim. Mümkün olduğunca uzun ve görsellerle desteklenmiş içerikler oluşturmak bu kısımda anlattığım neden yüzünden indexlenmeyen sitenizin bu sorunun halledecektir.
  • Çok Fazla Sayıda 404 Sayfası: Aşırı derecede 404 hatası sitenin indexlenmemesine veya kötü indexlenmesine neden olan diğer bir unsurdur. Aşırıcı derecede 400 hatası ayrıca sitenin terkedilmiş olduğuna dair sinyaller verir bu yüzden farklı servisler kullanılarak 404 hatası veren sayfalar (url) ler güncellenmelidir.
  • Yavaş Site Hızı:  Arama motoru örümceklerinin siteyi indexleme hızı sitenin sayfalarının yüklenme hızıyla doğrudan alakalıdır dememiz yanlış olmaz. Sitenin yavaş olması da genelde hosting veya CMS içerik yönetim sitemi ile akalalıdır. Site hızının indexleme ile doğrudan ilişkisi vardır.
  • Yetersiz Backlink: Sitenizin neden indexlenmediğine dair herhangi bir fikriniz yok ise ve bu konuyla alakalı bir araştırma yaptığınızda genelde verilen cevapların backlink yetersizliğinden kaynaklandığı yönünde iddiaalarla kaşılaşacaksınız. Kısmen bu doğrudur ama tek başına bir sebeğ değildir. Yani yukarıda şimdiye kadar anlattığımız bütün kusurlar ve hatalar olmadığını varsayalım ve otoriter içerikler paylaştığınızı düşünelim. Ama hiç backlink çakışmadığın bu durumda siteniz Arama Motorları tarafından indexlenir mi? Evet indexlenir. Backlinklerin bir çok faydası olduğu gibi indexlenme süresinin hızlanmasına da yardımcı olduğu kesindir ama en önemli etken değildir.

 

Şüphesiz burada sıraladığımız faktörler dışında sitenizin indexlenmesine engel olan diğer bir çok faktör vardır. Ben burada en temel problemleri ele alırken, İndex sorununa bir çerçeveden değil bir bütün olarak bakmanızı sağlamaya çalıştırm. Özellikle yeni ve ceza almış eski sitelerde görünen ve çok sık yalanan index sorunu birkaç nedenden dolayı da olabilir.

Bunun dışında site haritasının oluşturması, RSS, Sosyal medya çalışması ( Facebook, Twitter, G+) sayfalarının açılması ve buna benzer idex süresini azaltacak bir çok faktör var. Bunlar genel olarak bilinen şeyler olduğu için bu makale’de ele almadım. Fakat burada index sorununa neden olan ve bilimeyen veya göz ardı edilen sorunları sıralamaya çalıştım.

Ersin Tezcan
SEO ve SEM uzmanı. Rusya Federasyonu OMGU Mezunu. İyi Derecede İngilizce ve Rusça Biliyor. Farklı Dillerde Yayınlanmış 300 den Fazla Makalesi Var.
You may also like
google
Sitelinks Search Box uygulaması başladı
E-Ticaret SEO
E-Ticaret Siteleri İçin SEO Rehberi
7 Comments
  • arko hakan Ağu 31,2016 at 20:52

    Selamlar, bendede aynı sorun var sitemi açalı yaklaşık 2-3 ayoluyor ve ilk zamanlarda google gibi getir yaptıgım da kolay index alıyordu ve yaklaşık 2 haftadır indexlenmesi durdu.Sitemapda yaklaşık 125 sayfa var ve şuan 38 sayfa indexlenmiş ve yavaş açıkçası biraz kalitesiz backlink ve aşırı site i.i seo yapmış olabilirim fakat hala sorunu çözebilmiş değilim.Birkaç güne kadar tekrar 3-4 sayfa ekliycem ve yeni site haritası ekliycem, acaba site haritasındamı sorunvar yoksa çok sık siteharitası ekleyip silmenin mi zararı var bir türlü çözemedim index sorununu önerisi olan varmı acaba htp. izmirmarkareklam.c.o.m/sitemap.xml

  • Cevdet Şişman Şub 28,2015 at 12:23

    Teiekkürler, makale işimi gördü robot.txt de indexlemeyi engellemişim. Robot.txt ayarlarını da başka siteden almıştım, 2-3 ayım heba oldu. Teşekkürler tekrar.

  • mesut Şub 16,2015 at 04:59

    Merhaba, uzun zamandir sizi r10 ve burdan takip ediyorum. Su an askerdeym fakat telefonla da olsa takibibırakmadım. Oncelikle bu değerli yazilariniz icin cok tesekkur ederm.

    Soruma gelecek olursak bundan 3 4 yil oncesine kadar bu seo isini az cok yaptm ve onemli paralar kazandm. Fakat bir süre sonra bu sektore ara verdim sitelerin bazılarında blackhat teknikleri kullandim ve sitelerin hepsi malum son filtre oldu.

    Bundan 6 7 ay önce yeniden siteler acip legal bir sekilde ilerlemeye calistim. Yeni site vs. oldugu icin hic backlink almadan icerik ile yoluma devam ettim 15 20 gun ama iddaali bir kelime olmamasina rağmen bile ilk 500e giremedm. Bu birkac sitemde de bu şekilde tekrar etti.

    Acaba webmasterTools hesabim kara listeye alinmis olabilir mi? Yoksa sabirisizlik yapıyorum sizce?

    • Ersin Tezcan Şub 16,2015 at 13:51

      15-20 gün mü oldu siteyi açalı. 3-4 aya kadar bu normal eğer backlink çalışması yapmadıysanız. Bunun yanında backlink çalışması yapmanızı da önermiyorum. Kaliteli içerikle yolunuza devam edin.

  • Mustafa Çimen Haz 3,2014 at 11:15

    Muhteşemsin üstad çok sağol

  • Serenay May 22,2014 at 00:10

    Merhabalar,
    Sitenizi uzun zamandır takip ediyorum ve gerçekten sizden çok şey öğrendim. İçerikleriniz kaliteli ve doyurucu emeğinize sağlık sizden en kısa zamanda penguen 4 ile ilgili bir makale bekliyoruz.

    • Ersin Tezcan May 22,2014 at 14:28

      İlginiz için teşekkürler. Google Panda 4.0 Güncellemesi daha çok yeni olduğu için bir şey söylemek zor ama ilk olarak söylenebilecek şey, içeriği kalitesiz olan sitelerin sırama kaybedeceği. Çünkü Google şimdiye kadar yaptığı bütün güncellemeler’de buna önem verdi fakat bu sefer bu konu daha fazla hissedilecek. Google Panda 4.0 güncellemsiyle alakalı sürekli güncellenmek üzere yayınladık.
      İlginiz için teşekkürler.

Leave Your Comment

Your Comment*

Your Name*
Your Webpage