Ma grand mère me disait souvent « Tu as les yeux plus gros que le ventre ».
Que répondre à ça ? Le bon sens populaire, ça a du bon, et même transposé au SEO, ça garde tout son sens…
Si je vous raconte ça, c’est que j’ai crawlé et analysé un paquet de sites depuis les débuts du cocon (je ne vous montre pas forcément tout…)
Et parfois j’ai envie de hurler.
Le cas typique, c’est une demande d’analyse de site énorme, pour « l’optimiser ».
Mauvais à priori sur la home, des liens vers des pages géolocalisées vers toutes les communes de France. Hum…
On lance un crawl, pour voir…
Après un moment, 30000 pages crawlées, on n’est encore qu’au niveau 3…
Enormément de pages, énormément de liens par page…
Déjà comme ça, je le sens mal barré. comment optimiser un site qui a autant d’interlinking ? Il ne s’agit plus d’optimiser, il faut repartir de 0.
Et c’est là que je repense à ma grand mère… Les yeux plus gros que le ventre ?
Et si on vérifiait…
Une petite commande site: sur Google , me donne … whaouh ! 200 000 résultats !
Le site est vraiment énorme…
Et le ventre ?
page 57, plus rien. Google a crawlé 200 mille pages de ce site, mais dans son index principal il n’a jugé bon d’en conserver que … 570 ???
Bilan des courses: je n’ai même pas été plus loin, c’est cause perdue.
A quoi servirait d’optimiser un site, ou de faire une visu de l’arborescence d’un site dont la majorité des pages sont dans l’index secondaire ?
A l’évidence, ce type de site a un souci de contenu dupliqué, ou un problème technique phénoménal; mais clairement, il a les yeux plus gros que le ventre.
Avant de vouloir peaufiner la structure interne du site, il serait sans doute pertinent de jouer sur d’autres leviers.
Moins de pages pour se concentrer sur celles qui sont importantes
Plus de contenu unique sur ces pages.
Quand on regarde la corrélation avec les rankings, ce site est bien positionné, il ranke sur de bons kw.
C’est dû quasi exclusivement à ses backlinks et à son énorme TF.
En regardant de plus près, l’essentiel du traffic naturel est généré par une vingtaine de pages, pas plus…
A mon sens donc, une bonne occasion de trancher dans le gras.
(à pondérer: on peut avoir de la longue traine qui converti super bien, c’est à voir au cas par cas)
Mis à part le cas particulier de ce site, voici donc mon conseil de grand père :
pensez à vérifier les bases pour vos sites.
Avant de chercher la petite bête, de vouloir faire du « glissement sémantique » ou du « concon »,
de « sculpter le jus » à la petite cuillère, vérifiez déjà l’indexation de votre site.
Combien d’URLS Google indique-t-il avec la commande site: ? est-ce cohérent ?
Si c’est nettement plus que votre nombre de pages estimé, vous avez un problème d’urls dupliquées ou fantômes.
Si c’est moins, il y a un élément bloquant.
Ensuite, regardez en avançant dans les pages quelle proportion de votre site est dans l’index principal.
Ne pas tout avoir, c’est normal.
N’avoir que quelques %… ça craint !
Oui, c’est la base; Mais l’expérience montre que les bases sont bien souvent ignorées…
Crédit photo : Alex Harvey https://unsplash.com/alexharvey
Hello,
Je comprend bien le principe de travail sur les pages prioritaires du site plutôt que sur un volume de pages trop importants qui ne pourra pas être géré convenablement.
Par contre, je suis étonné de ton calcul des pages du 1er index.
Tu considère que le chiffre à la suite de « Afin d’afficher les résultats les plus pertinents, nous avons omis quelques entrées qui sont très similaires aux X entrées actuelles. » est celui des pages du 1er index ?
Cela me parait bien étrange.
Matthieu
En fait, pour être précis, on ne sait même plus si Google a encore un index secondaire.
Il est censé l’avoir supprimé.
Ce qu’on a est donc plus une indication des pages considérées « non importantes » ou « trop similaires à d’autres du même site ».
Ca n’a rien d’exact, rien de vraiment scientifique, je te l’accorde.
Mais en pratique, ça donne de très bons indices (et la proportion de pages qui « disparaissent », et les pages supplémentaires quand il y en a).
Je ne pense pas être le seul à exploiter cet indicateur. D’autres avis ?
Salut Matthieu et le grand père 🙂
Je suis bien d’accord avec toi, sur une requête site: Google ne retournera jamais (si le volume de page est conséquent) la totalité des pages dans son index qu’il soit primaire ou secondaire.
J’ai remarqué un virement « récent » (ou que je n’avais jamais remarqué ^^, ce qui est plus probable) de Google face à la commande « site: »
Peu importe le site vérifié, on bloque en général aux alentours de 700 résultats max.
Même sur Wikipédia.
Et cliquer sur « afficher les résultats similaires/omis blablabla » ne fait pas augmenter le nombre de pages présentées.
Sinon le croisement d’une base de donnée « ville de france » + spin dégueu, c’est une veille recette 🙂 Ca a jamais marché ce truc ?
Et bien merci, j’ai loupé un train on dirait 🙂
Tant mieux !
D’autres retours, confirmations : n’hésitez pas !
L’aspect geoloc, et pseudo contenu pour toutes les villes, c’est super délicat à gérer.
Rares sont les cas où ça se justifie en plus.
Si on pense personna, c’est ingérable et ça n’a plus lieu d’être en fait.
Mon doute vient de ce genre de test en fait :
https://www.google.fr/search?q=site:wikipedia.org&start=860
https://www.google.fr/search?q=site:routard.com&start=860
Pas sûr effectivement qu’il reste un principe d’index secondaire…
Yep.
Effet de bord pour les gros sites ? J’ai toujours lu que site: pour les gros volumes était bridé.
Je suis preneur de retour là dessous.
Dans ce que j’ai à traiter habituellement, il y a une corrélation avec les pages d’entrée naturelles, celles qui se positionnent.
Mais je peux me planter complètement et/ou être tombé sur des cas particuliers.
Actuellement j’ai le soucis sur des catalogues e-commerce de petites tailles (moins de 5k pages).
Pareil un site:monsite.fr/catégorie ne retourne pas l’intégralité des résultats (250 urls présentées sur 500).
Il me semble que la commande site: a été bridée récemment.
Pas sûr, on retombe sur les mêmes résultats quelque soit le volume de pages :
https://www.google.fr/search?q=site:laredoute.fr&start=860 ( 600k )
https://www.google.fr/search?q=site:paris.fr&start=860 ( 360k )
https://www.google.fr/search?q=site:gouvernement.fr&start=860 ( 45k )
J’avais également cherché il y a quelque temps comment retrouver cet index secondaire de Google mais sans succès.
Ben voilà, un mythe perso qui disparait, va falloir trouver autre chose, merci !
Je laisse courir un peu les commentaires, et je mettrai à jour l’article.
La réponse m’interesse car je creuse là dessus en ce moment. J’ai posé la question à droite à gauche sans succès d’ailleurs.
Mon cas : j’ai 2 000 pages en index, 1700 au crawl. J’aimerais donc bien trouver le(s) pattern des 300 pages pourries (solution propriétaire, mon amour^^).
J’ai testé le scrap et l’humain ^^. Rajouter « filter=0 » ne donne (plus) rien.
Scraper les répertoires du site et dédoublonner à la fin non plus. Google ne semble plus retourner qu’un % (avec une limite max) des pages dans son index.
La commande site: est depuis plusieurs mois maintenant totalement bridée.
Du jour au lendemain sur un même site elle peut donner tout et son contraire, y compris sur une petit site. Les outils de check d’indexation ne peuvent plus rien y faire, il faut passer par la Search Console pour avoir une idée globale, peu fréquemment actualisée pour connaître son taux d’indexation.
D’autant que Google ne donne pas la liste des pages indexées mais seulement un ersatz.
Il est encore possible de faire un check position sur l’ensemble de ses titles exactes pour avoir une idée, mais sur certaines thématiques et sur certains volumes c’est juste impensable. Y compris en utilisant les custom search engines.
L’approche serait prioritairement de définir une règle basée sur la fréquence de crawl, et la logique s’y adosse. Ainsi, une page visitée x fois sur un espace temps t est considérée comme « indexée ».
Indexée ? Faux !
La notion d’indexation ne veut plus dire grand chose, car on a vu que Google était capable de sortir une page non indexée anciennement en index primaire pour matcher avec une requête précise.
Bisous
Thanks 😉
En faisant des tests juste là je vois que d’une recherche à l’autre, pour la même requête, ça change.
Style une fois j’ai 50000 pages, je refais la même j’en ai 200000 …
Ok mais du coup, quand tu as X% de pages en « trop » dans l’index, comment isoler les dites pages et ainsi corriger le problème ?
Ce n’est plus possible ?
Là, je rejoins Loic, c’est avec crawl et logs (suivi crawl gg bot) qu’on peut voir les urls « anormales » qui sont crawlées.
Dans certains cas c’est facile (le crawler seo les trouve aussi). Dans d’autres c’est tordu (ex des pages interdites dans le robots.txt qui « sont » dans l’index et comptent dans le nombre de pages annoncées)
Mais tout le monde n’a pas accès à ses logs malheureusement. Vous pouvez me regarder avec des grands yeux, j’ai l’habitude 😀
Après c’est un autre débat.
Du coup on peut diagnostiquer un problème technique lié à la taille de l’index (trop de pages en site:) mais plus rien faire pour le corriger (au moins pour mon cas) ? C’est balo.
Sur, si tu n’as pas tes logs, c’est balo comme tu dis…
Mais ça, techniquement ça peut se régler (c’est actionnable)
Sinon juste un crawl maison ça ne te donne pas d’indice ?
À une époque, on avait des tonnes de pages qui n’étaient pas dans le cache de GG le boulet. Est-ce que cela voulait dire que c’était l’index secondaire ?
À vouloir nommer les choses, on se prend à rechercher ce que l’on a nommé et à tenter de lui donner une existence palpable… mais c’est une démarche dont le succès n’est pas garanti 😉
Note : Ne pas oublier aussi que GG n’est pas un algo mais une heuristique…
Alors, reformulons:
As tu connaissance d’une heuristique que nous Seos pourrions utiliser pour estimer le volume de pages connues de Google, ainsi que le volume de pages s/ »peu importantes »/ici une dénomination de ton cru/msi ?
si les urls sont hiérarchiques, dans certains cas tu peux demander à GG le boulet :
site:ndd/cat1/cat2
et te les faire toutes les cat une par une….
Le fait est que si un « répertoire » contient moins de 360 pages et que GG en montre moins après avoir tourné les pages de SERPS, il y a un soucis… (la limite est souvent ~363 pages, ne me demandez pas pourquoi)
Sinon, tu peux aussi mettre un code secret unique dans tes bas de page, de façon invisible… si en recherche « code unique » la page ne remonte pas, il y a éventuellement lieu de s’inquiéter…
« Note : Ne pas oublier aussi que GG n’est pas un algo mais une heuristique… »
Je retiens surtout de mon expérience que l’important c’est d’abord de ranker, s’adapter et d’être là au bon timing, tout ça de manière efficiente.
Je laisse donc le soin aux experts de s’entendre sur la terminologie à adopter. Je n’ai malheureusement que trop peu de temps à consacrer au collège de France du SEO.
Lol excellent cette discussion 😉
Je confirme le bridage de la commande site: que personne n’a relevé d’ailleurs, j’ai un outil que j’ai appelé « Post migration index tester » qui me permettait de réaliser des plans de redir lorsque le dev a fait son boulet et qu’il a publié sa prod un vendredi soir à 23h30 😀
Eh ben c’est mort depuis quelques mois, ça ne fonctionne plus !
Donc oui je rejoins les amateurs d’analyse de logs et il faut prendre en compte les logs qui datent.
Je dirai bien que pour vérifier les pages (crawlables) qui sont dans l’index la commande site: fonctionne belle et bien, (url par url). On peut faire une commande site: sur chaque url (paye tes proxies :D)
La notion d’index primaire est certainement toujours valable, rien que pour des questions de perf, faut pas rêver Google est bien obligé d’aller piocher dans la crème de la crème avant d’aller piocher dans la bouse.
En revanche la notion d’index secondaire est bien peu palpable et probablement difficillement imaginable à l’heure des onebox de partout, j’imagine même qu’il pourrait y avoir un index particulier qui est intérrogé quand la requête contient une entité géographique, une entité people, ….
D’ailleurs allez chercher le nombre de résultats de la requête « angelina jolie enfants » 😀 vous n’y trouverez pas grand chose.
Merci !
Ben je suis super content, parce que finalement, la discussion en commentaires est plus intéressante que l’article lui même 😀
Va falloir résumer tout ça et les infos twitter pour mettre à jour, merci à tous (mais continuez à en discuter, c’est fait pour!)