Dans le domaine de la mesure d ’audience, il existe une controverse récurrente entre certains sites éditeurs et les panels. Cette controverse est parfois relayée par la presse, notamment la presse américaine. Cette controverse est lié au fait que certains gros sites éditeurs, souvent des sites de presse, contestent parfois les chiffres de leurs audiences fournis par les panels. Les écarts constatés peuvent parfois être très importants et aller du simple au double en termes de visiteurs uniques.
Les éditeurs estiment donc que ces chiffres sont minorés et que cela leur porte préjudice en terme d’image, mais également et surtout en terme de potentiel de revenus publicitaires dans la mesure ou les grandes agences médias utilisent généralement les données de panels pour des recommandations de médiaplanning. C’est la part d’audience des sites et donc leur capacité de couverture publicitaire qui est le plus souvent contestée. Pour contester les chiffres fournis par les panels, les éditeurs s’appuient généralement sur les données de leur solution de web analytique et sur les données du serveur publicitaire utilisé.
Cette différence, désignée sous le terme de "discrepancy" dans l’univers anglo-saxon, s’explique par les faiblesses respectives de chaque technique de mesure. Les panels sous estiment probablement en partie l’audience de certains sites et les outils de web analytique la surestiment, notamment en terme de couverture.
Pour les sites médias, le caractère national des données de panels revient à ne pas prendre en compte l’audience étrangère. Pour un site média français par exemple, l’audience en provenance des pays francophone et celle des expatriés ne peuvent pas être prise en compte par le panel domestique et même si cela était économiquement envisageable, elles ne peuvent d’ailleurs être que très peu prises en compte par les autres panels nationaux.
Pour les sites à profil d’audience professionnelle, bien que les panels aient mis au point des méthodes d’extrapolation des comportements de navigation sur le lieu de travail, on peut penser que cette audience sur le lieu de travail est minorée.
Un site éditorial ayant une audience professionnelle et internationale est donc doublement pénalisé.
Du coté des données d’audience des sites issues des outils de web analytique, la tendance est plutôt à la surestimation pour différentes raisons.
La principale raison est lié à l’usage du cookie, c’est lui qui en général permet de distinguer visites et visiteurs uniques. Si un visiteur supprime systématiquement ses cookies et vient tous les jours sur un site, il sera comptabilisé comme 30 visiteurs uniques sur le mois. La part des individus supprimant les cookies est généralement estimée à un maximum de 5 %. La proportion est donc faible, mais comme on le voit, pour un site ou les visiteurs reviennent souvent, l’effet peut être très perturbant. C’est cet usage du cookie par les solutions de web analytique qui explique que la différence essentielle avec les panels qui ne sont pas dépendants des cookies porte sur le nombre de visiteurs unique et donc le taux de couverture.
Les visites des robots et les visites internes des salariés peuvent être également des éléments de surestimations coté outils site centric, mais il est généralement possible de les configurer pour éviter cet effet.
Il est évidemment difficile de savoir quels sont les chiffres les plus près de la vérité et la controverse n’est probablement pas près de s’éteindre. Pour essayer de se rapprocher au mieux de la réalité, chaque situation doit être analysée en détail en prenant en compte les caractéristiques du site concerné et celle de son audience. Un site à audience internationale peut ainsi se faire une idée de ce que lui "retirent" éventuellement les panels en étudiant la part et le comportement de ses visiteurs étrangers au niveau de son outil d’analyse web. Un site orienté professionnel peut lui analyser son audience aux horaires de bureau.
