Dans leur article «Replicating Anomalies[1]», trois chercheurs ont systématiquement reproduit les analyses empiriques publiées depuis plus de 20 ans et «challengé» les résultats des travaux publiés par plus de 1 000 chercheurs portant sur 447 «anomalies», autrement dit de déviations de la fameuse théorie de l’efficience des marchés. Il s’agit par exemple de l’effet «janvier», de la surperformance du facteur «value» sur le facteur «growth», et de toute une floraison de facteurs très en vogue actuellement, dans le domaine du «factor investing» par exemple... Rassurons-nous, les analyses reproduites sur les mêmes données donnent les mêmes résultats que ceux qui ont été publiés. Pourtant, l’on désirerait qu’en élargissant l’échantillon des données, par exemple en les actualisant d’historiques récents, ou en changeant légèrement les paramètres du modèle, les résultats ne soient pas fondamentalement différents.

Malheureusement, en modifiant légèrement les conditions d’analyse, deux tiers des résultats obtenus avec un degré de certitude de 95 % (les experts diraient des tests statistiques significatifs au niveau de 5 %) ne sont plus aussi certains ! Une proportion qui passe même à plus de 80 % pour un degré de certitude de 99 % (tests au niveau 1 %). Autrement dit, la plupart des facteurs qui avaient pu être identifiés avec un niveau de 95 % ou de 99 % de certitude ne le sont plus lorsque les historiques ou les conditions de mesure de leurs effets sont modifiés. Peut-on vraiment s’appuyer sur des résultats aussi fragiles ?

Le phénomène n’est pas spécifique aux questions financières, puisque le très sérieux Journal américain Nature a publié en 2016 un article faisant état de chiffres encore plus inquiétants dans d’autres disciplines : près de 90 % d’impossibilité de reproduire les résultats en chimie et près de 80 % en biologie. L’analyse montre que la fragilité des résultats est d’autant plus forte que les échantillons sont de petite taille, que les effets considérés sont secondaires ou encore qu’ils ne sont pas fondés sur une approche théorique.

Les raisons de cette mauvaise reproductibilité sont attribuables d’une part aux phénomènes considérés, mais aussi aux observateurs eux-mêmes. Il n’est pas autrement surprenant de ne pas obtenir de résultats identiques sur des phénomènes instables, ou rarement observés. Les chercheurs sont quant à eux incités à publier... pour leur carrière académique. L’inflation des études qui en résulte pourrait bien être une cause de cette fragilité : on publie beaucoup sans attendre trop longtemps, au risque que les résultats soient moins significatifs ou que quelqu’un d’autre ne les publie. Le monde et ceux qui y vivent ne sont pas parfaits, il n’y a rien de bien nouveau sous le soleil.

Comment réagir à ce «pavé dans la mare» ? L’inflation des publications génère très classiquement un risque de moindre qualité, il faut donc aussi être prudent devant la qualité de certains résultats scientifiques. Pourtant, il serait excessif de les rejeter en bloc, car certains facteurs observés se révèlent persistants et robustes ; ceux-ci sont sans doute plus crédibles quand ils peuvent être expliqués par un phénomène indépendant de la période ou des échantillons analysés. Le bon sens veut enfin que sans certitude, les investissements soient diversifiés, dans leur nature comme dans leurs modalités.

[1]. Replicating Anomalies, Kewei Hou, Chen Xue et Lu Zhang, Inquire Europe Seminar, Montreux 2017.