L'ère du Big Data est terminée, mais le besoin demeure

< De la données at scale, le big data

Une petite décennie après les débuts fracassants du Big Data, les cabinets d’analystes ont commencé à multiplier les constats et prévisions alarmistes :

→ 87 % des projets de data science ne vont jamais en production (Venture Beat, 2019) ;

→ 77 % des entreprises disent que l’adoption des projets Big Data et IA représente un gros challenge (New Vantage, 2019) ;

→ 60 % des projets Big Data échouent à aller en production (Gartner, 2016) ;

→ 85 % des projets Big Data échouent à aller en production (Gartner, 2017).

Il y avait pourtant une véritable justification à cet engouement pour le Big Data. Les entrepôts de données traditionnels étaient, et sont encore, d’onéreuses mécaniques de précision, ingérant une donnée structurée nettoyée, qualifiée, destinée à alimenter des tableaux de bord et outils de BI, construits par l’IT selon les spécifications des métiers. L’analyse de la donnée telle qu’elle se pratiquait jusqu’alors consistait donc essentiellement à regarder dans un rétroviseur des éléments définis deux ans auparavant.

Ce schéma convient parfaitement pour analyser par exemple des chiffres de vente, par produit, par zone géographique, etc. En revanche, tout changement de structure doit passer par un long processus IT. Impossible donc de s’adapter rapidement aux évolutions de l’entreprise, à la montée en puissance de l’économie numérique avec ses concurrents extrêmement agiles, à la multiplication de la donnée... De même, impossible avec les mêmes outils de stocker et d’analyser de la donnée non structurée (texte, vidéo...) pour proposer des services innovants aux collaborateurs ou aux clients.

Faire du Big Data ne veut pas dire être data-driven

De nombreux clusters de machines Linux se montent, s’appuyant sur les technologies open source Hadoop et MapReduce, complétées à un rythme effréné par la Fondation Apache. C’est une décennie très riche qui s’écoule alors, jusqu’à ce que le journal LeBig Data lui-même pose la question : “La fin du Big Data ?”

En réalité, ce n’est pas véritablement le Big Data qui prend fin aujourd’hui : il y a toujours besoin, et même plus que jamais, de pouvoir réagir rapidement ou de pouvoir analyser de grands volumes de données, notamment pour créer et entraîner des modèles prédictifs et autres algorithmes de machine learning. Ce qui disparaît - et c’est tant mieux - est cette croyance en une technologie qui d’un coup rendrait les entreprises data-driven. Tous les projets n’ont pas échoué, heureusement. Mais l’analyse de cette décennie est sans conteste en demi-teinte.