Du Big Data aux Cloud Data Platforms

< De la données at scale, le big data

Les Data Platforms construites aujourd'hui dans le Cloud constituent une réponse pragmatique aux problèmes que le Big Data cherchait à résoudre.

Quel était vraiment le besoin auquel le Big Data cherchait à répondre ?

Le regard critique porté par les analystes et les entreprises sur le Big Data, quelques années seulement après l'apparition du concept et les premières implémentations, pourrait faire penser qu'il s'agissait d'un buzz passager, un besoin créé par les vendeurs de logiciels surfant sur la mode autour d'Hadoop.

Les besoins existaient, pourtant. Toutes les entreprises n'avaient pas forcément besoin de répondre à des enjeux de vélocité, de volume et de variété à la fois (les 3 V mis en avant par les promoteurs du Big Data). Mais il faut se souvenir que nous étions dans une période où l'accès à la donnée était compliqué, où la BI était l'apanage de quelques-uns. La production de rapports était coûteuse en temps (il pouvait s'écouler plusieurs mois entre une expression de besoin et la création d'un dashboard analytique) et en argent (la licence et le matériel nécessaire pour les datawarehouses).

Il y avait donc de forts besoins, d'accéder à davantage de données pour améliorer les analyses et créer des algorithmes et statistiques pertinentes, parfois de pouvoir analyser des données non structurées, ou encore de pouvoir diffuser plus rapidement et plus largement des informations cruciales d'aide à la décision business. Ces besoins demeurent ; ils sont désormais traités dans le cadre de Data Platforms Cloud.

Pourquoi la plupart des projets Big Data ont-ils échoué ?

Dans leur grande majorité, les projets Big Data ne sont pas parvenus à délivrer les bénéfices attendus. Nous voyons au moins 6 raisons pour lesquelles les projets Big Data ont échoué. En résumé :

la complexité des projets, qui mêlait technologies nouvelles et rareté des compétences, et qui demandait des efforts et des moyens considérables tant pour l'implémentation que pour la production ;
l'attention portée à la quantité de données amassées, au détriment de la qualité ;
l'absence d'objectifs précis, qui n'a pas permis de se pencher sur le ROI de ces projets ;
une gouvernance a minima, focalisée sur des aspects sécuritaires et légaux, oubliant tous les autres axes techniques, culturels et organisationnels ;
la croyance que la stratégie data-driven viendrait du fait d'amasser de la donnée ;
une approche tellement centralisatrice qu'elle a créé un énorme silo.

Quels sont les apports du Cloud pour réaliser une Data Platform ?

Le Cloud est une réponse idéale aux problématiques que le Big Data cherchait à adresser. De par la variété des solutions technologiques proposées, bien sûr. Mais aussi et surtout par les capacités à monter en charge pour des coûts abordables, dans des délais serrés et avec des performances exemplaires.

Le Cloud est ainsi devenu un choix évident pour valoriser ses données. Les entreprises de toute taille ont la possibilité de déployer l'ensemble des technologies nécessaires en quelques clics ou lignes de code, sans se préoccuper d'une grande partie des opérations, prises en charge par le fournisseur de Cloud. Plus besoin, par exemple, de se préoccuper des montées de version et mises à jour de sécurité d'une base managée.

Même si l'entreprise utilisatrice conserve une part évidente de responsabilité dans l'exploitation et la sécurisation de ses données, une grande part est réalisée par le Cloud provider. L'entreprise peut vraiment se consacrer à la valorisation de son patrimoine de données. Tester des algorithmes, sans avoir besoin d'acquérir et de monter l'infrastructure nécessaire pour le faire. Ou bien encore partager des data sets en interne, dans un esprit Data Mesh, ou avec des partenaires ou clients, dans un esprit open data ou data as a service.