Plusieurs entreprises ont tenté de mettre en place des plateformes Big Data, il y a quelques années de cela. Ces plateformes ont généralement pour objectif de soutenir l’amélioration des processus au sein de ces organisations, et ce à travers le traitement d’une énorme quantité de données, dans des temps raisonnablement courts.
Aujourd’hui, plusieurs années se sont écoulées après le lancement de ces plateformes Big Data. Il devient ainsi nécessaire d’établir un bilan décrivant l‘état exact de ces projets. Néanmoins, de par la complexité de ce type de projets, ainsi que du manque de maturité relatif à leur gestion, les responsables et chefs de projet se retrouvent confrontés à une série de problématiques sans précédent :
Comment réussir à définir les différentes métriques permettant d’évaluer une plateforme de cette envergure? Comment suivre et maîtriser l’évolution rapide des technologies utilisées dans ces projets ? Et comment identifier les freins, les opportunités ainsi que les différentes pistes d’améliorations relatifs au développement continu du projet? FenTech se propose de répondre à ces problématiques à travers une série d’articles, publiés de manière régulière sur notre site.
Les méthodes d’analyse des Big Data impliquent trois domaines de connaissances : Le métier, L’Analyse, la technologie. Dans le premier domaine, les responsables : chefs d’entreprise, chefs de département etc, doivent définir des objectifs métier pour mener à bien l’analyse des données.
Ces objectifs seront par la suite utilisés comme base afin de réaliser une architecture précise du projet, permettant ainsi de définir les méthodes et outils de récolte, de stockage, d’analyse et enfin visualisation des données nécessaires à la concrétisation des objectifs Business. Enfin, les chefs d’entreprise en collaboration avec le service IT doivent faire des choix technologiques qui puissent soutenir le développement du projet en termes d’infrastructure, permettant le stockage distribué et le traitement parallélisé de données massives, structurées et non structurées.
Mais au fil des années, les technologies du Big Data ne cessent de changer et d’évoluer avec une vitesse de plus en plus croissante, et il devient nécessaire aux chefs de projets Big Data de revoir leurs choix technologiques afin de remplacer celles qui sont en train de devenir obsolètes.
Par exemple, afin de pallier les inconvénients majeurs de Hadoop MapReduce, plusieurs sociétés se sont tournées vers la technologie Spark, qui se trouve être une excellente alternative à MapReduce. Par exemple, Spark permet le traitement de flux en temps réel, contrairement à MapReduce qui lui offre la possibilité de travailler en Batch seulement.
Ainsi, si une entreprise ne met pas en place un système qui lui permettra d’évaluer les différents composants de son projet Big Data de manière continue, il lui sera difficile de faire évoluer les différentes technologies qui permettent de soutenir le traitement du Big Data.
Avant de présenter cette deuxième partie de l’article, nous allons d’abord expliquer les trois caractéristiques majeures du Big Data, qui rappelons le, est un ensemble colossal de données, très difficile, voire impossible à traiter avec les outils classiques de gestion de données.Ces trois caractéristiques, appelés aussi trois (3) V du Big Data sont Volume, Vitesse et Variété :
Maintenant que nous connaissons les principes du Big Data, il devient plus facile de comprendre les challenge relatifs aux plateformes Big Data. voici une liste non exhaustive des challenge auxquels peuvent être confrontés les entreprises :
Au cours des dernières années, l’exploitation de grandes quantités de données afin de générer de la valeur est devenue l’une des principales priorités technologiques et stratégiques des organisations. Des concepts comme les SGBDR ( systèmes de gestion de bases de données relationnelles ), le BI( Business Intelligence ) ou encore les entrepôts de données ne sont pas nouveaux.
Cependant il existe différents aspects, notamment les 3 V du Big Data, qui rendent les projets Big Data uniques, et qui augmentent le facteur de risque lié à la réussite de ce type de projet. Par exemple, l’obsolescence de certaines technologies, ou de leur remplacement par d’autres technologies plus performantes ou encore moins coûteuses, peut amener les chefs de projet à revoir l’architecture applicative mise en place au lancement du projet. Ceci implique qu’une évaluation complète des technologies utilisées doit être faite, ainsi qu’une comparaison entre celles-ci et les technologies qui pourraient potentiellement les remplacer.
Un autre exemple est celui de la scalabilité (ou passage à l’échelle) du système réalisé. En effet, il est possible que le volume de la donnée stockée et/ou traitée lors des différentes étapes du processus lié à la plateforme Big Data augmente très rapidement, parfois de façon exponentielle. Si cela arrive, l’infrastructure du projet sera fragilisée : des incidents peuvent arriver au cours de l’utilisation de la plateforme, dont la gravité peut varier en fonction de la solidité de l’architecture technique implémentée, et de son adéquation avec les besoins en termes de traitement de données. C’est à dire, entre de simples ralentissements de la plateforme jusqu’à l’arrêt total de la solution.
Une étude approfondie doit donc être menée afin de trouver des pistes d’amélioration quant à la nouvelle architecture technique à mettre en place afin de permettre l’évolution de la plateforme. Au vu de ce qui précède, un intérêt particulier doit être porté pour l’audit et l’évaluation des plateformes Big Data, afin de proposer des techniques, outils et méthodologies permettant aux organisations ayant déjà mis en place des projets Big Data de faire évoluer ces plateformes.
Au cours des prochains articles, nous allons nous approfondir sur les différents aspects du BIG DATA, notamment ceux relatifs aux différentes architectures applicatives et techniques utilisées dans un projet Big Data ainsi qu’aux optimisations qui pourraient leurs être apportées. Nous allons par la suite nous appuyer sur une revue de littérature sélective afin de présenter les multiples avancées scientifiques dont bénéficie le domaine.
Découvrez également tous nos podcasts au format court ici, ou sur Spotify. 
Suivez nous sur nos réseaux sociaux !
