Loading...

Evaluation de plateformes Big Data

Il y a quelques années de cela, plusieurs entreprises ont tenté de mettre en place des plateformes Big Data. Ces plateformes ont généralement pour objectif de soutenir l’amélioration des processus au sein de ces organisations, et ce à travers le traitement d’une énorme quantité de données, dans des temps raisonnablement courts.Aujourd’hui, plusieurs années se sont écoulées après le lancement de ces plateformes Big Data. Il devient ainsi nécessaire d’établir un bilan décrivant l‘état exact de ces projets. Néanmoins, de par la complexité de ce type de projets, ainsi que du manque de maturité relatif à leur gestion, les responsables et chefs de projet se retrouvent confrontés à une série de problématiques sans précédent : Comment réussir à définir les différentes métriques permettant d’évaluer une plateforme de cette envergure, comment suivre et maîtriser l’évolution rapide des technologies utilisées dans ces projets et comment identifier les freins, les opportunités ainsi que les différentes pistes d’améliorations relatifs au développement continu du projet.FenTech se propose de répondre à ces problématiques à travers une série d’articles, publiés de manière régulière sur notre Blog.

Effet ciseaux

Les méthodes d’analyse des Big Data impliquent trois domaines de connaissances : Le métier, L’Analyse, la technologie. Dans le premier domaine, les responsables : chefs d’entreprise, chefs de département etc, doivent définir des objectifs métier pour mener à bien l’analyse des données.Ces objectifs seront par la suite utilisés comme base afin de réaliser une architecture précise du projet, permettant ainsi de définir les méthodes et outils de récolte, de stockage, d’analyse et enfin visualisation des données nécessaires à la concrétisation des objectifs Business. Enfin, les chefs d’entreprise en collaboration avec le service IT doivent faire des choix technologiques qui puissent soutenir le développement du projet en termes d’infrastructure, permettant le stockage distribué et le traitement parallélisé de données massives, structurées et non structurées.Mais au fil des années, les technologies du Big Data ne cessent de changer et d’évoluer avec une vitesse de plus en plus croissante, et il devient nécessaire aux chefs de projets Big Data de revoir leurs choix technologiques afin de remplacer celles qui sont en train de devenir obsolètes.Par exemple, afin de pallier les inconvénients majeurs de Hadoop MapReduce, plusieurs sociétés se sont tournées vers la technologie Spark, qui se trouve être une excellente alternative à MapReduce. Par exemple, Spark permet le traitement de flux en temps réel, contrairement à MapReduce qui lui offre la possibilité de travailler en Batch seulement.Ainsi, si une entreprise ne met pas en place un système qui lui permettra d’évaluer les différents composants de son projet Big Data de manière continue, il lui sera difficile de faire évoluer les différentes technologies qui permettent de soutenir le traitement du Big Data.

Les défis du Big Data

Avant de présenter cette deuxième partie de l’article, nous allons d’abord expliquer les trois caractéristiques majeures du Big Data, qui rappelons le, est un ensemble colossal de données, très difficile, voire impossible à traiter avec les outils classiques de gestion de données.Ces trois caractéristiques, appelés aussi trois (3) V du Big Data sont Volume, Vitesse et Variété :

  • Un volume considérable nécessitant des outils de traitement ainsi qu’une infrastructure adaptées.
  • Une Vitesse importante de création de la donnée qui nécessite des technologies de pointe afin de collecter, traiter puis partager ces données en temps réel.
  • Une variété des données récoltées ainsi que leurs sources, défiant les moyens classiques de traitement des données dont la structure est claire et facile à gérer.

Maintenant que nous connaissons les principes du Big Data, il devient plus facile de comprendre les challenge relatifs aux plateformes Big Data. voici une liste non exhaustive des challenge auxquels peuvent être confrontés les entreprises :

  • L’absence ou l’inadéquation des objectifs formulés au lancement du projet
  • Le manque de compétences requises dans les différents secteurs du Big Data
  • L’augmentation exponentielle de la taille des données
  • La structure indéfinie des données
  • La difficulté d’imposer la cohérence des données
  • Sécurité liée aux données
  • Trouver et appliquer les bonnes pratiques de gestion et intégration des données,
  • Véracité des données (Comment gérer l’incertitude, imprécision, informations manquantes… )
  • Défis techniques pour l’analyse des grandes données.

Audit des plateformes Big Data

Au cours des dernières années, l’exploitation de grandes quantités de données afin de générer de la valeur est devenue l’une des principales priorités technologiques et stratégiques des organisations. Des concepts comme les SGBDR ( systèmes de gestion de bases de données relationnelles ), le BI( Business Intelligence ) ou encore les entrepôts de données ne sont pas nouveaux. Cependant il existe différents aspects, notamment les 3 V du Big Data, qui rendent les projets Big Data uniques, et qui augmentent le facteur de risque lié à la réussite de ce type de projet. Par exemple, l’obsolescence de certaines technologies, ou de leur remplacement par d’autres technologies plus performantes ou encore moins coûteuses, peut amener les chefs de projet à revoir l’architecture applicative mise en place au lancement du projet. Ceci implique qu’une évaluation complète des technologies utilisées doit être faite, ainsi qu’une comparaison entre celles-ci et les technologies qui pourraient potentiellement les remplacer.Un autre exemple est celui de la scalabilité (ou passage à l’échelle) du système réalisé. En effet, il est possible que le volume de la donnée stockée et/ou traitée lors des différentes étapes du processus lié à la plateforme Big Data augmente très rapidement, parfois de façon exponentielle. Si celà arrive, l’infrastructure du projet sera fragilisée : des incidents peuvent arriver au cours de l’utilisation de la plateforme, dont la gravité peut varier en fonction de la solidité de l’architecture technique implémentée, et de son adéquation avec les besoins en termes de traitement de données : c’est à dire entre de simples ralentissements de la plateforme jusqu’à l’arrêt total de la solution. Une étude approfondie doit donc être menée afin de trouver des pistes d’amélioration quant à la nouvelle architecture technique à mettre en place afin de permettre l’évolution de la plateforme.Au vu de ce qui précède, un intérêt particulier doit être porté pour l’audit et l’évaluation des plateformes Big Data, afin de proposer des techniques, outils et méthodologies permettant aux organisations ayant déjà mis en place des projets Big Data de faire évoluer ces plateformes.Au cours des prochains articles, nous allons nous approfondir sur les différents aspects du BIG DATA, notamment ceux relatifs aux différentes architectures applicatives et techniques utilisées dans un projet Big Data ainsi qu’aux optimisations qui pourraient leurs être apportées. Nous allons par la suite nous appuyer sur une revue de littérature sélective afin de présenter les multiples avancées scientifiques dont bénéficie le domaine.

Big Data | Hadoop | Spark

Laisser un commentaire

Your email address will not be published. Required fields are marked *

Recent Comments

Aucun commentaire à afficher.

Categories

Trending posts

No posts found.

Popular Tags

Top