Considéré comme un outil incontournable dans l’univers du Big Data, Hadoop ou Apache Hadoop est un Framework open source programmé afin de simplifier la création et la distribution d’applications de traitement de données.
L’explosion du big data, des smartphones, des technologies et de l’internet des objets, a accru le besoin des entreprises à trouver une solution de stockage à long terme. En effet, depuis quelques années, les entreprises effectuaient le stockage de leurs données sur des bases de données relationnelles. Néanmoins, ce type de base de données n’était pas adapté aux grands volumes du Big Data et ne permettait pas de stocker les données non structurées. La naissance de l’écosystème Hadoop a rendu le stockage de gros volumes de données possible. Dans cet article, ESN revient sur la naissance du Framework, son rôle dans le stockage des données et les avantages qu’il offre dans le monde du big data.
L’histoire de Hadoop
Tout a commencé peu de temps après la naissance du world wide web. Les années 90 ont été marquées par l’avènement d’internet qui a révolutionné le monde et a lancé une nouvelle ère technologique. Cette époque a aussi été marquée par les moteurs de recherche conçus pour distribuer et échanger des informations entre les internautes. Au début, les résultats ont été envoyés par des humains. Une fois le nombre de pages augmenté, il était de plus en plus difficile de gérer le flux et l’automatisation est devenue indispensable. Cette époque a également observé la naissance de Yahoo et AltaVista. Parmi ces moteurs de recherche, le projet open source Nutch a été élaboré et co-créé par Doug Cutting et Mike Cafarella, deux informaticiens américains. L’objectif avec le projet Nutch a été de rendre les résultats de recherche web plus rapides.
En 2006, Cutting rejoint l’entreprise californienne Yahoo et emporte avec lui le projet Nutch qui sera divisé en plusieurs parties. Une partie de web crawlers qui gardera le nom Nutch et une autre partie de calcul et de traitement de données qui aura pour nom Hadoop. Pour la petite anecdote, le nom a été emprunté à la peluche d’éléphant jaune du fils de Cutting.
Ce n’est qu’à partir de l’année 2012 que le projet Hadoop 1.0 fut proposé au public. Il a d’ailleurs été sponsorisé par l’Apache Software Foundation. Depuis, le Framework n’a cessé d’être développé jusqu’à devenir un des Framework les plus connus au monde.
Qu’est-ce que Hadoop ?
HDFS, Hadoop distributed file system est un Framework logiciel open source assurant le stockage des données. Il s’agit d’une des solutions de stockage du big data. Écrit en langage java, Hadoop est en mesure de prendre en charge une quantité astronomique voire illimitée de tâches virtuelles. L’architecture Hadoop regroupe une grande variété d’outils Big Data Open source. Ces outils améliorent la capacité de traitement des données massives. Ce qui distingue cet outil des autres moyens de stockage est sa capacité à résoudre deux défis importants : la capacité à stocker de gros volumes de données et la vitesse de stockage et de récupération de données. Il faut savoir qu’il utilise le modèle de programmation fonctionnelle MapReduce pour exécuter le traitement parallèle entre les datasets.
Quels sont les modules Hadoop ?
Apache Hadoop est conçu sous quatre principaux modules. On retrouve principalement le Hadoop Distributed File System (HDFS). Ce module est utilisé pour le stockage des données et est souvent comparé à un système de fichier local. En second lieu, on retrouve le YARN (Yet Another Resource Negotiator) qui agit en tant que négociateur de ressources et assure la planification des tâches, la gestion des ressources et la surveillance des nœuds de clusters. Le module Hadoop MapReduce, celui-ci aide les programmes dans la réalisation des calculs parallèles. En dernier lieu, nous avons le module Hadoop Common qui utilise des bibliothèques Java entre chaque module.
Hadoop versus Spark : lequel choisir ?
La solution Hadoop a révolutionné l’univers du big data. Toutefois, il existe de nombreux concurrents à la solution de stockage notamment Spark qui a fait ses preuves en étant beaucoup plus performant que son concurrent grâce au traitement In-memory. Malgré cette performance, il reste moins onéreux en termes de coût puisqu’il nécessite une quantité moins importante de RAM avec le même niveau de performance. En conclusion, il est davantage adapté au traitement par lot alors que Spark est chargé du traitement des données non structurées.
Les avantages de Hadoop pour les big data
L’arrivée d’Hadoop a été une solution miracle pour l’analytique et le big data. L’ensemble des données collectées sur les processus, objets et les personnes sont utiles pour prendre de meilleures décisions. Parmi les avantages de la solution Hadoop on retrouve :
Une meilleure résilience : toutes les données stockées dans un nœud du cluster Hadoop sont répliquées. Ce qui assure une meilleure tolérance aux incidents. En effet, si un nœud rencontre une faille, les autres serveurs peuvent avoir une autre copie de sauvegarde des données
- Une évolutivité : contrairement aux systèmes de stockage traditionnels, Hadoop constitue une capacité de stockage quasi illimité
- Un coût bas : étant donné que la solution Hadoop est un Framework open source, il n’exige aucune licence et les coûts peuvent être très modérés par rapport aux bases de données relationnelles traditionnels
- Une meilleure vitesse d’intégration : cette solution a pour avantage le traitement et l’exécution des requêtes les plus complexes en quelques fractions de secondes
- Un traitement diversifié : le HDFS est en mesure de stocker différents formats de données. Cela inclut les données structurées, non structurées et semi-structurées. De plus, les données peuvent être téléchargées sous n’importe quel format et il n’ est pas obligatoire de valider ces données en fonction d’un schéma prédéfini
Ses points faibles et ses limites
Malgré la tournure qu’a provoquée la solution Hadoop dans l’univers du big data, cet outil présente également certaines faiblesses notamment au niveau de l’algorithme MadReduce. En effet, celui-ci n’est pas souvent adéquat pour le calcul analytique et convient davantage pour les demandes d’informations simples. En ce qui concerne le data management et les métadonnées, Hadoop ne propose pas des outils adaptés et compréhensibles. De plus, il est parfois difficile à maîtriser et exige des programmeurs suffisamment compétents pour l’utiliser. C’est d’ailleurs une très grande problématique chez les entreprises qui ne disposent pas des ressources humaines nécessaires pour déployer l’outil Hadoop. Enfin, Hadoop ne garantit pas la sécurisation des données. Malgré l’intervention du protocole d’authentification Kerberos, la solution Hadoop ne dispose pas d’un outil de sécurité des données.
Quelles sont les composantes de la solution Hadoop ?
Il faut savoir que le système de fichiers HDFS comporte deux principales composantes :
- Le nameNode ou nœud de noms est chargé de la gestion de l’espace de noms, de l’arborescence du système de fichiers et des métadonnées. Puisque l’emplacement des données n’est pas au même endroit avec Hadoop, le nameNode est chargé de trouver l’emplacement des données.
- Le DataNode est chargé du stockage des données et nécessite plus de ressources pour effectuer le stockage.
En somme, le nameNode œuvre comme le chef d’orchestre de la solution Hadoop et prend en charge l’identification de la donnée. Le DataNode est quant à lui chargé de la récupération des données stockées.
Depuis l’explosion du Big Data, le recours aux solutions de stockage tels que Hadoop s’est de plus en plus développé. Compte tenu de la nature complexe de l’écosystème Hadoop, il est indispensable que les opérateurs maîtrisent l’ensemble des techniques avancées afin d’exécuter les fonctions Hadoop.
En à peine dix ans, Hadoop s’est imposé comme une solution révolutionnaire dans le secteur du big data. Facilitant l’analyse des données et assurant la détection des failles, la solution Hadoop a fait ses preuves et s’est frayé un chemin parmi les leaders du stockage de données..