Ce cours d'introduction au Big Data permet d'aborder d'un point de vue pratique l'utilisation d'une architecture BigData pour réaliser des analyses de données.
Le cours commence par une introduction sur le data mining à l'ère du Big Data, mettant en avant les problématiques de volumétrie, variété, vélocité (les fameux "V" du BigData).
La suite du module plus pragmatique présente l'environnement Hadoop, un des frameworks open source de stockage et de traitement distribués. Seront abordés le système de fichier distribué HDFS, les principes de traitement distribué Map/Reduce, mais aussi, brièvement l'écosystème d'outils autour de Hadoop. L'accent sera mis sur l'architecture technique, les composants tels que les noeuds d'un cluster, les flux de données entre noeuds, etc de sorte à comprendre les mécanismes de base de Hadoop.
Enfin, les étudiants manipuleront le système de fichier HDFS, réaliseront en Python des Mappers et des Reducers pour procéder à des analyses simples de jeux de données tels que des logs d'achat ou des cours de bourses. Des exercices permettront également d'utiliser la librairie de Machine Learning Mahout, fournissant ainsi aux étudiants les bases de la manipulation avancée de données sous Hadoop avec la réutilisation des outils de développement connus tels que Python ou Java déployés sous Hadoop.
