Traîtement distribué des données (Master 1 ISD)

TP noté du 20/10/2023

• L'énoncé du TP noté
• Le projet Eclipse à importer.
• Le projet Spark à décompresser.
• Le formulaire de rendu.

But du cours

Ce cours a un objectif double :

1. Comprendre l'impact de la distribution sur le traîtement de données
2. Proposer une introductions à diverses technologies

Pré-requis

La compréhension du cours nécessite les pré-requis suivants :

• Niveau raisonnable en BD relationnelles (notions de bases, requête SQL, mises à jours)
• Niveau raisonnable de programmation en Java
• Bonne maîtrise de l'IDE Eclipse

Plan du cours, supports de cours et de TP

1. Présentation du cours
2. Problèmes de concurrence : Rappels Java, Threads, mmap (cours 1 en HTML5, cours 1 en PDF et version imprimable).
   L'énoncé du TP 1, le projet Eclipse à importer ainsi qu'un tutoriel basique pour Eclipse.
   Le corrigé du TP 1 ainsi que le code Eclipse à importer.
3. Contrôle de concurrence des bases de données relationnelles, (cours 2 en HTML5, cours 2 en PDF et version imprimable).
   L'énoncé du TP 2 ainsi que le projet Eclipse à importer.
   Le corrigé du TP 2 ainsi que le code Eclipse à importer.
4. Données massives : Map/Reduce, Hadoop, Hive, (cours 3 en HTML5, cours 3 en PDF et version imprimable).
   L'énoncé du TP 3 ainsi que le projet Eclipse à importer. Les fichiers texte.
   Le corrigé du TP 3 ainsi que le projet Eclipse à importer.
5. Données massives : Spark (cours 4 en HTML5, cours 4 en PDF et version imprimable).
   L'énoncé du TP 4 ainsi que les fichiers texte et le squelette de code Python.
   Le corrigé.

Examens passés

• Le texte de l'examen 2019-2020