Talend pour le Big Data
Objectifs, programme, validation de la formation
Objectifs
Maîtriser Talend dans un environnement Big Data.
Description, programmation
Concepts de bases
Ouvrir un projet
Monitorer un cluster Hadoop
Créer un cluster de métadonnées
Lire et écrire des données en HDFS
Stocker un fichier sur HDFS
Stocker plusieurs fichiers de HDFS
Lire les données de HDFS
Utiliser HBase pour sauvegarder les données charger dans HDFS
Travailler avec les tables
Importation de tables avec Sqoop
Création de tables dans HDFS avec Hive
Traitement des données et des tables en HDFS
Traitement des tables Hive avec des jobs
Traitement des données avec Pig
Traitement des données par lots
Guide de dépannage
Dépannage de votre cluster
Cas d’utilisation de clickstream (flux de clics)
Surveillance du cluster Hadoop
Créer un environnement de développement
Chargement des données dans HDFS
Enrichissement des logs
Calculer les statistiques
Conversion d’un job standard en un lot Big Data
Comprendre les jobs MapReduce
Utilisation du studio pour configurer les resource requests vers YARN
Cas d’utilisation : l’analyse comportementale
Chargement du dictionnaire et des données du fuseau horaire dans HDFS
Chargement des tweets dans HDFS
Traitement des tweets avec MapReduce
Planification de l’exécution du job
Introduction à Kafka
Surveillance du cluster Hadoop
Comprendre les bases de Kafka
Publication de messages sur un sujet Kafka
Consommer des messages
Introduction à Spark
Comprendre les bases de Spark
Analyser les données des clients
Produire et consommer des messages en temps réel
Cas d’utilisation de traitement des logs : génération des logs enrichis
Introduction au cas d’utilisation du traitement des lois
Génération de logs bruts
Génération de logs enrichis
Traitement des logs cas d’utilisation : surveillance
Surveillance des logs enrichis
Cas d’utilisation de traitement des logs : rapports
Génération de rapports basés sur les fenêtres de données
Cas d’utilisation de traitement des logs : analyse des batchs
Ingestion de flux de données
Analyser les logs avec un batch job
Certification (en option)
Nos tests de validation des compétences font partie intégrante du processus d’apprentissage car ils permettent de développer différents niveaux d’abstractions.
Solliciter l’apprenant à l’aide de nos QCM, c’est lui permettre d’étayer sa réflexion en mobilisant sa mémoire pour choisir la bonne réponse. Nous sommes bien dans une technique d’ancrage mémoriel.
L’examen sera passé à la fin de la formation.
Niveau de sortie information non communiquée
Métiers visés
Durée, rythme, financement
Durée 21 heures en centre
Modalités de l'alternance -
Conventionnement Non
Conditions d'accès
Modalités de recrutement et d'admission Avoir des connaissances en Hadoop, Spark et Kafka serait un plus pour la formation.
Niveau d'entrée sans niveau spécifique
Conditions spécifiques et prérequis Aucune
Inscription
Contact renseignement Agnès RICHIR
Téléphone 0557190765
Éligibilité de cette formation au compte personnel de formation pour les salariés
Code CPF 235758 - Validité du 02/01/2019 au 31/12/2115
Périodes prévisibles de déroulement des sessions
Session débutant le : 23/11/2020
Adresse d'inscription
15 Bis Allée James Watt 33700 Mérignac
Lieu de formation
Adresse :
Organisme de formation responsable
M2I FORMATION MERIGNAC
Adresse
15 B allée James Watt 33700 Mérignac
Téléphone