Big Data

Retour

Formation

Informatique

Big Data - Architecture et technologies

  • 3 Jours
  • REF: 4-IT-ART
  • Partager :

1. Les questions clés à se poser lors de la mise en place d'un projet Big Data

  • Quels sont les différents cas d’usage de l'application ?
  • Quelles sont les sources de données ?
  • Les mesures de qualité et de performances ?
  • Quel est le cycle de vie de la donnée ? Par quelles transformations passe-t-elle ? Comment la gouverner ?
  • Comment gérer les différentes charges de travail et héberger des projets différents sur la même infrastructure ?
  • Quelles sont les principaux modèles d'architecture d'un SI Big Data ? C’est quoi le "Data Lake" ?
  • Comment dimensionner l'infrastructure et mesurer la scalabilité du système ?
  • C'est quoi le cycle de vie d'un projet Big Data ?
  • Quelles sont les compétences nécessaires pour réussir dans la mise en place d’un projet Big Data ?
  • Comparaison des principales distributions d’Hadoop : Apache Hadoop vs HortonWorks vs Cloudera vs MapR

2. Architecture Big Data

  • Limites des architectures classiques
  • Avantages des nouvelles architectures Big Data
    • Structures différentes de données (structurées, semi-structurées et non structurées)
    • Stockage de grandes quantités de données à moindre coût et Scalabilité en termes de stockage
    • Performances élevées du traitement de données massives sous différentes latences (Batch ou en Streaming) et scalabilité en termes de traitements
    • Haute disponibilité
    • Agilité du système et son impact positif sur son évolution et sa maintenance
    • Impact sur l’entreprise et sa transformation en Client-Centric
  • Le Data Lake : une nouvelle philosophie pour le stockage et le traitement de la donnée
    • Architecture du Data Lake et centralisation des données
    • Cas d’usages basés sur le Data Lake
    • Le modèle « en couches » de données
    • Data Lake vs Data Warehouse
  • La qualité de la donnée (Dataquality) dans un système Big Data
    • Causes du problème de la qualité de données dans les systèmes Big Data
    • Mise en place de la Gouvernance Applicative pour assurer la qualité des données
  • La qualité des traitements dans un système Big Data
    • Importance de la supervision des chaînes de traitements
    • Exploitation efficaces des logs et détection des anomalies en temps réelle
    • Mise en place de tableaux de bord pour la visualisation de la qualité des traitements en temps réelle
  • Types d’architectures Big Data selon les exigences temporelles
    • architectures Batch
    • Architectures Streaming
    • Lambda Architectures

3. Tour d'horizon sur les technologies Big Data cléssées par cas d'usage

  • Limites des outils et des paradigmes classiques qui ont mené à l’apparition des technologies Big Data
  • Historique des technologies Big Data : Google’s GFS & MapReduce
  • Principaux Frameworks du Big Data : Hadoop, Spark, Storm, etc.
  • Classification des outils du Big Data selon leurs cas d’usage :
    • Stockage et traitement de la donnée (Le système de fichiers distribué de Hadoop (HDFS), MapReduce, YARN, Spark)
    • Les bases de données et la gestion des données (Définition du NoSQL, NoSQL Vs SGBD Relationnels, Classification des bases de données NoSQL selon leurs types et leurs cas d'usages)
    • La sérialisation (Avro, JSON, Parquet)
    • Le management et le monitoring (Ambari, HCatalog, ZooKeeper, Oozie)
    • L’analyse et la visualisation des données (Spark MLIB, Mahout, Hadoop Streaming, Pig et MapReduce v. Hadoop Image Processing Interface (HIPI))
    • Recherche (Elasticsearch, Solr)
    • Le transfert des données (Sqoop, Flume, DistCP, Storm v. Kafka)
    • La sécurité et le contrôle d’accès (Kerberos , Ranger, Sentry , Knox)

4. Solutions Big Data sur le Cloud

5. Retour d'expérience sur les Frameworks et les outils Big Data utilisés : avantages, limites et leurs évolutions

  • Connaître les technologies pour mettre en place un projet Big Data et construire l'architecture associée
  • Ce cours est destiné aux administrateurs de clusters Hadoop, administrateurs de bases de données, ingénieurs systèmes et réseaux, développeurs

  • Connaissance de l’administration Linux (manipulation de fichiers, service, package, etc.) pour pouvoir réaliser les travaux pratiques
  • Formation avec un formateur, dans une salle dédiée à la formation, équipée d'un vidéoprojecteur, d'un tableau blanc ou à distance dans le cas de solutions de Digital Learning
  • 1 poste de travail par stagiaire adapté aux besoins de la formation + 1 support de cours et/ou un manuel de référence au format numérique ou papier
  • Modalités pédagogiques : Exposés – Cas pratiques – Synthèse
Dates

Formations associées

AGINIUS

153 avenue d'Italie

PARIS - Paris (75)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
CAEN

- Calvados (14)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
BORDEAUX

- Gironde (33)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
BREST

- Finistere (29)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
CLERMONT-FERRAND

- Puy-de-Dome (63)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
GRENOBLE

- Isere(38)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
IVRY-SUR-SEINE

- Val-de-Marne (94)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
LE HAVRE

- Seine-Maritime (76)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
LE MANS

- Sarthe (72)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
LILLE

- Nord (59)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
LUXEMBOURG

-

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
LYON

- Rhone (69)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
MARSEILLE

- Bouches-du-Rhone (13)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
METZ

- Moselle (57)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
MONTPELLIER

1025 rue henri Becquerel bât 27, Parc Club du Millénaire

Montpellier - Herault (34)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
NANCY

- Meurthe-et-Moselle (54)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
NANTES

- Loire-Atlantique (44)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
NICE

- Alpes-Maritimes (06)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
ORLÉANS

- Loiret (45)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
PARIS

153 avenue d'Italie

PARIS - Paris (75)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
PÉRIGUEUX

- Dordogne (24)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
POITIERS

- Vienne (86)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
REIMS

- Marne (51)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
RENNES

- Ille-et-Vilaine (35)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
ROUEN

- Seine-Maritime (76)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
STRASBOURG

- Bas-Rhin (67)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
TOULON

- Var (83)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
TOURS

- Indre-et-Loire (37)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
TROYES

- Aube (10)

Prochaines formations
  • du 07 au 9 octobre 2020
  • du 02 au 4 décembre 2020
Toutes les dates de ce centre
Infos centre

CHOISIR AGINIUS

C’est choisir la proximité avec une capacité d’intervention dans 100 villes en France et 50 centres accueillant les interentreprises.

C’est choisir la compétence avec plus de 300 experts dans différents domaines : une offre de formation de plus de 900 programmes standards, une élaboration sur mesure de programmes spécifiques en fonction de vos besoins en intraentreprise, une clientèle allant au-delà de 5000 entreprises, administrations et collectivités locales.

C’est choisir un réseau assurant une réelle capacité logistique avec plus de 250 salles équipées et une capacité d’accueil de 2000 stagiaires par jour...

AGINIUS Formation, Réseau Leader de la formation professionnelle en France.