Machine Learning

1 — Introduction au Machine Learning
Présentation générale
Domaines d’application
Focus Data Science (Data Mining)
Focus Machine Learning
Focus Big Data
Focus Deep Learning
Définition du Machine Learning
Exemples de tâches traitées par le Machine Learning
Types d’apprentissages
Ce que les machines peuvent apprendre
Les différents modes d’entraînement

2 — Les fondamentaux du Machine Learning
Notions clés
Problème d’optimisation
Capacité optimale du modèle
Lien entre capacité et erreurs
Cadre statistique
Anatomie d’un modèle de Machine Learning
Jeux de données d’apprentissage
Variables prédictives
Chaîne de traitement des variables
Variables cibles
Fonctions hypothèses
Principe et rôle
Sélection et caractéristiques
Approches fréquentistes et bayésiennes
Fonctions de coût et estimation
Estimateurs
Maximum de vraisemblance (MLE)
Maximum a posteriori (MAP)
Biais et variance
Compromis biais-variance
Régularisation
Algorithmes d’optimisation
Grandes familles d’algorithmes
Descente de gradient
Méthodes de Newton
Optimisation batch et stochastique

3 — La classification
Introduction
Choisir un algorithme de classification
Régression logistique
Du perceptron à la régression logistique
Hypothèses et apprentissage des paramètres
Exemple avec scikit-learn
SVM (Support Vector Machines)
Principe de marge maximale
Marges souples
Méthodes à noyaux et kernel trick
Arbres de décision
Principe et fonctionnement
Gain informationnel
Mesures d’impureté
Exemple avec scikit-learn
k-plus proches voisins (kNN)
Principe
Points forts et limites
Synthèse des méthodes

4 — Les bonnes pratiques en Machine Learning
Prétraitement des données
Gestion des données manquantes
Traitement des variables catégorielles
Partitionnement des jeux de données
Mise à l’échelle
Feature Engineering
Sélection de variables
Régularisation L1
Sélection séquentielle
Importance des variables
Réduction dimensionnelle
ACP, LDA, ACP à noyau
Réglage et évaluation des modèles
Notion de pipeline
Validation croisée
Courbes d’apprentissage et de validation
Grid search
Validation croisée imbriquée
Métriques de performance

5 — L’apprentissage par ensembles (Ensemble Learning)
Principe du vote
Empilement (stacking)
Bagging
Forêts aléatoires
Boosting
AdaBoost
Gradient Boosting

6 — La régression
Régression linéaire simple et multiple
Analyse des relations entre variables
Détection des valeurs aberrantes (RANSAC)
Évaluation des performances
Régularisation
Régression polynomiale
Régression avec forêts aléatoires
Synthèse

7 — Le clustering
Introduction au clustering
Méthode k-means et variantes
Notion d’inertie
k-means++
Clustering flou
Choix du nombre de clusters (méthode Elbow)
Évaluation par silhouettes
Clustering hiérarchique
DBSCAN
Autres approches de clustering
Synthèse