Informatique · Première · 2 min de lecture
Classer par les k plus proches voisins
Exemple d'algorithme d'apprentissage : pour prédire la classe d'un nouvel élément, on calcule sa distance à chaque élément d'un jeu de données déjà classé, on retient les k plus proches et on attribue la classe majoritaire parmi eux ; influence du choix de k et de la distance ; un k impair évite les égalités entre deux classes.
Chapitre du programme : Numérique et sciences informatiques (spécialité)
Bloc 1 sur 7 · Comprendre
Comprendre
La méthode des k plus proches voisins classe une nouvelle observation à partir d'observations déjà étiquetées. Elle calcule une distance, retient k voisins puis applique une règle de décision, souvent le vote majoritaire. La distance, k et les règles de départage font partie du modèle.
Bloc 2 sur 7 · Approfondir
Approfondir
La notion de proximité dépend des variables et de leur échelle. Une variable mesurée avec de grands nombres peut dominer une distance euclidienne si aucune mise à l'échelle appropriée n'est prévue. Les transformations apprises sur les données doivent être ajustées sur l'ensemble d'entraînement, sans exploiter les données de test.
Bloc 3 sur 7 · Exemple
Exemple travaillé
Sur une droite, les observations sont1 de classe A,2 de classe B,4 de classe B et6 de classe A. Pour classer3 avec k=3, les distances valent2,1,1 et3. Les trois voisins retenus sont2,4 et1 ; B obtient deux votes contre un pour A. La prédiction est donc B avec ce vote uniforme.
Bloc 4 sur 7 · Visualiser
Visualiser le raisonnement
Placez les observations sur un axe et centrez les distances sur3. Les deux premiers voisins sont à distance1 et le troisième à distance2. Ici, l'égalité entre les deux premiers ne pose aucun choix de frontière, car ils sont tous deux retenus.
Continuez sur votre lancée
Vous avez découvert l’essentiel et un exemple. Retrouvez la suite du cours et les points à retenir, puis passez à l’entraînement guidé dans votre compte.
- Les formules et les repères à retenir
- Les erreurs fréquentes expliquées
- Un exercice avec des aides et sa correction
L’accès gratuit comprend les cours et exercices de votre niveau choisi.
Sources
- scikit-learn, nearest neighbors : https://scikit-learn.org/stable/modules/neighbors.html
- scikit-learn, KNeighborsClassifier : https://scikit-learn.org/stable/modules/generated/sklearn.neighbors.KNeighborsClassifier.html
Vous pensez avoir trouvé une erreur dans cette leçon ? Signalez-la par e-mail.