Was ist der K-Nearest-Neighbor-Algorithmus?

Die in diesem Blog verfassten Artikel wurden mit dem Ziel erstellt, zu unterrichten. Außerdem können die Informationen im Artikel falsch sein, also seien Sie bitte vorsichtig.

K-Nearest Neighbors, kurz KNN, ist ein Algorithmus, der das Ergebnis ermittelt, indem er die K Datenelemente findet, die neuen Daten am nächsten kommen. Auf Koreanisch wird er als K-Nearest-Neighbor-Algorithmus bezeichnet.

Folgen Sie der Mehrheit um Sie herum

Nehmen wir an, wir haben bereits Gewichts- und Farbdaten für Äpfel und Orangen. Wenn eine neue Frucht eintrifft, werden die nächstgelegenen Früchte unter den vorhandenen Daten gefunden.

5 neue Früchte in der Nähe
4 Äpfel
1 Orange

Voraussichtliches Ergebnis: Apfel

Wenn K hier 5 ist, prüfen Sie 5 benachbarte Datenelemente. Bei Klassifizierungsproblemen können Sie die Klasse mit der größten Anzahl an Klassen auswählen und bei Regressionsproblemen können Sie den Durchschnitt ähnlicher Werte verwenden.

Näher am Suchen als am Lernen

KNN erfordert selten die vorherige Erstellung komplexer Modelle. Die Trainingsdaten bleiben unverändert und der Abstand zu neuen Daten wird bei jeder Vorhersage berechnet.

Lernphase: Speichern Sie die Daten.
Vorhersageschritt: Berechnen Sie alle Daten und Entfernungen.

Die Implementierung ist also einfach, aber je mehr Daten vorhanden sind, desto langsamer wird die Vorhersage. Wenn N Daten und D Merkmale vorhanden sind, müsste eine einfache Implementierung während einer Vorhersage ungefähr N Abstände berechnen.

Der Wert von K verändert das Ergebnis

Wenn K 1 ist, werden nur die nächstgelegenen Daten als vertrauenswürdig eingestuft. Selbst kleine Geräusche können die Ergebnisse leicht verändern.

Wenn K zu groß ist, gehen lokale Merkmale verloren, einschließlich entfernter Daten. Wenn zwei Klassen in ähnlicher Anzahl vorhanden sind, können ungerade Zahlen ausgewählt werden, um Gleichstände zu reduzieren, ungerade Zahlen sind jedoch nicht immer die richtige Antwort.

Der Kern von KNN ist die Annahme, dass benachbarte Daten ähnliche Eigenschaften haben. Daher ist es ein guter Algorithmus, ihn zuerst bei Problemen zu testen, bei denen die Bedeutung der Entfernung klar ist und die Datenmenge nicht übermäßig groß ist.