¿Qué es el algoritmo K vecino más cercano?

Los artículos escritos en este blog fueron creados con el objetivo de enseñar. Además, la información del artículo puede ser incorrecta, así que tenga cuidado.

K-Vecinos más cercanos, o KNN para abreviar, es un algoritmo que determina el resultado al encontrar los K datos que están más cerca de los datos nuevos. En coreano, se llama algoritmo del vecino más cercano K.

Sigue a la mayoría a tu alrededor

Digamos que ya tenemos datos de peso y color de manzanas y naranjas. Cuando llega un nuevo fruto, se encuentran los frutos más cercanos entre los datos existentes.

5 nuevas frutas cercanas
4 manzanas
1 naranja

Resultado previsto: manzana

Aquí, si K es 5, verifique 5 datos cercanos. En problemas de clasificación, puede seleccionar la clase con el mayor número de clases y en problemas de regresión, puede utilizar el promedio de valores cercanos.

Más cerca de buscar que de aprender

KNN rara vez requiere el proceso de creación de modelos complejos por adelantado. Los datos de entrenamiento se mantienen tal cual y la distancia hasta los nuevos datos se calcula cada vez que se realiza una predicción.

Fase de aprendizaje: guardar los datos.
Paso de predicción: Calcula todos los datos y distancias.

Entonces la implementación es simple, pero cuantos más datos haya, más lenta será la predicción. Si hay N datos y D características, una implementación simple necesitaría calcular aproximadamente N distancias durante una predicción.

El valor de K cambia el resultado.

Si K es 1, sólo se confía en los datos más cercanos. Incluso un pequeño ruido puede cambiar fácilmente los resultados.

Si K es demasiado grande, se pierden las características locales, incluidos los datos distantes. Si existen dos clases con números similares, se pueden seleccionar números impares para reducir los empates, pero los números impares no siempre son la respuesta correcta.

El núcleo de KNN es la suposición de que los datos cercanos tienen propiedades similares. Por lo tanto, es un buen algoritmo para probar primero en problemas donde el significado de la distancia es claro y el tamaño de los datos no es excesivamente grande.