Algoritmo para generar embeddings de palabras basado en su contexto. Introducido por Google en 2013. Incluye Skip-gram y CBOW.
Míralo
Un mapa de significados
Con un solo vector por palabra, «banco» queda a medio camino entre el dinero y el parque. Pulsa una palabra para ver sus vecinas.
Los modelos actuales calculan un vector distinto para cada aparición: «banco» en «abrí una cuenta en el banco» cae junto al dinero; en «me senté en un banco», junto al parque.
La idea: Un embedding no guarda definiciones: guarda en qué contextos aparece una palabra. Lo que se usa parecido queda cerca.
Términos cercanos
Para leer más: arxiv.org