In the lecture, a simple example is used to show how the skip-gram algorithm works, recognizing the contextual distribution of words [2]. To understand the algorithm, high-school-level mathematics and the concept of a gradient are sufficient (and high school students can be introduced to it in 1–2 optional enrichment sessions). Due to time constraints, negative sampling and some heuristics of the skip-gram algorithm [2] were left outside the scope of the discussion.
В лекции на простом примере показано, как работает алгоритм skip-gram, распознающий контекстное распределение слов [2]. Для понимания алгоритма достаточно школьной математики и понятия градиента (с которым старшеклассников можно ознакомить на 1-2 факультативных занятиях). Из-за ограничения во времени за рамками обсуждения остались negative sampling и некоторые эвристики алгоритма skip-gram [2].