Discrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational ScienceDiscrete and Continuous Models and Applied Computational Science2658-46702658-7149Peoples' Friendship University of Russia named after Patrice Lumumba (RUDN University)8760ArticlesСтатьиFoundational Aspects of Theory of Statistical Function Estimation and Pattern RecognitionФундаментальные аспекты теории статистического оценивания функций и распознавания образовFokoueEФокоуэЭУниверситет им. Кеттеринга; Kettering UniversityУниверситет им. Кеттеринга-Kettering UniversityУниверситет им. Кеттеринга150320083NO3 (2008)№3 (2008)405408092016Copyright ©; 2008, Фокоуэ Э.2008Фокоуэ Э.http://creativecommons.org/licenses/by/4.0https://journals.rudn.ru/miph/article/view/8760This paper provides a gentle introduction to the foundational ideas, concepts and results in the field of science dedicated to the theory of statistical function estimation and pattern recognition. The so-called VC Theory of Vapnik and Chervonenkis is introduced and explored gradually. The emphasis is placed on helping the reader appreciate the importance of the extension of the classical law of large numbers to function spaces, and the key role that "new" concepts such as Empirical Risk Minimization (ERM) principle, ERM consistency, VC dimension, and complexity control play in constructing algorithms that yield function estimators with optimal properties. As much as possible, each key concept is introduced via a tangible example, with the hope of helping the reader grasp the essential core of the foundational concept under exploration. Статья представляет собой краткий обзор фундаментальных идей, концепций и результатов теории статистического оценивания функций и распознавания образов. Материал опирается на теорию Вапника-Червоненкиса. Особое внимание уделяется тому, чтобы помочь читателю оценить важность распространения классического закона больших чисел на функциональные пространства и ключевую роль, которую играют такие новые понятия, как принцип минимизации эмпирического риска, состоятельность оценок при построении алгоритмов, обеспечивающих оценку функций с оптимальными свойствами. Statistical Learning TheoryLaw of Large NumbersConsistencyVC TheoryRegularizationComplexity ControlBounds on generalizationGeneralization