procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»procyber-183Research ArticleФИЗИКО-МАТЕМАТИЧЕСКИЕ НАУКИPhysics and MathematicsПолучение разреженных решений с использованием d-оптимального разбиения исходной выборки на обучающую и тестовую части и критерия регулярностиObtaining of Sparse Solutions with D-Optimal Partitioning of Original Sample into Training and Test Parts and Regularity CriterionПоповА. А.PopovA. A.a.popov@corp.nstu.ruБобоевШ. А.BoboevSh. A.shboboev@mail.ruНовосибирский государственный технический университетРоссияNovosibirsk State Technical UniversityRussian Federation20182503202003 (31)162168Copyright © Попов А.А., Бобоев Ш.А., 20202020Попов А.А., Бобоев Ш.А.Popov A.A., Boboev S.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/183

В работе рассмотрены способы получения разреженного решения на основе метода LSSVM. Для получения разреженного решения используются обучающие выборки, формируемые по схеме D-оптимального планирования эксперимента. Приводится также алгоритм формирования тестовой выборки с использованием критерия регулярности. Для проверки эффективности предлагаемых методов формирования обучающей выборки проведен вычислительный эксперимент с использованием модельных данных. Повышение обобщающих свойств моделей, полученных по LS-SVM, проводилось через подбор параметра гауссовой ядерной функции при минимизации ошибки прогноза. Параметр ядерной функции подбирался по минимуму внешних критериев. В качестве внешних критериев оценки качества моделей использовались критерий скользящего контроля и критерий регулярности. Эффективность получаемых решений оценивалась по среднеквадратичной ошибке. Дисперсия помехи (уровень шума) при моделировании данных задавалась в процентах от мощности сигнала. По итогам полученных результатов сделаны выводы, что для получения разреженного решения можно использовать обучающую выборку, полученную с использованием D-оптимального разбиения, а также дополнительную оптимизацию состава точек (алгоритм замены), которая в ряде случаев позволяет получать лучшие решения.

The article considers the methods of obtaining sparse solutions based on the LS-SVM method. The training samples generated according to the D-optimal experiment design are used for obtaining a sparse solution. An algorithm for forming a test sample using the regularity criterion is also presented. A computational experiment is conducted to check the efficiency of the proposed methods of forming a training sample. The artificial data is used for this purpose. The improvement of the generalizing properties of the models obtained by LS-SVM is carried out through the selection of the Gaussian kernel function parameter while minimizing the prediction error. The kernel function parameter is chosen according to the minimum of external criteria. The criteria of cross-validation and regularity are used as external criteria for assessing the quality of models. The effectiveness of the obtained solutions is estimated by mean square error. The noise variance (noise level) is set as a percentage of the signal power during the data modeling. According to the results, conclusions are made that to receive a sparse solution it is possible to use a training sample, obtained with the use of D-optimal split. The additional optimization of the composition of points (exchange algorithm) is possible to use as well, which in some cases allows getting the best solutions.

регрессионная модельметод LS-SVMядерная функцияквадратичная функция потерьD-оптимальный планкритерий скользящего контролясреднеквадратичная ошибкаregression modelLS-SVM methodkernel functionquadratic loss functionD-optimal designcross-validation criterionmean square errorReferencesSuykens J. A. K., Van Gestel T., De Brabanter J., De Moor B., Vandewalle J. Least Square Support Vector Machines. New Jersey ; London ; Singapore ; Hong Kong : World Scientific, 2002. 290 p.Suykens J. A. K., Van Gestel T., De Brabanter J., De Moor B., Vandewalle J. Least Square Support Vector Machines. New Jersey ; London ; Singapore ; Hong Kong : World Scientific, 2002. 290 p.Vapnik V. Statistical Learning Theory. New York : John Wiley, 1998. 736 p.Vapnik V. Statistical Learning Theory. New York : John Wiley, 1998. 736 p.Cherkassky V., Ma Y. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. 2004. № 17. P. 113–126.Cherkassky V., Ma Y. Practical selection of SVM parameters and noise estimation for SVM regression // Neural Networks. 2004. № 17. P. 113–126.Попов А. А., Саутин А. С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сб. науч. тр. НГТУ (Новосибирск). 2008. № 2 (52). С. 35–40.Попов А. А., Саутин А. С. Определение параметров алгоритма опорных векторов при решении задачи построения регрессии // Сб. науч. тр. НГТУ (Новосибирск). 2008. № 2 (52). С. 35–40.Popov A. A., Sautin A. S. Selection of support vector machines parameters for regression using nested grids // The Third International Forum on Strategic Technology (Novosibirsk), 2008. P. 329–331.Popov A. A., Sautin A. S. Selection of support vector machines parameters for regression using nested grids // The Third International Forum on Strategic Technology (Novosibirsk), 2008. P. 329–331.Mao W., Mu X., Zheng Y., Yan G. Leave-one-out cross-validation-based model selection for multi-input multi-output support vector machine // Neural Computing and Application. 2014. № 2 (24). P. 441–451.Mao W., Mu X., Zheng Y., Yan G. Leave-one-out cross-validation-based model selection for multi-input multi-output support vector machine // Neural Computing and Application. 2014. № 2 (24). P. 441–451.Rivas-Perea P., Cota-Ruiz J., Rosiles J.-G.. A nonlinear least squares quasi-Newton strategy for LP SVR hyper-parameters selection // International Journal of Machine Learning and Cybernetics. 2014. № 4 (5). P. 579–597.Rivas-Perea P., Cota-Ruiz J., Rosiles J.-G.. A nonlinear least squares quasi-Newton strategy for LP SVR hyper-parameters selection // International Journal of Machine Learning and Cybernetics. 2014. № 4 (5). P. 579–597.Gupta A. K., Guntuku S. C., Desu R. K., Balu A. Optimisation of turning parameters by integrating genetic algorithm with support vector regression and artificial neural networks // The International Journal of Advanced Manufacturing Technology. 2015. № 1–4 (77). P. 331–339.Gupta A. K., Guntuku S. C., Desu R. K., Balu A. Optimisation of turning parameters by integrating genetic algorithm with support vector regression and artificial neural networks // The International Journal of Advanced Manufacturing Technology. 2015. № 1–4 (77). P. 331–339.Jsuykens A. K., De Brabanter J., Lukas L., Vandewalle J. Weighted least squares support vector machines: robastness and sparse approximation // Neurocomputing. 2002. Vol. 48. P. 85–105.Jsuykens A. K., De Brabanter J., Lukas L., Vandewalle J. Weighted least squares support vector machines: robastness and sparse approximation // Neurocomputing. 2002. Vol. 48. P. 85–105.Степашко В. С., Кочерга Ю. Л. Методы и критерии решения задач структурной идентификации // Автоматика. 1985. № 5. С. 29–37.Степашко В. С., Кочерга Ю. Л. Методы и критерии решения задач структурной идентификации // Автоматика. 1985. № 5. С. 29–37.Сарычев А. П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. 1990. № 5. С. 28–33.Сарычев А. П. Усредненный критерий регулярности метода группового учета аргументов в задаче поиска наилучшей регрессии // Автоматика. 1990. № 5. С. 28–33.Степашко В. С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. 1988. № 6. С. 75–82.Степашко В. С. Асимптотические свойства внешних критериев выбора моделей // Автоматика. 1988. № 6. С. 75–82.Попов А. А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. 1997. № 1. С. 49–53.Попов А. А. Разбиение выборки для внешних критериев селекции моделей с использованием методов планирования эксперимента // Заводская лаборатория. 1997. № 1. С. 49–53.Попов А. А., Бобоев Ш. А. Получение тестовой выборки в методе LS-SVM с использованием оптимального планирования эксперимента // Науч. вестн. Новосиб. гос. технич. ун-та. 2016. № 4. С. 80–99.Попов А. А., Бобоев Ш. А. Получение тестовой выборки в методе LS-SVM с использованием оптимального планирования эксперимента // Науч. вестн. Новосиб. гос. технич. ун-та. 2016. № 4. С. 80–99.Попов А. А. Последовательные схемы построения оптимальных планов эксперимента // Сб. науч. тр. НГТУ (Новосибирск). 1995. Вып. 1. С. 39–44.Попов А. А. Последовательные схемы построения оптимальных планов эксперимента // Сб. науч. тр. НГТУ (Новосибирск). 1995. Вып. 1. С. 39–44.

The authors declare that there are no conflicts of interest present.