METHOD FOR ESTIMATING LOGISTIC REGRESSIONS USING LINEAR PROGRAMMING APPARATUS
https://doi.org/10.35266/1999-7604-2024-2-2
Abstract
The article is devoted to the problem of estimating logistic regressions where the explanatory variable has only two values, 0 and 1. The predicted values of the explanatory variable of the estimated logistic regression are interpreted as the probabilities of the occurrence of some event. As a result, such models are widely used to solve classifi cation problems. In practice, the maximum likelihood estimation, which is implemented in many modern statistical packages, is mainly used to estimate logistic regressions. One of its disadvantages, for example, is that it does not provide unique estimates when grouping objects into two separate classes. The study proposes a new method for estimating logistic regressions. Conventionally, it can be divided into two stages. The fi rst stage consists of solving a specially formulated linear programming problem. As a result, the weighting coeffi cients of the linear combination of explanatory variables are found. In fact, classifi cation is already carried out at this stage. The second stage is to calibrate the probability scale. Computational experiments were carried out based on a real sample of volume 100. The new method has proven its effi ciency when objects are completely separable into two classes. In addition, in terms of the number of correctly predicted cases, the new method was never inferior to the maximum likelihood estimation, and even surpassed the latter in one of the experiments.
About the Authors
Mikhail P. Bazilevsky
Irkutsk State Transport University, Irkutsk
Russian Federation
Russian Federation
Candidate of Sciences (Engineering), Docent
Artyom A. Malygin
Irkutsk State Transport University, Irkutsk
Russian Federation
Russian Federation
Master’s Degree Student
Anna E. Shamanova
Irkutsk State Transport University, Irkutsk
Russian Federation
Russian Federation
Master’s Degree Student
References
1. Géron A. Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow. Concepts, tools, and techniques to build intelligent systems. Sebastopol, CA : O’Reilly Media, 2022. 861 p.
2. Kelleher J. D., Mac Namee B., D’arcy A. Fundamentals of machine learning for predictive data analytics: Algorithms, worked examples, and case studies. Cambridge, Massachusetts : MIT press, 2020. 856 p.
3. Alpaydin E. Introduction to machine learning. Cambridge, Massachusetts : MIT press, 2020. 798 p.
4. Кажемский М. А., Шелухин О. И. Многоклассовая классификация сетевых атак на информационные ресурсы методами машинного обучения // Труды учебных заведений связи. 2019. Т. 5, № 1. С. 107–115. DOI 10.31854/1813-324X-2019-5-1-107-115.
5. Горошко И. В., Гонов Ш. Х. Разработка алгоритма оценки результатов деятельности органов внутренних дел с использованием моделей бинарного выбора // Моделирование, оптимизация и информационные технологии. 2018. Т. 6, № 2. С. 368–378.
6. Космыкова Т. Бинарные модели оценки риска банкротства предприятий // Наука и инновации. 2016. № 2. С. 47–50.
7. Лучинин А. С., Лянгузов А. В. Модель логистической регрессии для прогнозирования летальности в отделении интенсивной терапии: проблемы и решения // Качественная клиническая практика. 2022. № 2. С. 13–20.
8. Мармыш Д. Е. Применение логистической регрессии к вычислению повреждаемости твердого деформируемого тела // Механика машин, механизмов и материалов. 2021. № 1. С. 46–53. DOI 10.46864/1995-0470-2020-1-54-46-53.
9. Кошевой О. С. Модель логистической регрессии для прогнозирования использования населением портала государственных услуг // Государственное управление. Электронный вестник. 2021. № 86. С. 42–56.
10. Копытцев В. А. Оценка надежности метода максимального правдоподобия при его использовании для решения систем уравнений с искажениями в правых частях // Математические вопросы криптографии. 2023. Т. 14, № 3. С. 107–117.
11. Ефремова И. Н., Ефремов В. В. Восстановление непрерывного изображения с использованием оценок максимального правдоподобия и интерполяции по атомарным функциям в соответствии с апертурой светочувствительного элемента датчика // Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. 2022. Т. 12, № 1. С. 84–98. DOI 10.21869/2223-1536-2022-12-1-84-98.
12. Иваньо Я. М. О некоторых методах математического моделирования в решении задач прогнозирования и планирования производства аграрной продукции // Актуальные вопросы аграрной науки. 2021. № 38. С. 49–57.
13. Lachhwani K. Application of neural network models for mathematical programming problems: A state of art review // Archives of Computational Methods in Engineering. 2020. Vol. 27. P. 171–182.
14. Базилевский М. П. Программа построения вполне интерпретируемых элементарных и неэлементарных квазилинейных регрессионных моделей // Труды Института системного программирования РАН. 2023. Т. 35, № 4. С. 129–144. DOI 10.15514/ISPRAS-2023-35(4)-7.
15. Базилевский М. П. Метод построения неэлементарных линейных регрессий на основе аппарата математического программирования // Проблемы управления. 2022. № 4. С. 3–14. DOI 10.25728/pu.2022.4.1.
16. Базилевский М. П. Отбор информативных регрессоров с учетом мультиколлинеарности между ними в регрессионных моделях как задача частично-булевого линейного программирования // Моделирование, оптимизация и информационные технологии. 2018. Т. 6, № 2. С. 104–118.
17. Базилевский М. П. Построение вполне интерпретируемых линейных регрессионных моделей с помощью метода последовательного повышения абсолютных вкладов переменных в общую детерминацию // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2022. № 2. С. 5–16.
18. Никаненкова В. В. Кредитный скоринг как инструмент оценки кредитоспособности заемщиков // Вестник Адыгейского государственного университета, серия «Экономика». 2012. № 2. С. 32–38.
19. Thomas L. C. A survey of credit and behavioural scoring: Forecasting fi nancial risk of lending to consumers // International Journal of Forecasting. 2000. Vol. 16, no. 2. P. 149–172.
20. Freed N., Glover F. Applications and Implementation: A linear programming approach to the discriminant problem // Decision Sciences. 1981. Vol. 12, no. 1. P. 68–74.
21. Исмагилов И. И., Кадочникова Е. И. Специальные модели эконометрики в среде Gretl. Казань : Казан. ун-т, 2018. 91 с.
Review
For citations:
Bazilevsky M.P., Malygin A.A., Shamanova A.E. METHOD FOR ESTIMATING LOGISTIC REGRESSIONS USING LINEAR PROGRAMMING APPARATUS. Proceedings in Cybernetics. 2024;23(2):14-22. (In Russ.) https://doi.org/10.35266/1999-7604-2024-2-2
Views:
123
Email this article 