procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»10.35266/1999-7604-2023-3-17-22procyber-539Research ArticleТЕХНИЧЕСКИЕ НАУКИEngeneeringПРИМЕНЕНИЕ АЛГОРИТМОВ ФОРМИРОВАНИЯ ВОПРОСОВ ПО ТЕКСТУ ДЛЯ АВТОМАТИЧЕСКОЙ ГЕНЕРАЦИИ ТЕСТОВAPPLYING TEXT QUESTIONS GENERATION ALGORITHMS FOR AUTOMATIC TEST GENERATIONВасильевАлексей АлександровичVasilyevAleksey A.

преподаватель

Lecturer

systems1@yandex.ruНестеровАндрей СергеевичNesterovAndrey S.

кандидат технических наук, преподаватель

Candidate of Sciences (Engineering), Lecturer

Сибирский государственный университет телекоммуникаций и информатики, НовосибирскРоссияSiberian State University of Telecommunications and Information Science, NovosibirskRussian Federation2023151120232231722Copyright © Васильев А.А., Нестеров А.С., 20232023Васильев А.А., Нестеров А.С.Vasilyev A.A., Nesterov A.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/539

Представлены результаты исследования ручных, полуавтоматизированных и автоматизированных способов генерации контрольных вопросов, основанных на методах аннотирования, выделения ключевых слов и использования обучающего набора данных (датасета) для формирования тестов к учебному материалу, с описанием алгоритма работы каждого метода, примеров сгенерированных вопросов и оценкой их качества. На тестовых примерах представлены преимущества алгоритма генерации метода с использованием датасета и комбинированных методов и их возможного применения на практике.

The article presents findings of manual, semi-automatic, and automatic approaches to generate test questions based on such methods as annotation, keyword extraction, and learning datasets for compiling tests for studying material, along with a description of each method algorithm, examples of generated questions, and their quality assessment. These examples demonstrate the advantages of an algorithm for generating a method using a dataset and a combination of methods, as well as their possible practical application.

генерация вопросов по текстунейронные сетисравнение методов генерацииtext questions generationneural networkscomparison of methods of generationработа выполнена в рамках Государственного задания № 071-03-2023-001.the study is conducted in the framework of a State task No. 071-03-2023-001.ReferencesКручинин В. В., Кузовкин В. В. Обзор существующих методов автоматической генерации задач с условиями на естественном языке // Компьютерные инструменты в образовании. 2022. № 1. С. 85–96.Kruchinin V. V., Kuzovkin V. V. Overview of existing methods for automatic generation of tasks with conditions in natural language. Kompiuternye instrumenty v obrazovanii. 2022;(1):85–96. (In Russian).Посов И. А. Обзор генераторов и методов генерации учебных заданий // Образовательные технологии и общество. 2014. Т. 17, № 4. С. 593–609.Posov I. A. Obzor generatorov i metodov generatsii uchebnykh zadanii. Obrazovatelnye tekhnologii i obshchestvo. 2014;17(4):593–609. (In Russian).Куртасов А. М., Швецов А. Н. Метод автоматизированной генерации контрольно-тестовых заданий из текста учебных материалов // Вестник Череповецкого государственного университета. 2014. № 7. С 7–11.Kurtasov A. M., Shvetsov A. N. Metod avtomatiziro-vannoi generatsii kontrolno-testovykh zadanii iz teksta uchebnykh materialov. Cherepovets State Univer-sity. 2014;(7):7‒11. (In Russian).Тарасенко С. В., Рязанова Н. Ю. Анализ методов автоматической генерации вопросов на естественном языке // Инженерный вестник. 2015. № 12. С. 1032–1037.Tarasenko S. V., Ryazanovа N. Yu. Analiz metodov avtomaticheskoi generatsii voprosov na estestvennom iazyke. Engineering Bulletin. 2015;(12):1032–1037. (In Russian).Морозов Д. А., Глазкова А. В., Тютюльников М. А. и др. Генерация ключевых слов для аннотаций русскоязычных научных статей // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. 2023. Т. 21, № 1. С. 54–66.Morozov D. A., Glazkova A. V., Tyutyulnikov M. A. et al. Keyphrase generation for abstracts of the Russian-language scientific articles. NSU Vestnik. Series: Linguistics and Intercultural Communication. 2023;21(1):54–66. (In Russian).Романенко В. В., Аксененко И. О. Обзор технологий автоматизированного создания и публикации тестовых заданий в системах дистанционного обучения // Информационные технологии в науке, управлении, социальной сфере и медицине : сб. науч. трудов IV Междунар. науч. конф., 5–8 декабря 2017 г., г. Томск. В 2 ч. Ч. 1. Томск : Изд-во ТПУ, 2017. С. 317–321.Romanenko V. V., Aksenenko I. O. Review of technologies of automated creation and publication of test tasks in the distance learning systems. In: Proceedings of the IV International Scientific Conference “Informatsionnye tekhnologii v nauke, upravlenii, sotsialnoi sfere i meditsine”, December 5‒8, 2017, Tomsk. In 2 parts. Pt. 1. Tomsk: Publishing House of the Tomsk Polytechnic University; 2017. p. 317–321. (In Russian).Парасич А. В., Парасич В. А., Парасич И. В. Формирование обучающей выборки в задачах машинного обучения // Информационно-управляющие системы. 2021. № 4. С. 61–70. DOI 10.31799/1684-8853-2021-4-61-70.Parasich A. V., Parasich V. A., Parasich I. V. Training set formation in machine learning tasks. Survey. Information and Control Systems. 2021;(4):61–70. DOI 10.31799/1684-8853-2021-4-61-70. (In Russian).Кафтанников И. Л., Парасич А. В. Проблемы формирования обучающей выборки в задачах машинного обучения // Вестник Южно-Уральского государственного университета. Серия: Компьютерные технологии, управление, радиоэлектроника. 2016. Т. 16, № 3. С. 15–24. DOI 10.14529/ctcr160302.Kaftannikov I. L., Parasich A. V. Problems of training set’s formation in machine learning tasks. Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics. 2016;16(3):15–24. DOI 10.14529/ctcr160302. (In Russian).

The authors declare that there are no conflicts of interest present.