procyberВестник кибернетикиProceedings in Cybernetics1999-7604Бюджетное учреждение высшего образования Ханты-Мансийского автономного округа – Югры «Сургутский государственный университет»10.34822/1999-7604-2022-3-39-45procyber-455Research ArticleТЕХНИЧЕСКИЕ НАУКИEngeneeringАВТОМАТИЗИРОВАННЫЙ СБОР ДАННЫХ КЛЮЧЕВЫХ ФИНАНСОВЫХ ПОКАЗАТЕЛЕЙ ПРЕДПРИЯТИЙ IT-ОТРАСЛИ РЕГИОНАAUTOMATED DATA COLLECTION OF KEY FINANCIAL INDICATORS OF IT ENTERPRISES IN THE REGIONhttps://orcid.org/0000-0003-3743-6513КрамаровС. О.KramarovS. O.

доктор физико-математичес-ких наук, профессор

E-mail: maoovo@yandex.ru

Doctor of Sciences (Physics and Mathematics), ProfessorE-mail: maoovo@yandex.ru

https://orcid.org/0000-0003-1824-9536ОвсянниковВ. А.OvsyannikovV. A.

магистрант

E-mail: viktordee41@gmail.com

Master’s Degree StudentE-mail: viktordee41@gmail.com

https://orcid.org/0000-0002-4897-4926СахароваЛ. В.SakharovaL. V.

доктор физико-математических наук, доцент

E-mail: L_Sakharova@mail.ru

Doctor of Sciences (Physics and Mathematics), Associate ProfessorE-mail: L_Sakharova@mail.ru

https://orcid.org/0000-0002-0993-7575УсатыйР. С.UsatyiR. S.

 аспирантE-mail: rs.usaty@gmail.com

 Postgraduate

E-mail: rs.usaty@gmail.com

https://orcid.org/0000-0001-6674-2240ЛукьяноваГ. В.LukyanovaG. V.

кандидат технических наук, доцент

E-mail: lukyanova.g@yandex.ru

Candidate of Sciences (Engi-neering), Associate Professor

E-mail: lukyanova.g@yandex.ru

Южный федеральный университет, Ростов-на-ДонуРоссияSouthern Federal University, Rostov-on-DonRussian FederationНациональный исследовательский университет «Высшая школа экономики», МоскваРоссияHigher School of Economics, MoscowRussian FederationРостовский государственный экономический университет (РИНХ), Ростов-на-ДонуРоссияRostov State University of Economics, Rostov-on-DonRussian Federation20220311202203 (47)3945Copyright © Крамаров С.О., Овсянников В.А., Сахарова Л.В., Усатый Р.С., Лукьянова Г.В., 20222022Крамаров С.О., Овсянников В.А., Сахарова Л.В., Усатый Р.С., Лукьянова Г.В.Kramarov S.O., Ovsyannikov V.A., Sakharova L.V., Usatyi R.S., Lukyanova G.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.vestcyber.ru/jour/article/view/455

Рассматривается новое программное обеспечение для автоматизированного сбора данных, позволяющее на основе парсинга открытых сайтов за короткое время получать в Excel-формате данные о наиболее значимых финансово-экономических показателях фирм конкретной отрасли, что позволяет провести полноценный финансово-экономический анализ выбранной отрасли в данном регионе. Важным условием для сбора данных является наличие списка необходимых для изучения фирм на официальном сайте export-base.ru. В качестве основного инструмента написания программы был выбран язык программирования Python и ключевые библиотеки, такие как request, selenium, beautifulsoup4 и csv. Рассматриваемое в работе ПО апробировано на примере быстрого по-лучения комплексных данных IT-компаний Ростовской области для проведения финансово-экономического анализа IT-отрасли региона.

The article deals with a new software for automated data collection. Using parsing of open websites, this software allows obtaining a set of the most significant financial and economic indicators of firms for a particular industry in the region in a short time and presents it in an Excel document, resulting in a comprehensive financial and economic analysis of a given industry in the region. A list of required firms published at export-base.ru is a necessary condition for data collection. Python and such key libraries as request, selenium, beautifulsoup4, and csv are selected as the main tool for writing the program. The software developed is tested for quickly obtaining complex data from IT companies in the Rostov Oblast to conduct the financial and economic analysis of the IT industry in the region.

парсингскрейпингPythonавтоматизированный сбор информацииparsingscrapingPythonautomated data collectionReferencesKrotov V., Silva L. Legality and Ethics of Web Scraping // Proceedings of the 24th Americas Con-ference on Information Systems, New Orleans, 2018. URL: https://www.researchgate.net/publication/3249 07302_Legality_and_Ethics_of_Web_Scraping (дата обращения: 30.08.2022).Krotov V., Silva L. Legality and Ethics of Web Scraping // Proceedings of the 24th Americas Con-ference on Information Systems, New Orleans, 2018. URL: https://www.researchgate.net/publication/3249 07302_Legality_and_Ethics_of_Web_Scraping (дата обращения: 30.08.2022).Рожкова М. А. Базы данных и сервисы онлайн-классифайдов: пользование базой и использование информации // Журн. суда по интеллектуал. правам. 2019. № 26. С. 25-32.Рожкова М. А. Базы данных и сервисы онлайн-классифайдов: пользование базой и использование информации // Журн. суда по интеллектуал. правам. 2019. № 26. С. 25-32.Государственный информационный ресурс бухгалтерской (финансовой) отчетности. URL: https://bo.nalog.ru (дата обращения: 30.08.2022).Государственный информационный ресурс бухгалтерской (финансовой) отчетности. URL: https://bo.nalog.ru (дата обращения: 30.08.2022).Всероссийская система проверки контрагентов. URL: https://zachestnyibiznes.ru (дата обращения: 30.08.2022).Всероссийская система проверки контрагентов. URL: https://zachestnyibiznes.ru (дата обращения: 30.08.2022).Спектр-аудит. URL: https://spektr-audit.com (дата обращения: 30.08.2022).Спектр-аудит. URL: https://spektr-audit.com (дата обращения: 30.08.2022).Бухгалтерская (финансовая) отчетность предприятий. URL: https://e-ecolog.ru/buh (дата обращения: 30.08.2022).Бухгалтерская (финансовая) отчетность предприятий. URL: https://e-ecolog.ru/buh (дата обращения: 30.08.2022).Сравнение финансового состояния фирмы с отраслевыми показателями и конкурентами. URL: https://www.testfirm.ru (дата обращения: 30.08.2022).Сравнение финансового состояния фирмы с отраслевыми показателями и конкурентами. URL: https://www.testfirm.ru (дата обращения: 30.08.2022).Mitchell R. Web Scraping with Python. 2nd Ed. 2018. 288 p.Mitchell R. Web Scraping with Python. 2nd Ed. 2018. 288 p.Chromedriver. URL: https://chromedriver.chromium.org downloads (дата обращения: 30.08.2022).Chromedriver. URL: https://chromedriver.chromium.org downloads (дата обращения: 30.08.2022).Adams M. D. Principled Parsing for Indentation-Sensitive Languages: Revisiting Landin’s Offside Rule // ACM SIGPLAN Notices. Vol. 48, Is. 1. P. 511‒522. (дата обращения: 30.08.2022).Adams M. D. Principled Parsing for Indentation-Sensitive Languages: Revisiting Landin’s Offside Rule // ACM SIGPLAN Notices. Vol. 48, Is. 1. P. 511‒522. (дата обращения: 30.08.2022).Ramu C., Gemünd C., Gibson T. J. Object-Oriented Parsing of Biological Databases with Python // Bio-informatics. 2000. Vol. 16, Is. 7. P. 628‒638. URL: https://academic.oup.com/bioinformatics/article/16/7/628/227928?login=false (дата обращения: 30.08.2022).Ramu C., Gemünd C., Gibson T. J. Object-Oriented Parsing of Biological Databases with Python // Bio-informatics. 2000. Vol. 16, Is. 7. P. 628‒638. URL: https://academic.oup.com/bioinformatics/article/16/7/628/227928?login=false (дата обращения: 30.08.2022).Chapagain A. Hands-On Web Scraping with Python: Perform Advanced Scraping Operations Using Various Python Libraries and Tools Such as Selenium, Regex, and Others. 2019. 189 p. URL: https://books. google.ru/books?hl=ru&lr=&id=j-6iDwAAQBAJ&oi= fnd&pg=PP1&dq=parsing+python+selenium&ots=J9F2ScFdG8&sig=y0U5WR-xLhvNR3bGpJdAOyDrXR 8&redir_esc=y#v=onepage&q=parsing%20python%20selenium&f=false (дата обращения: 30.08.2022).Chapagain A. Hands-On Web Scraping with Python: Perform Advanced Scraping Operations Using Various Python Libraries and Tools Such as Selenium, Regex, and Others. 2019. 189 p. URL: https://books. google.ru/books?hl=ru&lr=&id=j-6iDwAAQBAJ&oi= fnd&pg=PP1&dq=parsing+python+selenium&ots=J9F2ScFdG8&sig=y0U5WR-xLhvNR3bGpJdAOyDrXR 8&redir_esc=y#v=onepage&q=parsing%20python%20selenium&f=false (дата обращения: 30.08.2022).ExportBase. URL: https://export-base.ru (дата обращения: 30.08.2022).ExportBase. URL: https://export-base.ru (дата обращения: 30.08.2022).

The authors declare that there are no conflicts of interest present.