Моделі глибокого навчання для вирішення задачі порівняння неструктурованої текстової інформації
DOI:
https://doi.org/10.17721/1812-5409.2025/1.21Ключові слова:
глибоке навчання, універсальні векторні представлення речень, фінансові документи, фіскальний код, регулярні виразиАнотація
Присвячено застосуванню сучасних методів глибокого навчання, таких як універсальні багатомовні векторні представлення речень, для аналізу та порівняння схожості змісту неструктурованих текстових документів. Розроблено алгоритм визначення подібності багатомовних текстів за допомогою глибоких нейронних мереж. Авторами запропоновано безсупервізійний метод для швидкого аналізу та порівняння складних документів подібної тематики, написаних у різних країнах та різними мовами. Представлена методологія передбачає попереднє оброблення документів, їхнє переформатування для порівняння та застосування методів глибокого навчання для виявлення текстової схожості. Алгоритм відпрацьовано на прикладі здійснення порівняльного аналізу схожості за змістом текстів Податкового кодексу України з німецьким фіскальним кодексом. Український фіскальний код, поданий у форматі HTML, було оброблено за допомогою бібліотеки аналізу HTML документів і регулярних виразів, тоді як німецький фіскальний код у форматі PDF потребував спеціального аналізу неструктурованого змісту. У процесі дослідження для підвищення точності й подолання виявлених обмежень універсальних багатомовних векторних представленнь український документ було перекладено англійською мовою за допомогою Google Translate API. Розв'язання поставленої задачі потребує глибокого попереднього оброблення даних, що було здійснено у пропонованому дослідженні. Наведено також покроковий алгоритм представленої методології, що приводить до формування кореляційної таблиці, за якою визначається схожість між подібними різномовними текстовими документами. Крім того, автори доповнюють кожен крок своїми міркуваннями про те, як інтерпретувати проміжні результати та розуміти, чи варто коригувати метод відповідно до потреб або проблем конкретних документів, як-от застосування машинного перекладу чи розширеного попереднього оброблення.
Авторами запропоновано алгоритм для застосування зазначеного методу до фіскальних кодексів країн – членів Європейського Союзу або інших країн. У дослідженні виявлені й описані обмеження цього підходу, а також продемонстровано проведення перевірки проміжних результатів та здійснено доповнення методу додатковими можливостями задля підвищення його надійності. Крім цього, надано рекомендації щодо можливостей застосування запропонованої методології, зокрема розроблення алгоритмів для стандартизації певних документів країн Європейського Союзу.
Посилання
Basystiuk O., & Melnykova N. (2022). Multimodal speech recognition based on audio and text data. Bulletin of Khmelnytsky National University: Technical Sciences, 313(5), 22–25 [in Ukrainian]. https://www.doi.org/10.31891/2307-5732-2022-313-5-22-25
Basystiuk O., Shakhovska N., Bilynska V., Syvokon O., Shamuratov O., & Kuchkovskiy V. (2021) The Developing of the System for Autimatic Audio to Text Conversion. IT&AS'2021: Symposium on Information Technologies & Applied Sciences, March 5–6, 2021, (pp. 1–8). Bratislava, Slovak Republic. https://ceur-ws.org/Vol-2824/paper1.pdf
Black, J. E., Kueper, J. K., Williamson, T. S. (2023). An introduction to machine learning for classification and prediction. Family Practice, 40(1), 200–204.
Boyko, N. (2021). Research into machine learning algorithms for the construction of mathematical models of multimodal data classification problems. Computational Problems of Electrical Engineering. 11, 1-11.
Boyko, N., Mochurad, L., Parpan, U., & Basystiuk, O. (2019). Usage of Machine-based Translation Methods for Analyzing Open Data in Legal Cases. In Proc. of the Intl Workshop on Cyber Hygiene (CybHyg-2019) co-located with 1st International Conference on Cyber Hygiene and Conflict Management in Global Information Networks (р. 328–338). Kyiv, Ukraine. https://ceur-ws.org/Vol-2654/paper26.pdf
Golomoziy, V., Mishura, Yu., Izarova, I., & Ianevych, T. (2023). Processing Big Data of Court Decisions. Baltic Journal of Modern Computing, 11. https://doi.org/10.22364/bjmc.2023.11.4.04
Ianevych, T., Golomoziy, V., Mishura, Yu., & Izarova, I. (2023). Comparison of 2D convolutions and dense neural networks for natural language processing models with multi-sentence input. Bulletin of Taras Shevchenko National University of Kyiv. Series: Physics and Mathematics, 20–29. https://doi.org/10.17721/1812-5409.2023/2.3
Lakhno, V. A., Kasatkin, D. Y., Skliarenko, O. V., & Kolodinska, Y. O. (2022). Modeling and Optimization of Discrete Evolutionary Systems of İnformation Security Management in a Random Environment. Machine Learning and Autonomous Systems. Smart Innovation, Systems and Technologies, 269, 9–22. Springer, Singapore. https://doi.org/10.1007/978-981-16-7996-4_2
Peng, Li, Xi, Rao, Jennifer, Blase et al. (2021). CleanML: A Study for Evaluating the Impact of Data Cleaning on ML Classification Tasks. arXiv. https://doi.org/10.48550/arXiv.1904.09483
Savchenko, Y., Yarovyi, R., Kolodinska, Y., Levchenko, S. (2024). The role of artificial intelligence and machine learning under martial law. Measuring and computing devices in technological processes, 2, 213–216. [in Ukrainian] https://doi.org/10.31891/2219-9365-2024-78-25
Shakhovska, N., Basystiuk, O., Shakhovska, K. (2019). Development of the speech-to-text chatbot interface based on Google API. CEUR Workshop Proceedings, vol. 2386, 212–221.
Yang, Y., Cer, D., Ahmad, A. et al. (2019). Multilingual Universal Sentence Encoder for Semantic Retrieval. arXiv. https://doi.org/10.48550/arXiv.1907.04307
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Оlena Skliarenko, Аnatolii Pashko, Leonid Lytvynenko, Yanina Kolodinska
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Автори, роботи яких публікуються у цьому журналі, погоджуються з такими умовами:
- Автори зберігають авторські права та надають журналу право на першу публікацію роботи, яка одночасно ліцензується згідно із Creative Commons Attribution License, тобто надається дозвіл іншим ділитися роботою з визнанням авторства роботи та першої публікації в цьому журналі.
- Автори можуть укладати окремі додаткові угоди щодо невиключного розповсюдження опублікованої журналом версії роботи (наприклад, розмістити її у репозитарії наукової установи чи опублікувати у книзі) з підтвердженням її початкової публікації у цьому журналі.
- Дозволяється та заохочується розміщення своїх робіт в мережі Інтернет авторами (наприклад, у репозитаріях наукових установ або на особистих веб-сторінках) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш ранніх цитувань опублікованої роботи та їх більшої кількості (див. The Effect of Open Access).
