Модель трансформера з використанням дерева залежностей для ідентифікації парафраз
DOI:
https://doi.org/10.17721/1812-5409.2024/1.28Ключові слова:
обробка nриродної мови, дерево залежностей, архітектура Трансформер, ідентифікація парафраз, машинне навчанняАнотація
Побудова моделей для представлення семантики слів, речень та текстів природної мови є ключовою проблемою у комп'ютерній лінгвістиці та штучному інтелекті. Використання якісних векторних представлень слів змінило підходи до обробки та аналізу природної мови, оскільки слова є основою мови. Дослідження векторних представлень речень також має велике значення, оскільки вони спрямовані на захоплення семантики та значень речень. Покращення цих представлень допомагає краще розуміти текст на більш глибокому рівні і сприяє розв'язанню різноманітних завдань. Стаття присвячена вирішенню задачі ідентифікації парафраз, використовуючи моделі на основі архітектури Трансформер. Дані моделі продемонстрували високу ефективність на різноманітних завданнях. Було досліджено, що їх точність може бути покращена за рахунок збагачення моделі додатковою інформацією. Використання синтаксичної інформації, такої як теги частин мови або лінгвістичні структури, може покращити розуміння контексту та структури речення моделлю. Збагачення моделі таким чином дозволяє здобути ширший контекст, покращити адаптивність та продуктивність в різних завданнях обробки природної мови, роблячи її більш універсальною для різних застосувань. В результаті цього було запропоновано модель на основі архітектури Трансформер з використанням дерева залежностей. Досліджено її ефективність та порівняно з іншими моделями тієї ж архітектури використовуючи задачу ідентифікації парафраз. Було продемонстровано покращення у точності та повноті в порівнянні з оригінальною моделлю (DeBERTa). В майбутньому доцільним є дослідження використання даної моделі для інших прикладних задач (такі як перевірка на плагіат, визначення авторського стилю) та в оцінці інших графових структур для репрезентації речення (наприклад, AMR граф).
Посилання
Anisimov, A.V., Marchenko, O.O. & Vozniuk, T.G. (2014) Determining Semantic Valences of Ontology Concepts by Means of Nonnegative Factorization of Tensors of Large Text Corpora. Cybern Syst Anal 50, 327–337 https://doi.org/10.1007/s10559-014-9621-9
Bai, J., Wang, Y., Chen, Y., Yang, Y., Bai, J., Yu, J., & Tong, Y. (2021). Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume (pp. 3011–3020). Association for Computational Linguistics. https://doi.org/10.18653/v1/2021.eacl-main.262
Bisong, E. (2019). Building Machine Learning and Deep Learning Models on Google Cloud Platform (1st ed.). Apress Berkeley, CA. https://doi.org/10.1007/978-1-4842-4470-8
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. https://doi.org/10.48550/arXiv.1810.04805
Dolan, B., Quirk, C., & Brockett, C. (2004). Unsupervised Construction of Large Paraphrase Corpora: Exploiting Massively Parallel News Sources. In COLING 2004: Proceedings of the 20th International Conference on Computational Linguistics (pp. 350–356). COLING.
Fellbaum, C. (1998). WordNet: An electronic lexical database. MIT Press. https://doi.org/10.7551/mitpress/7287.001.0001
google-bert/bert-base-cased · Hugging Face. (n.d.). https://huggingface.co/google-bert/bert-base-cased
He, P., Liu, X., Gao, J., & Chen, W. (2021). DeBERTa: Decoding-enhanced BERT with Disentangled Attention. https://doi.org/10.48550/arXiv.2006.03654
Jurafsky, D., & Martin, J. (2023). Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition. (Vol. 3) Retrieved January 1, 2024, from https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf
Lan, Z., Chen, M., Goodman, S., Gimpel, K., Sharma, P., & Soricut, R. (2020). ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. https://doi.org/10.48550/arXiv.1909.11942
Landauer, T. K., Foltz, P. W., & Laham, D. (1998). An introduction to latent semantic analysis. Discourse Processes, 25(2–3), 259–284. https://doi.org/10.1080/01638539809545028
Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., … Stoyanov, V. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. https://doi.org/10.48550/arXiv.1907.11692
Marchenko, O.O. (2016) A Method for Automatic Construction of Ontological Knowledge Bases. I. Development of a Semantic-Syntactic Model of Natural Language. Cybern Syst Anal 52, 20–29. https://doi.org/10.1007/s10559-016-9795-4
Marneffe, M.C., Manning, C., Nivre, J., & Zeman, D. (2021). Universal Dependencies. Computational Linguistics - Association for Computational Linguistics,, 47(2), 255–308. https://doi.org/10.1162/coli_a_00402
Mikolov, T., Chen K., Corrado G., & Dean J. (2013). Efficient Estimation of Word Representations in Vector Space. https://doi.org/10.48550/arXiv.1301.3781
SPACY · Industrial-strength Natural language processing in Python. (n.d.). https://spacy.io/
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2024 Vitalii Vrublevskyi
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Автори, роботи яких публікуються у цьому журналі, погоджуються з такими умовами:
- Автори зберігають авторські права та надають журналу право на першу публікацію роботи, яка одночасно ліцензується згідно із Creative Commons Attribution License, тобто надається дозвіл іншим ділитися роботою з визнанням авторства роботи та першої публікації в цьому журналі.
- Автори можуть укладати окремі додаткові угоди щодо невиключного розповсюдження опублікованої журналом версії роботи (наприклад, розмістити її у репозитарії наукової установи чи опублікувати у книзі) з підтвердженням її початкової публікації у цьому журналі.
- Дозволяється та заохочується розміщення своїх робіт в мережі Інтернет авторами (наприклад, у репозитаріях наукових установ або на особистих веб-сторінках) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш ранніх цитувань опублікованої роботи та їх більшої кількості (див. The Effect of Open Access).
