Порівняння 2D згорток та щільних нейронних мереж в моделях природної обробки мови з кількома вхідними реченнями
DOI:
https://doi.org/10.17721/1812-5409.2023/2.3Ключові слова:
обробка природної мови, мовленевi моделi, згортки, щільні нейронні мережіАнотація
Статтю присвячено аналізу судових справ, який грунтується на текстовій інформації, що включає позовні вимоги, підставу позову та відзив відповідача. Беручи до уваги ці параметри, ми можемо класифікувати справу до однієї із семи категорій, визначених для цілей цього дослідження, та спрогнозувати рішення по ній у суді першої інстанції. Для розв'язання цієї задачі ми використали нейронну мережу на основі представлення текстових даних згенерованих мовленнєвою моделлю XLM\RoBERTa. Було порівняно два підходи до побудови такої нейронної мережі. Один базується на вертикальному об'єднанні числових представлень декількох речень таким чином, що вони утворюють матрицю, а потім застосуванні до неї 2D згорток. Другий підхід полягає в послідовному об'єднанні речень та застосуванні щільних нейронних мереж. Останній підхід показує трохи кращі результати в нашому експерименті, в той час як перший демострує простіший процес навчання.
Посилання
DEVLIN, J., CHANG, M., LEE, K., and TOUTANOVA, K. (2019) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Available from: https://aclanthology.org/N19-1423/
GOLOMOZIY, V., MISHURA, Y., IZAROVA, I., and IANEVYCH, T. (2023) Processing Big Data of Court Decisions, BALTIC JOURNAL OF MODERN COMPUTING, Vol. 11, No. 4. Available from: https://www.bjmc.lu.lv/contents/
JOHNSON, R., and ZHANG, T. (2015) Effective Use of Word Order for Text Categorization with Convolutional Neural Networks. In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 103-112. Available from: https://aclanthology.org/N15-1011/
JOHNSON, R., and ZHANG, T. (2015) Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding. In Advances in Neural Information Processing Systems 28, pp. 919-927.
KALCHBRENNER, N., GREFENSTETTE, E., and BLUNSOM, P. (2014) A Convolutional Neural Network for Modelling Sentences. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 655-665. Available from: https://aclanthology.org/P14-1062/
KIM, Y., (2014) Convolutional Neural Networks for Sentence Classification. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1746-1751.
NGUYEN, T. H., and GRISHMAN, R. (2015) Relation Extraction: Perspective from Convolutional Neural Networks. In Proceedings of the 1st Workshop on Vector Space Modeling for Natural Language Processing, pp. 39-48. Available from: https://aclanthology.org/W15-1506/
SANTOS, C. N. DOS, and GATTI, M. 2014. Deep Convolutional Neural Networks for Sentiment Analysis of Short Texts. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 69-78. Available from: https://aclanthology.org/C14-1008/
SHEN, Y., HE, X., GAO, J., DENG, L., and MESNIL, G. (2014) A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval. In Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management, pp. 101-110. https://doi.org/10.1145/2661829.2661935
SONI, S., CHOUHAN, S.S. and RATHORE, S.S. (2023) TextConvoNet: a convolutional neural network based architecture for text classification. Appl Intell 53, 14249-14268. https://doi.org/10.1007/s10489-022-04221-9
WANG, P., XU, J., XU, B., LIU, C., ZHANG, H., WANG, F., and HAO, H. (2015) Semantic Clustering and Convolutional Neural Network for Short Text Categorization. In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 352-357. Available from: https://aclanthology.org/P15-2058/
WESTON, J., and ADAMS, K. (2014) TagSpace: Semantic Embeddings from Hashtags. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing., pp. 1822-1827. Available from: https://aclanthology.org/D14-1194/
WIDIASTUTI, N., (2019) Convolution Neural Network for Text Mining and Natural Language Processing. IOP Conference Series: Materials Science and Engineering, Issue 5, Vol. 662. doi: 10.1088/1757-899X/662/5/052010
YUAN, K., GUO, S., LIU, Z., ZHOU, A., YU, F., and WU, W. (2021) Incorporating Convolution Designs Into Visual Transformers. In Proceedings of the IEEE/CVF International Conference on Computer Vision., pp. 559-568. doi: 10.1109/ICCV48922.2021.00062
ZENG, D., LIU, K., LAI, S., ZHOU, G., and ZHAO, J. (2014) Relation Classification via Convolutional Deep Neural Network. In Proceedings of COLING 2014, the 25th International Conference on Computational Linguistics: Technical Papers, pp. 2335-2344. Available from: https://aclanthology.org/C14-1220/
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2023 Tetyana Yanevych, Vitaliy Golomoziy, Yuliya Mishura, Iryna Izarova
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Автори, роботи яких публікуються у цьому журналі, погоджуються з такими умовами:
- Автори зберігають авторські права та надають журналу право на першу публікацію роботи, яка одночасно ліцензується згідно із Creative Commons Attribution License, тобто надається дозвіл іншим ділитися роботою з визнанням авторства роботи та першої публікації в цьому журналі.
- Автори можуть укладати окремі додаткові угоди щодо невиключного розповсюдження опублікованої журналом версії роботи (наприклад, розмістити її у репозитарії наукової установи чи опублікувати у книзі) з підтвердженням її початкової публікації у цьому журналі.
- Дозволяється та заохочується розміщення своїх робіт в мережі Інтернет авторами (наприклад, у репозитаріях наукових установ або на особистих веб-сторінках) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш ранніх цитувань опублікованої роботи та їх більшої кількості (див. The Effect of Open Access).
