Named entity recognition in texts with the help of part of speech tagging
DOI:
https://doi.org/10.17721/1812-5409.2018/4.11Анотація
We analyze neural network architectures that yield state of the art results on named entity recognition task and propose a number of new architectures for improving results even further. We have analyzed a number of ideas and approaches that researchers have used to achieve state of the art results in a variety of NLP tasks. In this work, we present a few architectures which we consider to be most likely to improve the existing state of the art solutions for named entity recognition task and part of speech tasks. The architectures are inspired by recent developments in multi-task learning.
This work tests the hypothesis that NER and POS are related tasks and adding information about POS tags as input to the network can help achieve better NER results. And vice versa, information about NER tags can help solve the task of POS tagging.
This work also contains the implementation of the network and results of the experiments together with the conclusions and future work.
Key words: neural networks, named entity recognition, regularization, generalizability, part of speech tagging, multi-task learning.
Pages of the article in the issue: 74 - 83
Language of the article: Ukrainian
Посилання
MA, X. & HOVY, E. (2016) End-to-end sequence labeling v ia bi-directional LSTM-CNNs-CRF. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). pp. 1064-1074.
HOCHREITER, S. & SCHMIDHUBER, J. (1997). Long short-term memory. Neural Computation. 9 : pp. 1735–1780.
LECUNN, Y., BENGIO, Y. ( 1995). Convolutional Networks for Image, Speech, and Time-Series. In The handbook of brain theory and neural networks. pp. 255-258.
WALLACH, H. (2004). Conditional Random Fields: An Introduction. In Foundations and Trends in Machine Learning archive. Volume 4 Issue 4, pp. 267-273
LAMPLE, G. & BALLESTEROS, M. & SUBRAMANIAN, S . & KAWAKAMI, K. & DYER, C. (2016). Neural Architectures for Named Entity Recognition. In Proceedings of the 2016 Conference of the North American Chapter of the Association f or Computational Linguistics: Human Language Technologies . pp. 260–270.
MELIS, G. & DYER, C. & BLUNSOM, P. (2017). On the state of the art of evaluation in neural language models. In International Conference on Learning Representations . pp. 214-216.
LAFFERTY, J., MCCALLUM, A ., PEREIRA, F. (2001). Conditional random fields: Probabilistic models for segmenting and labeling sequence data. Proc. 18th International Conf. on Machine Learning. Morgan Kaufmann. pp. 282–289.
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Автори, роботи яких публікуються у цьому журналі, погоджуються з такими умовами:
- Автори зберігають авторські права та надають журналу право на першу публікацію роботи, яка одночасно ліцензується згідно із Creative Commons Attribution License, тобто надається дозвіл іншим ділитися роботою з визнанням авторства роботи та першої публікації в цьому журналі.
- Автори можуть укладати окремі додаткові угоди щодо невиключного розповсюдження опублікованої журналом версії роботи (наприклад, розмістити її у репозитарії наукової установи чи опублікувати у книзі) з підтвердженням її початкової публікації у цьому журналі.
- Дозволяється та заохочується розміщення своїх робіт в мережі Інтернет авторами (наприклад, у репозитаріях наукових установ або на особистих веб-сторінках) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш ранніх цитувань опублікованої роботи та їх більшої кількості (див. The Effect of Open Access).
