Нейромережеві підходи для задач письмового асистента
DOI:
https://doi.org/10.17721/1812-5409.2023/2.40Ключові слова:
обробка природної мови, нейронні мережі, машинне навчання, письмовий асистент, перефразування, виправлення граматичних помилок, спрощення текстуАнотація
Стаття присвячена дослідженню та аналізу задач для побудови письмового асистенту: виправлення граматичних та орфографічних помилок, спрощення тексту та перефразування. Розглядаються розмічені набори даних, метрики визначення якості роботи систем та провідні практики вирішення для розв’язання таких задач з використанням нейронних мереж. Для кожної задачі розглядається його специфіка та вплив на запропоновані методи. Аналізуються спільні риси підходів до вирішення задач письмового асистента та їх рішень.
Посилання
OUYANG L. et al. (2022) Training language models to follow instructions with human feedback In NeurIPS 2022.
BRYANT, C. et al. (2019) The BEA-2019 Shared Task on Grammatical Error Correction. In ACL 2019.
DAHLMEIER, D. and NH, T. H. (2012) Better Evaluation for Grammatical Error Correction. In NAACL 2012.
TAJIRI, T. et al. (2012) Tense and Aspect Error Correction for ESL Learners Using Global Context. In ACL 2012.
YANNAKOUDAKIS, H. et al. (2011) A New Dataset and Method for Automatically Grading ESOL Texts. In ACL 2011.
DAHLMEIER, D. and NH, T. H. (2012) Better Evaluation for Grammatical Error Correction. In NAACL 2012.
BRYANT, C. et al. (2017) Automatic Annotation and Evaluation of Error Types for Grammatical Error Correction. In ACL 2017.
ZHAO, W. et al. (2019) Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data. In NAACL 2019.
STAHLBERG F. and KUMAR S. (2021) Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models. In BEA 2021.
XU, W. et al. (2015) Problems in Current Text Simplification Research: New Data Can Help. In TACL 2015.
ZHANG, X. and LAPATA, M. (2017) Sentence Simplification with Deep Reinforcement Learning. In EMNLP 2017.
XU, W. et al. (2016) Optimizing Statistical Machine Translation for Text Simplification. In TACL 2016.
KINCAID, J. P. et al. (1975) Derivation Of New Readability Formulas. Institute for Simulation and Training, 56.
ZHAO, S. et al. (2018) Integrating Transformer and Paraphrase Rules for Sentence Simplification. In EMNLP 2018.
PAVLICK, E. and CALLISON-BURCH, C. (2016) Simple PPDB: A Paraphrase Database for Simplification. In ACL 2016.
OMELIANCHUK, K. et al. (2021) Text Simplification by Tagging. In BEA 2021.
OMELIANCHUK, K. et al. (2019) GECToR – Grammatical Error Correction: Tag, Not Rewrite. In BEA 2019.
YANG, Z. et al. (2019) XLNet: Generalized Autoregressive Pretraining for Language Understanding. In NeurIPS 2019.
WIETING, J. and GIMPEL, K. (2017) PARANMT-50M: Pushing the Limits of Paraphrastic Embeddings with Millions of Machine Translations. In ACL 2017.
KAGGLE. (2017) Quora Duplicate Questions [Online] – Available from: https://www.kaggle.com/aymenmouelhi/quora-duplicate-questions [Accessed: 19th June 2012].
LIN, T. et al. (2014) Microsoft COCO: Common Objects in Context. In ECCV 2014.
PAPINENI, K. et al. (2002) Bleu: a Method for Automatic Evaluation of Machine Translation. In ACL 2002.
SATANJEEV B., ALON L. (2005) METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments. In ACL 2005.
GUO, Y. et al. (2019) Paraphrase Generation with Multilingual Language Models. In ACL 2019.
PARTO, B. N. et al. (2018) Learning Semantic Sentence Embeddings using Pair-wise Discriminator Models. In COLING 2019.
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2023 O. H. Skurzhanskyi, A. A. Marchenko
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Автори, роботи яких публікуються у цьому журналі, погоджуються з такими умовами:
- Автори зберігають авторські права та надають журналу право на першу публікацію роботи, яка одночасно ліцензується згідно із Creative Commons Attribution License, тобто надається дозвіл іншим ділитися роботою з визнанням авторства роботи та першої публікації в цьому журналі.
- Автори можуть укладати окремі додаткові угоди щодо невиключного розповсюдження опублікованої журналом версії роботи (наприклад, розмістити її у репозитарії наукової установи чи опублікувати у книзі) з підтвердженням її початкової публікації у цьому журналі.
- Дозволяється та заохочується розміщення своїх робіт в мережі Інтернет авторами (наприклад, у репозитаріях наукових установ або на особистих веб-сторінках) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш ранніх цитувань опублікованої роботи та їх більшої кількості (див. The Effect of Open Access).
