Неасимптотичні межі погіршення дисконтованої кумулятивної винагороди для OBD-проріджених нейронних контролерів
DOI:
https://doi.org/10.17721/1812-5409.2025/2.24Ключові слова:
Глибоке навчання з підкріпленням, нейронні політики, прорідження Optimal Brain Damage, сертифікати безпеки, стисненняАнотація
Останнім часом глибоке навчання з підкріпленням (RL) продемонструвало приголомшливі результати в галузях від ігор до робототехніки, однак отримані контролери часто містять мільйони параметрів – значно більше за обмеження пам’яті, затримки й енергоспоживання вбудованих платформ на кшталт квадрокоптерів, мобільних маніпуляторів і бортових мікроконтролерів. Прорідження (pruning) пропонує практичний шлях до розгортання, вилучаючи параметри без втрати точності, але для систем керування лишається відкрите фундаментальне запитання: наскільки прорідження погіршує замкнену (closed-loop) винагороду? У пропонованій роботі розроблено теорію, що пов’язує збурення у просторі параметрів, спричинені прорідженням, із погіршенням винагороди в дисконтовній МППР (MDP), не покладаючись на глобальну кривизну функції втрат під час навчання. Відправною точкою є «щільна» нерівність на рівні політики: показано, що розрив у винагороді |J(π′) − J(π)| визначається варіаційною (TV) відстанню між початковою та прорідженою політиками для кожного стану. Ця межа на основі TV безпосередньо випливає з леми про різницю продуктивності й оцінки обмеженої переваги, а також має KL-варіант через нерівність Пінскера. Щоб пов’язати цю зміну політики з величиною прорідження, ми пропонуємо два комплементарні шляхи. По-перше, у разі локально оптимальної політики розклад Тейлора другого порядку для ймовірностей політики дає межу у стилі OBD. По-друге, визнаючи, що глобальний гессіан є непрактичним для сучасних моделей, ми залучаємо теорему про пошарову робастність для контролерів ReLU MLP. На практиці запропонована межа уможливлює планування бюджету перед прорідженням, перевірку після прорідження та принциповий розподіл ступеня прорідження між шарами. На концептуальному рівні вона поєднує компресію та безпечне поліпшення політики: той самий апарат TV/KL, що лежить в основі trust-region методів, тепер надає сертифікацію кроків прорідження у глибокому RL. Загалом отримані результати пропонують першу наскрізну, масштабовану базу, що перетворює дії з прорідження на гарантії на рівні поведінки для глибоких RL-контролерів, забезпечуючи надійну компресію за жорстких бортових обмежень.
Посилання
Andrychowicz, O. M., Baker, B., Chociej, M., Józefowicz, R., McGrew, B., Pachocki, J., Petron, A., Plappert, M., Powell, G., Ray, A., Schneider, J., Sidor, S., Tobin, J., Welinder, P., Weng, L., & Zaremba, W. (2020). Learning dexterous in-hand manipulation. The International Journal of Robotics Research, 39(1), 3–20. https://doi.org/10.1177/0278364919887447
Berner, C., Brockman, G., Chan, B., Cheung, V., Dębiak, P., Dennison, C., Farhi, D., Fischer, Q., Hashme, S., Hesse, C., Józefowicz, R., Gray, S., Olsson, C., Pachocki, J., Petrov, M., de Oliveira Pinto, H. P., Raiman, J., Salimans, T., Schlatter, J., … Zhang, S. (2019). Dota 2 with large scale deep reinforcement learning. https://doi.org/10.48550/arXiv.1912.06680
Black, K., Brown, N., Darpinian, J., Dhabalia, K., Driess, D., Esmail, A., Equi, M., Finn, C., Fusai, N., Galliker, M. Y., Ghosh, D., Groom, L., Hausman, K., Ichter, B., Jakubczak, S., Jones, T., Ke, L., LeBlanc, D., Levine, S., … Zhilinsky, U. (2025). π0.5: a vision-language-action model with open-world generalization. https://doi.org/10.48550/arXiv.2504.16054
Frantar, E., & Alistarh, D. (2023). Sparsegpt: massive language models can be accurately pruned in one-shot. In Proceedings of the 40th International Conference on Machine Learning. JMLR.org. https://dl.acm.org/doi/10.5555/3618408.3618822
Gu, S., Yang, L., Du, Y., Chen, G., Walter, F., Wang, J., & Knoll, A. (2024). A review of safe reinforcement learning: Methods, theories, and applications. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(12), 11216-11235. https://doi.org/10.1109/TPAMI.2024.3457538
Kakade, S., & Langford, J. (2002). Approximately optimal approximate reinforcement learning. In Proceedings of the 19th International Conference on Machine Learning (p. 267–274). Morgan Kaufmann Publishers Inc. https://dl.acm.org/doi/10.5555/645531.656005
LeCun, Y., Denker, J., & Solla, S. (1989). Optimal brain damage. In Touretzky (Ed.), Advances in Neural Information Processing Systems (Vol. 2). Morgan-Kaufmann. https://shorturl.at/Sr2Ve
Levine, S., Finn, C., Darrell, T., & Abbeel, P. (2016). End-to-end training of deep visuomotor policies. Journal of Machine Learning Research, 17(1), 1334–1373. https://dl.acm.org/doi/10.5555/2946645.2946684
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M. A., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., & Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533. https://doi.org/10.1038/nature14236
Schulman, J., Levine, S., Abbeel, P., Jordan, M., & Moritz, P. (2015). Trust region policy optimization. In Bach & Blei (Eds.), Proceedings of the 32nd International Conference on Machine Learning (Vol. 37, pp. 1889–1897). PMLR. https://proceedings.mlr.press/v37/schulman15.html
Shamrai, M. (2025). Closed-form robustness bounds for second-order pruning of neural controller policies. https://doi.org/10.48550/arXiv.2507.02953
Silver, D., Huang, A., Maddison, C., Guez, A., Sifre, L., van den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T., & Hassabis, D. (2016). Mastering the game of go with deep neural networks and tree search. Nature, 529(7587), 484–489. https://doi.org/10.1038/nature16961
Todorov, E., Erez, T., & Tassa, Y. (2012). Mujoco: A physics engine for model-based control. In 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems (p. 5026-5033). https://doi.org/10.1109/IROS.2012.6386109
Vinyals, O., Babuschkin, I., Czarnecki, W. M., Mathieu, M., Dudzik, A. J., Chung, J., Choi, D., Powell, R., Ewalds, T., Georgiev, P., Oh, J., Horgan, D., Kroiss, M., Danihelka, I., Huang, A., Sifre, L., Cai, T., Agapiou, J. P., Jaderberg, M., … Silver, D. (2019). Grandmaster level in starcraft ii using multi-agent reinforcement learning. Nature, 575(7782), 350–354.https://doi.org/10.1038/s41586-019-1724-z
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Maksym Shamrai
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Автори, роботи яких публікуються у цьому журналі, погоджуються з такими умовами:
- Автори зберігають авторські права та надають журналу право на першу публікацію роботи, яка одночасно ліцензується згідно із Creative Commons Attribution License, тобто надається дозвіл іншим ділитися роботою з визнанням авторства роботи та першої публікації в цьому журналі.
- Автори можуть укладати окремі додаткові угоди щодо невиключного розповсюдження опублікованої журналом версії роботи (наприклад, розмістити її у репозитарії наукової установи чи опублікувати у книзі) з підтвердженням її початкової публікації у цьому журналі.
- Дозволяється та заохочується розміщення своїх робіт в мережі Інтернет авторами (наприклад, у репозитаріях наукових установ або на особистих веб-сторінках) до та під час процесу подання, оскільки це може призвести до продуктивного обміну, а також до більш ранніх цитувань опублікованої роботи та їх більшої кількості (див. The Effect of Open Access).
