CLUSTRER STATE COORDINATION REDUCERS BASED ON RSDP

Maksym Kotov

doi:10.17721/ISTS.2025.9.5-10

Автор(и)

Максим Котов Київський національний університет імені Тараса Шевченка Автор https://orcid.org/0000-0003-1153-3198

DOI:

https://doi.org/10.17721/ISTS.2025.9.5-10

Ключові слова:

розподілені обчислення, узгодження пристрою, синхронізація стану, управління кластерами, доступність сервісів, інциденти безпеки, протокол виявлення стану репліки (RSDP), редуктори стану кластера RSDP

Анотація

Вступ. Сучасні розподілені системи, зазвичай, використовують складні мережні топології та технології внутрішнього зв'язку для виконання складних обчислювальних завдань. Досить часто такі системи покладаються на централізовану координацію, коли один або група призначених серверів є площиною управління для всієї мережі. Хоча цей підхід може спростити процес досягнення консенсусу, він вводить додаткові вимоги до проєктування та обслуговування інфраструктури. Вузли, які є площиною управління, вимагають додаткових апаратних ресурсів, а також людських зусиль і компетенції для управління зовнішніми службами, здатними надавати базові примітиви координації. Більшість випадків, що вимагають консенсусу, можна звести до спрощених процедур, таких як збір інформації про учасників мережі та розподіл детермінованих зрізів стану між ними. Отже, впровадження складного координаційного рішення, яке вимагає додаткового методу обслуговування, може бути неефективним. Протокол виявлення стану репліки (RSDP) виступає як "lightweight" рішення для координації, що представляє простий інтерфейс для досягнення консенсусу між вузлами у кластері.
Методи. У межах цього дослідження описано набір редукторів стану кластера, що забезпечує базові можливості координації, включаючи формування списку учасників мережі та розподіл завдань між ними. За допомогою математичного моделювання описано процедури, необхідні для виконання зазначених координаційних завдань. Впровадження та тестування редукторів виконується за допомогою платформи Node.js, здатної запускати код JavaScript на боці сервера. Теоретичний аналіз і опис пропонованих методів розподіленої координації представлено в цій роботі для полегшення їхньої інтеграції в сучасні системи.
Результати. У результаті цього дослідження ми пропонуємо три нових редуктори стану кластера, які являють собою методи базових можливостей координації як зразкове застосування RSDP. Перший редуктор відповідає за збір каталогу вузлів-учасників у кластері та підтримку їхніх статусів на основі отриманих даних. Другий редуктор виконує розподіл часових термінів у межах кластера між вузлами для координації їхнього виконання у взаємовиключному середовищі. Нарешті, редуктор обмеження швидкості описує логіку для досягнення консенсусу щодо єдиного значення, яке має бути спільним для всієї системи, а також негайно оновлюватися за потреби.
Висновки. Під час проєктування складної розподіленої системи, що потребує консенсусу між її підсистемами або набором однорідних компонентів, важливо уникати складнощів, пов'язаних з управлінням додатковою інфраструктурою, забезпечуючи водночас необхідний рівень узгодженості та доступності. Зважаючи на це, протокол виявлення стану репліки надає важливі полегшені можливості для розв'язання зазначеної проблеми за допомогою своєї гнучкої системи редукторів стану. RSDP створено з урахуванням багаторівневої архітектури, здатної адаптуватися до конкретних потреб мережі, як показано в цій статті. Використовуючи наявну комунікаційну інфраструктуру й уникаючи надлишкових рівнів управління, RSDP дозволяє значно зменшити обчислювальну складність координації, а також витрати, пов'язані з апаратним забезпеченням, необхідним для роботи спеціальної площини управління. Редуктори стану, описані в цій статті, надають базові можливості, необхідні для найпоширеніших завдань координації, включаючи створення каталогу учасників, розподіл завдань і призначення, а також консенсус щодо параметрів конфігурації.

Завантажити

Дані для завантаження поки недоступні.

Посилання

Ali, A. H. (2019). A Survey on Vertical and Horizontal Scaling Platforms for Big Data Analytics. International Journal of Integrated Engineering, 11(6), 138–150. https://publisher.uthm.edu.my/ojs/index.php/ijie/article/view/2892

Douligeris, C., & Mitrokotsa, A. (2004). DDoS attacks and defense mechanisms: Classification and state-of-the-art. Computer Networks, 44(5), 643–666. https://doi.org/10.1016/j.comnet.2003.10.003

El Malki, A., Zdun, U., & Pautasso, C. (2022). Impact of API rate limit on reliability of microservices-based architectures. In B. Smith, & J. Doe (Eds.), Proceedings of the 2022 IEEE International Conference on Service-Oriented System Engineering (SOSE) (pp. 19–28). IEEE Press. https://doi.org/10.1109/SOSE55356.2022.00009

Firmani, D., Leotta, F., & Mecella, M. (2019). On computing throttling rate limits in web APIs through statistical inference. In J. Zhang & H. Zhao (Eds.), Proceedings of the 2019 IEEE International Conference on Web Services (ICWS) (pp. 418–425). IEEE Press. https://doi.org/10.1109/ICWS.2019.00075

Hu, J., & Liu, K. (2020). Raft consensus mechanism and the applications. Journal of Physics: Conference Series, 1544(1), 012079. https://doi.org/10.1088/1742-6596/1544/1/012079

Junqueira, F., & Reed, B. (2013). ZooKeeper: Distributed process coordination. O'Reilly Media, Inc. https://www.oreilly.com/library/view/zookeeper/9781449361297/

Kotov, M. S., Toliupa, S. V., & Nakonechnyi, V. S. (2024). Method of building local area network simulation based on AMQP and its support protocols suite. Telecommunication and Information Technologies, 3, 102–119 [in Ukrainian]. [Котов, М. C., Толюпа С. В., Наконечний В. С. (2024). Метод побудови симуляції локальної мережі на основі amqp та набір протоколів підтримки. Телекомунікації та інформаційні технології, 3, 102–119]. https://doi.org/10.31673/2412-4338.2024.039989

Millnert, V., & Eker, J. (2020). HoloScale: Horizontal and vertical scaling of cloud resources. In A. Editor, & B. Editor (Eds.), Proceedings of the 2020 IEEE/ACM 13th International Conference on Utility and Cloud Computing (UCC) (pp. 196–205). IEEE Press. https://doi.org/10.1109/UCC48980.2020.00038

Mirkovic, J., & Reiher, P. (2004). A taxonomy of DDoS attack and DDoS defense mechanisms. SIGCOMM Computer Communication Review, 34(2), 39–53. https://doi.org/10.1145/997150.997156

Nalawala, H. S., Shah, J., Agrawal, S., & Oza, P. (2022). A comprehensive study of “etcd”– An open-source distributed key-value store with relevant distributed databases. In Emerging Technologies for Computing, Communication and Smart Cities. Lecture Notes in Electrical Engineering, 875. Springer, Singapore. https://doi.org/10.1007/978-981-19-0284-0_35

Ni, L., Ye, Q., Yang, J., Zhang, S., & Xian, M. (2024). Research of Raft algorithm improvement in blockchain. In X. Editor, & Y. Editor (Eds.), Proceedings of the 2024 IEEE 16th International Conference on Advanced Infocomm Technology (ICAIT) (pp. 290–294). IEEE Press. https://doi.org/10.1109/ICAIT62580.2024.10808140

Serbout, S., El Malki, A., Pautasso, C., & Zdun, U. (2023). API rate limit adoption: A pattern collection. In J. Noble, & K. Beck (Eds.), Proceedings of the 28th European Conference on Pattern Languages of Programs (EuroPLoP '23) (Article 5, pp. 1–20). Association for Computing Machinery. https://doi.org/10.1145/3628034.3628039

Srivastava, A., Gupta, B. B., Tyagi, A., Sharma, A., & Mishra, A. (2011). A recent survey on DDoS attacks and defense mechanisms. In Advances in parallel distributed computing. PDCTA 2011. Communications in computer and information science, 203. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-24037-9_57

Toliupa, S., Kotov, M., Buchyk, S., Boiko, J., & Shtanenko, S. (2024). Stateful cluster leader failover models and methods based on Replica State Discovery Protocol. Proceedings of the IT&I Workshops 2024, 120–140. https://ceur-ws.org/Vol-3933/Paper_10.pdf

Van Renesse, R., & Altinbuken, D. (2015). Paxos made moderately complex. ACM Computing Surveys, 47(3), Article 42, 1–36. https://doi.org/10.1145/2673577

Yaga, D., Mell, P., Roby, N., & Scarfone, K. (2019). Blockchain technology overview. National Institute of Standards and Technology Internal Report. https://doi.org/10.48550/arXiv.1906.11078

Zhang, B., Zhang, T., & Yu, Z. (2017). DDoS detection and prevention based on artificial intelligence techniques. In M. Chen, & L. Wang (Eds.), Proceedings of the 2017 3rd IEEE International Conference on Computer and Communications (ICCC) (pp. 1276–1280). IEEE Press. https://doi.org/10.1109/CompComm.2017.8322748