ПОРІВНЯЛЬНИЙ АНАЛІЗ СИСТЕМНИХ ЖУРНАЛІВ І ПОТОКОВИХ ДАНИХ  АЛГОРИТМИ ВИЯВЛЕННЯ АНОМАЛІЙ

Андрій Ліщитович; Володимир Павленко; Олександр Шматок; Юрій Фіненко

doi:10.17721/ISTS.2020.1.50-59

Автор(и)

Андрій Ліщитович Відкритий міжнародний університет розвитку людини "Україна" Автор https://orcid.org/0000-0002-3395-8616
Володимир Павленко Відкритий міжнародний університет розвитку людини "Україна" Автор https://orcid.org/0000-0003-2163-8508
Олександр Шматок Відкритий міжнародний університет розвитку людини "Україна" Автор https://orcid.org/0000-0002-3351-2745
Юрій Фіненко Автор https://orcid.org/0000-0003-1887-2475

DOI:

https://doi.org/10.17721/ISTS.2020.1.50-59

Ключові слова:

виявлення аномалій, системні журнали, дерево прийняття рішень, кластеризація, аналіз даних, ієрархічна часова пам’ять

Анотація

У цьому документі подано опис та порівняльний аналіз декількох загальноприйнятих підходів до аналізу системних журналів та потокових даних, що масово генеруються ІТ-інфраструктурою компанії, та виявленню аномалій. Важливість виявлення аномалії продиктована зростаючими витратами у випадку простою системи через події, які могли б бути передбачені на основі записів журналу з попереджувальними даними. Системи виявлення аномалій побудовані за допомогою стандартного процесу збору даних, аналізу, вилучення інформації та виявлення відхилень. Виявлення аномальної поведінки системи відіграє важливу роль у масштабних системах управління інцидентами. Своєчасне виявлення дозволяє ІТ-адміністраторам швидко виявити проблеми та негайно їх вирішити. Такий підхід значно скорочує час простою системи. Більшість ІТ-систем генерують журнали з детальною інформацією про операції. Тому журнали стають ідеальним джерелом даних рішень виявлення аномалії. Обсяг журналів унеможливлює їх аналіз вручну та вимагає автоматизованих підходів.Більша частина документа стосується кроку виявлення аномалії та таких алгоритмів, як регресія, дерево рішень, SVM, кластеризація, аналіз основних компонентів, видобуток інваріантів та ієрархічна модель тимчасової пам'яті. Алгоритми пошуку аномалії, що базуються на моделях, та ієрархічні алгоритми тимчасової пам'яті використовувались для обробки наборів даних HDFS, BGL та NAB з ~16 млн. повідомленнями журналу та ~365 тис. точками потокових даних. Дані були вручну позначені мітками, щоб дозволити навчання моделей та розрахунок точності їх роботи. Відповідно до результатів, системи контрольованого виявлення аномалій досягають високої точності, але потребують значних зусиль для тренувань моделей, тоді як алгоритм на основі HTM моделі показує найвищу точність виявлення при відсутності тренування.

Завантажити

Дані для завантаження поки недоступні.

Посилання

Shilin He, Jieming Zhu, Pinjia He, and Michael R. Lyu, Experience Report: System Log Analysis for Anomaly Detection, 2016 IEEE 27th International Symposium on Software Reliability Engineering.

Subutai Ahmad, Alexander Lavin, Scott Purdy, Zuha Agha, Unsupervised real-time anomaly detection for streaming data, Neurocomputing, Volume 262, 1 November 2017, Pages 134-147.

T. Akidau, R. Bradshaw, C. Chambers, S. Chernyak, R. J. FernÃ¡ndez- Moctezuma, R. Lax, S. McVeety, D. Mills, F. Perry, E. Schmidt, and S. Whittle. The dataflow model: a practical approach to balancing correctness, latency, and cost in massive-scale, unbounded, out-oforder data processing. In PVLDB’15: Proc. of the VLDB Endowment, volume 8, pages 1792–1803. VLDB Endowment, 2015.

M. Chen, A. X. Zheng, J. Lloyd, M. I. Jordan, and E. Brewer. Failure diagnosis using decision trees. In ICAC’04: Proc. of the 1st International Conference on Autonomic Computing, pages 36–43. IEEE, 2004.

Q. Fu, J. Lou, Y. Wang, and J. Li. Execution anomaly detection in distributed systems through unstructured log analysis. In ICDM’09: Proc. of International Conference on Data Mining, 2009.

J. Han, M. Kamber, and J. Pei. Data mining: concepts and techniques. Elsevier, 2011.

P. He, J. Zhu, S. He, J. Li, and R. Lyu. An evaluation study on log parsing and its use in log mining. In DSN’16: Proc. of the 46th Annual IEEE/IFIP International Conference on Dependable Systems and Networks, 2016.

Y. Liang, Y. Zhang, H. Xiong, and R. Sahoo. Failure prediction in ibm bluegene/l event logs. In ICDM’07: Proc. of the 7th International Conference on Data Mining, 2007.

Q. Lin, H. Zhang, J.G. Lou, Y. Zhang, and X. Chen. Log clustering based problem identification for online service systems. In ICSE’16: Proc. of the 38th International Conference on Software Engineering, 2016.

J. Lou, Q. Fu, S. Yang, Y Xu, and J. Li. Mining invariants from console logs for system problem detection. In ATC’10: Proc. of the USENIX Annual Technical Conference, 2010.

A. Makanju, A. Zincir-Heywood, and E. Milios. Clustering event logs using iterative partitioning. In KDD’09: Proc. of International Conference on Knowledge Discovery and Data Mining, 2009.

A. Oliner and J. Stearley. What supercomputers say: A study of five system logs. In DSN’07:Proc. of the 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks, 2007.

F. Pedregosa, G. Varoquaux, A. Gramfort, et al. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12:2825–2830, 2011.

G. Salton and C Buckley. Term weighting approaches in automatic text retrival. Technical report, Cornell, 1987.

L. Tang, T. Li, and C. Perng. LogSig: generating system events from raw textual logs. In CIKM’11: Proc. of ACM International Conference on Information and Knowledge Management, pages 785–794, 2011.

R. Vaarandi. A data clustering algorithm for mining patterns from event logs. In IPOM’03: Proc. of the 3rd Workshop on IP Operations and Management, 2003.

W. Xu, L. Huang, A. Fox, D. Patterson, and M.I. Jordon. Detecting large-scale system problems by mining console logs. In SOSP’09: Proc. of the ACM Symposium on Operating Systems Principles, 2009.

Yuwei Cui, Subutai Ahmad, Jeff Hawkins The HTM Spatial Pooler—A Neocortical Algorithm for Online Sparse Distributed Coding, Front. Comput. Neurosci., 29 November 2017, https://doi.org/10.3389/fncom.2017.00111.

D.L. Simon, A.W. Rinehart A modelbased anomaly detection approach for analyzing streaming aircraft engine measurement data Proceedings of Turbo Expo 2014: Turbine Technical Conference and Exposition, ASME (2014), pp. 665-672, 10.1115/GT2014-27172.

Lee E.K., H. Viswanathan, D. Pompili Model based thermal anomaly detection in cloud datacenters Proceedings of the IEEE International Conference on Distributed Computing in Sensor Systems (2013), pp. 191- 198, 10.1109/DCOSS.2013.8.

T. Klerx, M. Anderka, H.K. Buning, S. Priesterjahn Model-based anomaly detection for discrete event systems Proceedings of the 2014 IEEE 26th International Conference on Tools with Artificial Intelligence, IEEE (2014), pp. 665-672, 10.1109/ICTAI.2014.105.

F. Knorn, D.J. Leith Adaptive Kalman filtering for anomaly detection in software appliances Proceedings of the IEEE INFOCOM (2008), 10.1109/INFOCOM.2008.4544581.

A. Soule, K. Salamatian, N. Taft Combining filtering and statistical methods for anomaly detection Proceedings of the 5th ACM SIGCOMM conference on Internet measurement, 4 (2005), p. 1, 10.1145/1330107.1330147.

Lee H., S.J. Roberts On-line novelty detection using the Kalman filter and extreme value theory Proceedings of the 19th International Conference on Pattern Recognition, (2008), pp. 1-4, 10.1109/ICPR.2008.4761918.

A. Morgan, Lytics Anomalyzer Blog, (2015). https://www.getlytics.com/blog/post/check_out _anomalyzer.

Lee Y.J., Y.R. Yeh, Wang Y.C.F. Anomaly detection via online oversampling principal component analysis IEEE Trans. Knowl. Data Eng, 25 (2013), pp. 1460-1470, 10.1109/TKDE.2012.99.

A. Lakhina, M. Crovella, C. Diot Diagnosing network-wide traffic anomalies ACM SIGCOMM Comput. Commun. Rev, 34 (2004), p. 219, 10.1145/1030194.1015492.

N. Görnitz, M. Kloft, K. Rieck, U. Brefeld Toward supervised anomaly detection J. Artif. Intell. Res, 46 (2013), pp. 235-262, 10.1613/jair.3623.

The Numenta Anomaly Benchmark, https://github.com/numenta/NAB (accessed 2020-02-09).