ПОШУК МУЛЬТИМЕДІЙНОЇ ІНФОРМАЦІЇ НА ОСНОВІ НЕЙРОННИХ МЕРЕЖ
DOI:
https://doi.org/10.17721/ISTS.2020.4.58-62Ключові слова:
нейронні мережі, пошук мультимедійної інформації, семантичний пошук, системи пошуку інформації, анотація данихАнотація
Розглянуто підходи до використання нейронних мереж для пошуку мультимедійної інформації. Розроблення методів пошуку мультимедійної інформації необхідне через велику кількість такої інформації. Традиційні ме тоди пошуку мультимедійної інформації мають високу швидкість оброблення даних, але низьку точність че рез відсутність можливості виконання семантичного пошуку. Використання нейронних мереж дозволяє здійс нювати семантичний пошук, що збільшує його точність і повноту. Наведено підходи використання нейронних мереж на етапах індексування та пошуку мультимедійної інформації. За допомогою нейронної мережі аналі зують мультимедійний файл і виконують його класифікацію. Результат класифікації файла використовують для створення його текстового опису – анотації, яку порівнюють із запитом для визначення релевантності. Існує багато готових мереж для класифікації, використання яких дозволяє пришвидшити процес створення системи пошуку мультимедійної інформації, але неможливо створити нейронну мережу для класифікації всіх об’єктів реального світу, тому потрібно застосовувати декілька нейромереж. Також за допомогою нейрон них мереж будують вектори ознак для мультимедійного файла та пошукового запиту. Прості функції подіб ності, такі як косинус подібності, застосовують до побудованих векторів, для визначення семантичної близь кості запиту та мультимедійного файла. Причому пошуковий запит може бути як у текстовій формі, так і у вигляді будь-якого формату пошуку в мультимедійному файлі. Цей підхід дозволяє будувати оптимальну ней ронну мережу під конкретну задачу. Нейронні мережі застосовують для порівняння побудованої анотації файла та запиту, що підвищує точність і повноту пошуку, порівняно з традиційними методами, за рахунок здатності нейромереж враховувати семантичне значення тексту.Завантажити
Посилання
Sagarmay Deb. Multimedia Systems and Content-Based Image Retrieval. IGI Global, 2003, 406 p.
Gerald J. Kowalski, Mark T. Maybury. Information Storage and Retrieval Systems. Kluwer Academic Publishers, 2000, 333 p.
Athman Bouguettaya, Boualem Benatallah, Ahmed K. Elmagarmid. Interconnecting Heterogeneous Information Systems. Springer Science+Business Media, 1998, 228 p.
Yu-Jin Zhang. Semantic-Based Visual Information Retrieval. IRM Press, 2006, 385 p.
Zongmin Ma. Artificial Intelligence for Maximizing Content Based Image Retrieval. Information Science Reference, 2009, 429 p.
Alex Alemi. Improving Inception and Image Classification in TensorFlow. URL: https://ai.googleblog.com/2016/08/improving-inception-and-image.html.
Maha Mahmood, Wijdan Jaber Al-Kubaisy, Belal Al Khateeb. Using Artificial Neural Network for Multimedia Information Retrieval. Journal of Southwest Jiaotong University. Vol 54, No 3 (2019).
Kostadinov S. Understanding GRU Networks. URL: https://towardsdatascience.com/understanding-gru-networks-2ef37df6c9be.
Po-Sen Huang, Xiaodong He, Jianfeng Gao. Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. At ACM International CIKM. October 2013.
Gia-Hung Nguyen, Lynda Tamine, Laure Soulier, Nathalie Souf. Toward a Deep Neural Approach for Knowledge Based IR. URL: https://arxiv.org/pdf/1606.07211.pdf.
