System wykrywania zdarzeń w zakładach penitencjarnych z wykorzystaniem danych multimodalnych i sieci głębokich

Celem artykułu jest przedstawienie rozproszonego systemu do wykrywania niepożądanych zdarzeń dotyczących osadzonych w zamkniętych zakładach penitencjarnych. System przetwarza dużą liczbę strumieni danych z kamer IP (do 180) i realizuje wykrywanie zdarzeń z użyciem sieci neuronowych opartych na uczeniu głębokim. Przetwarzane są zarówno strumienie audio, jak i wideo w celu uzyskania wyniku klasyfikacji. Na potrzeby treningu modeli neuronowych przygotowano specyficzny dla aplikacji zbiór danych. Dla poszczególnych typów zdarzeń zastosowano architektury 3DCNN oraz YOLO. System został dokładnie przetestowany zarówno w warunkach laboratoryjnych, jak i w rzeczywistym obiekcie. Dokładność wykrywania poszczególnych zdarzeń jest na zadowalającym poziomie, choć odnotowano problemy z niektórymi typami zdarzeń, które zostaną rozwiązane w przyszłości.