6.5 Ocena zależności czasowych
6.5.4 Sumaryczny czas działania sekwencji detekcji noży
W tab. 17 zestawione zostały czasy wykonywania poszczególnych części sekwencji służącej do detekcji noży w obrazach dla obliczeń w implementacji równoległej i szeregowej. Implementacja równoległa bazuje na implementacji detektora HOG dostępnej w bibliotece programowej OpenCV [37], a także na implementacji obracania obrazu w graficznej jednostce obliczeniowej dostępnej w tej bibliotece. Natomiast obliczenia związane z detektorem bazującym na dominującej orientacji krawędzi odbywają w sposób równoległy w wielordzeniowym procesorze głównym komputera z wykorzystaniem implementacji równoległej pętli for dostępnej w bibliotece programowej „Concurrency Runtime programming framework for C++” firmy Microsoft. W porównaniu z implementacją sekwencyjną, przeciętny czas działania sekwencji detekcji noży w obrazach był prawie sześć razy krótszy i wyniósł 1,09 sekundy.
Tab. 17 Zestawienie czasu wykonywania poszczególnych etapów detekcji noży
Implementacja Zawężenie ROI HOG dla ludzi [ms] Detektor dominujących orientacji krawędzi [ms] Dodatkowy obrót dla detektora HOG [ms] Detektor HOG dla noży [ms] Całkowity czas działania [ms] Równoległa 350 676 20 44 1090 Sekwencyjna 3350 2592 70 300 6312
98
7 Podsumowanie
W niniejszej rozprawie zaprezentowane zostały wyniki prac nad programistycznymi narzędziami do automatycznej detekcji niebezpiecznych narzędzi w sekwencjach wideo. Z uwagi na prawdopodobnie największe znaczenie praktyczne, całość uwagi została poświęcona detekcji noży. W tym celu opracowane zostały trzy niezależne algorytmy temu służące oraz zaprezentowany został kompleksowy programistyczny system detekcji noży bazujący na dwóch z nich. Założeniem obowiązującym przy opracowywaniu zaprezentowanych metod było uzyskanie czasu ich wykonywania na poziomie zbliżonym do czasu rzeczywistego.
Pierwsza z opracowanych metod opiera się o deskryptory obrazu Histograms of Oriented Gradients. Opisują one krotność występowania gradientów obrazu w tej samej orientacji przestrzennej (pod danym kątem) w ściśle określonym fragmencie obrazu. Pod uwagę brane są gradienty w równomiernie rozmieszczonych, nachodzących na siebie komórkach. Dodatkowo, stosowana jest lokalna normalizacja kontrastu. Pierwotnym zastosowaniem deskryptorów HOG była detekcja sylwetek ludzkich na zdjęciach. Noże, a dokładniej ich ostrza będące przedmiotem detekcji charakteryzują się brakiem tekstury. Jedyną informacją na podstawie, której może być dokonywana detekcja jest kształt ostrza, do opisu którego doskonale nadają się deskryptory HOG. Detektor oparty o cechy HOG składa się z klasyfikatora SVM, który po uprzednim uzyskaniu deskryptorów opisujących rozważany region obrazu, klasyfikuje dany fragment pod kątem nóż/nienóż. W celu treningu klasyfikatora sporządzony został zbiór zdjęć noży składający się z 449 obrazów w znormalizowanym rozmiarze 64x128 pikseli.
Druga z metod detekcji noży bazuje na algorytmie Active Appearance Models, który w oryginalnym zastosowaniu służył do zagadnienia lokalizacja obiektów w obrazach. Różni się ono od zagadnienia detekcji tym, że w tym pierwszym zagadnieniu zakłada się, że rozważany obiekt znajduje się w obrazie, jednak nie jest znana jego dokładna lokalizacja. Przykładem takich zastosowań jest interpretacja obrazów twarzy, gdzie zadanie polega na odnalezieniu oczu, nosa i ust, czy interpretacja obrazów medycznych, gdzie wiadomo, że dany obraz zawiera konkretny organ. Zastosowanie algorytmu Active Appearance Models do zagadnienia detekcji jest podejściem nowatorskim. Bazuje ono na punkcie charakterystycznym noża jakim jest jego szpic, który służy do inicjalizacji modelu wyglądu obiektu. Wykorzystywany jest fakt, że w przypadku inicjalizacji modelu w pobliżu obiektu detekcji, model w kolejnych iteracjach zbiegnie do niego, co nie będzie miało miejsca w przeciwnym przypadku. Z uwagi na fakt, iż do inicjalizacji tego algorytmu konieczny jest dobrze widoczny szpic noża, jego zastosowanie praktyczne jest ograniczone do sekwencji wideo, gdzie nóż jest dobrze widoczny. Przykładem takiego zastosowania mogłaby być analiza obrazów pochodzących ze skanerów bagażu.
Trzecia metoda detekcji noży w obrazach opiera się o opracowane specjalnie do tego celu cechy obrazu opisujące rozkład dominujących orientacji krawędzi. Opracowana metoda bazuje na klasyfikatorze SVM klasyfikującym wspomniane nowe cechy obrazu. Charakteryzuje się ona krótkim czasem działania, wysokim współczynnikiem poprawnych pozytywnych detekcji, lecz także stosunkowo wysokim współczynnikiem fałszywych
99
pozytywnych wykryć. Z praktycznego punktu widzenia jej zastosowanie znacznie ogranicza obszar potencjalnego występowania obiektu będącego przedmiotem detekcji w obrazie. Z uwagi na dużą szybkość jej działania, takie zastosowanie może redukować czas działania innych metod, które pod uwagę brać będą tym sposobem zawężony obszar.
Pracę kończy opis systemu, na który składa się sekwencja przetwarzania obrazu wykorzystująca detektor HOG i detektor bazujący na dominujących orientacjach krawędzi. Z uwagi na niewielki rozmiary noży zakłada się, że obraz wejściowy pochodzić będzie z kamery megapikselowej. Obraz jest wstępnie zawężany do obszaru związanego z sylwetką ludzką, uzyskanego z pomocą detektora HOG dla ludzi. Następnie następuje dalsze zawężenie obszaru detekcji metodą opartą o rozkład dominujących orientacji krawędzi. Przeprowadzone eksperymenty pokazały, że dla rozpatrywanego zbioru testowego obrazów zawężenie to nastąpiło aż do 4,2% powierzchni obrazu wejściowego. Na tak zawężonej powierzchni pracuje detektor HOG dla noży, który określa najbardziej prawdopodobne lokalizacje w obrazie zawierające noże, bądź brak takich lokalizacji.
Detekcja noży ma duże zastosowanie praktyczne. Z pomocą opracowanych metod można by analizować obraz z monitoringu wizyjnego w celu wspomożenia pracy ludzkiego operatora. Z drugiej strony, noże są obiektami wyjątkowo trudnymi do detekcji w obrazie. Wynika to z ich małych rozmiarów, praktycznego braku tekstury oraz wysoce refleksyjnej powierzchni, która odbijając światło może je praktycznie zasłaniać na zdjęciach. Powstałe algorytmy próbują wykrywać noże w pojedynczych obraz oraz sekwencjach wideo, pod warunkiem ich względnej widzialności. Kolejnym problemem, który musiał zostać rozwiązany jest duża złożoność obliczeniowa opisywanych metod. Wynika ona przede wszystkim z braku odporność użytych deskryptorów obrazu na rotację. W przypadku detekcji pieszych, twarzy czy samochodów można założyć, iż obiekty te znajdować się będą w tej samej orientacji. W przeciwieństwie do narzędzi niebezpiecznych, które mogą występować w obrazie pod dowolnym kątem. Rozwiązaniem jest analiza obrazu wejściowego obracanego z odpowiednim krokiem kątowym. Wydłuża to jednak czas działania algorytmu o ilość takich obrotów.
W celu skrócenia czasu działania przedstawionych metod wykorzystane zostały obliczenia równoległe. Istotne skrócenie czasu działania algorytmów, niekiedy nawet dziesięciokrotne, uzyskane zostało poprzez zastosowanie technologii CUDA wykorzystujące procesor na odpowiedniej karcie graficznej komputera. Czas działania końcowego systemu detekcji noży dla obrazów o wielkości 5 megapikseli wyniósł przeciętnie dla testowego zbioru obrazów nieco ponad sekundę. Jest to czas zbliżony do rzeczywistego, który może zostać jeszcze skrócony w wyniku rozwoju kart graficznych wykorzystywanych do obliczeń równoległych, a także w pewnym stopniu poprzez dalszą optymalizację implementacji.
Przedstawione w niniejszej rozprawie metody detekcji pozwalają stwierdzić, iż postawiona w rozdziale 2.2 teza jest prawdziwa. Jej słuszność została potwierdzona wynikami eksperymentów, w których testowana była detekcja niebezpiecznych narzędzi w pojedynczych obrazach oraz całych sekwencjach wideo. Opisane testy zostały przeprowadzone na specjalnie do tego celu opracowanych zbiorach obrazów oraz nagrań wideo, z których pobierane były pojedyncze klatki. Jednak z dużym prawdopodobieństwem można powiedzieć, iż pod warunkiem odpowiedniej jakości obrazu, opracowane algorytmy
100
będą działać w rzeczywistych układach komputerowo wspomaganego monitoringu wizyjnego.
101
SPIS RYSUNKÓW
Rys. 1 Klasyfikacja punktów należących do dwóch klas, klasyfikator i klasyfikator o
maksymalnym marginesie ... 14
Rys. 2 Hiperpłaszczyzna rozdzielająca dwie klasy punktów w zbiorze uczącym z zachowaniem maksymalnego marginesu. ... 15
Rys. 3 Hiperpłaszczyzna „rozdzielająca” dwa liniowo nieseparowalne zbiory. ... 19
Rys. 4 Przykład problemu klasyfikacji nieseparowalnego liniowo w swojej przestrzeni... 21
Rys. 5 Problem klasyfikacji separowalny za pomocą elipsy w przestrzeni oryginalnej ... 21
Rys. 6 Przestrzenna geometria komórek R-HOG (a), C-HOG centralnie rozmieszczonej (b) oraz C-HOG z równymi odstępami kątowymi (c). ... 25
Rys. 7 Wpływ normalizacji wektora cech obrazu HOG na skuteczność działania deskryptora ... 26
Rys. 8 Sekwencja detekcji obiektów z wykorzystaniem deskryptorów HOG ... 27
Rys. 9 Punkty orientacyjne naniesione na trzech obrazach noży ... 29
Rys. 10 Analiza głównych składowych dla przypadku dwumiarowego. ... 31
Rys. 11 Kształty obiektów w zbiorze uczącym ... 32
Rys. 12 Efekt zmian pierwszych trzech parametrów modelu dłoni w zakresie ich odchyleń standardowych. ... 32
Rys. 13 Krotność przyśpieszenia zadania obliczeniowego w zależności od wielkości części sekwencyjnej i liczby procesorów. ... 40
Rys. 14 Przetwarzanie potokowe w architekturze RISC ... 42
Rys. 15 Schemat przetwarzania w technologii CUDA. ... 45
Rys. 16 Przykładowe zdjęcia noży ... 49
Rys. 17 Ogólny schemat działania klasyfikatora działającego w oparciu o deskryptory obrazu HOG ... 50
Rys. 18 Usuwanie wartości niemaksymalnych dla detekcji nachodzących na siebie. ... 54
Rys. 19 Przykładowe wyniki detekcji z zastosowanie klasyfikacji HOG i detektor odcienia . 60 Rys. 20 Etapy detekcji obiektu w różnych orientacjach ... 62
Rys. 21 Przeliczanie współrzędnych punktów w analizowanym obrazie do pierwotnego układu współrzędnych , . ... 63
Rys. 22 Wynik działania detektora HOG z uwzględnieniem różnych orientacji obiektu ... 64
Rys. 23 Współczynnik poprawy (skrócenia) czasu obliczeń uzyskanej dla obliczeń wykonywanych równolegle. ... 65
Rys. 24 Porównanie czasów obliczeń CPU i GPU ... 66
Rys. 25 Punkty narożne na obrazach noży znalezione przez detektor punktów narożnych Harris’a. ... 68
Rys. 26 Przykładowe wyniki działania detektora opartego o AAM ... 70
Rys. 27 Ilustracja podobieństwa kształtu noży w różnych rozmiarach. ... 70
Rys. 28 Rezultaty działania detektora AAM na przykładzie trzech obrazów przedstawionych w kolejnych kolumnach. ... 72
Rys. 29 Etapy uzyskiwania wektora cech obrazu opartych o rozkład dominujących orientacji krawędzi. ... 73
102
Rys. 30 Ilustracja poszczególnych etapów procedury uzyskiwania cech obrazu opartych o dominujące orientacje krawędzi ... 74 Rys. 31 Schemat działania algorytmu detekcji noży. ... 80 Rys. 32 Przykład działania detektora HOG dla sylwetki ludzkiej. ... 81
103
SPIS TABEL
Tab. 1 Parametry deskryptora HOG ... 51
Tab. 2 Charakterystyka klasyfikatora SVM wytrenowanego na cechach obrazu HOG ... 52
Tab. 3 Charakterystyka klasyfikatora odcienia ... 60
Tab. 4 Przekształcenia współrzędnych punktu z układu do układu . ... 63
Tab. 5 Czas działania detektora HOG w zależności od rozmiaru obrazu, obliczenia CPU ... 64
Tab. 6 Czas działania detektora HOG w zależności od rozmiaru obrazu, obliczenia GPU ... 65
Tab. 7 Współczynnik poprawnych pozytywnych detekcji w zależności od długości pojedynczego segmentu i progu orientacji. ... 75
Tab. 8 Współczynnik fałszywych pozytywnych detekcji w zależności od długości pojedynczego segmentu i progu orientacji. ... 75
Tab. 9 Współczynnik poprawnych pozytywnych detekcji w zależności od długości
pojedynczego segmentu i progu orientacji z zastosowaną maską gaussowską... 76
Tab. 10 Współczynnik fałszywych pozytywnych detekcji w zależności od długości pojedynczego segmentu i progu orientacji z zastosowaną maską gaussowską... 76
Tab. 11 Porównanie czasu obliczania iloczynu skalarnego wektorów o długości 9 469 952. . 77
Tab. 12 Ilustracja działania poszczególnych etapów algorytmu detekcji noży w obrazach. ... 81
Tab. 13 Zestawienie wyników działania detekcji noży dla pozytywnych obrazów poprawnie sklasyfikowanych. ... 85
Tab. 14 Zestawienie wyników działania detekcji noży dla pozytywnych obrazów niepoprawnie sklasyfikowanych. ... 89
Tab. 15 Zestawienie wyników działania detekcji noży dla negatywnych obrazów pozytywnie sklasyfikowanych (ang. false positives). ... 91
Tab. 16 Zestawienie wyników działania detekcji noży dla sekwencji wideo. ... 93
104
BIBLIOGRAFIA
[1] Jones, Paul Viola and Michael, Rapid Object Detection Using a Boosted Cascade of Simple Features (CVPR), Kauai, USA: Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001.
[2] Whitehill, J. and Littlewort, G. and Fasel, I. and Bartlett, M. and Movellan, J., „Toward Practical Smile Detection,” Pattern Analysis and Machine Intelligence, IEEE
Transactions on, tom 31, nr 11, pp. 2106 -2111, 2009.
[3] Elias N Malamas and Euripides G.M Petrakis and Michalis Zervakis and Laurent Petit and Jean-Didier Legat, „A survey on industrial vision systems, applications and tools,” Image and Vision Computing, tom 21, nr 2, pp. 171 - 188, 2003.
[4] Vernon, David, „Machine vision-Automated visual inspection and robot vision,” NASA STI/Recon Technical Report A, tom 92, p. 40499, 1991.
[5] Tickner, A. H. and Poulton, E. C., „Monitoring up to 16 synthetic television pictures showing a great deal of movement,” Ergonomics, tom 16, nr 4, pp. 381-401, 1973.
[6] Tadeusiewicz R., „How Intelligent Should Be System for Image Analysis? Preface to book: Kwasnicka H., Jain L.C. (Eds.): Innovations in Intelligent Image Analysis.,” w Studies in Computational Intelligence, vol. 339, Springer Verlag, Berlin, Heidelberg, New York, 2011, p. V – X.
[7] Tadeusiewicz R., „Place and Role of Intelligent Systems in Computer Science.,” Computer Methods in Materials Science, tom 10, nr 4, pp. 193-206 , 2010.
[8] Tadeusiewicz R., Ogiela M.R., Szczepaniak P.S., „Notes on a Linguistic Description as The Basis for Automatic Image Understanding,” International Journal of Applied Mathematics and Computer Science, tom 19, nr 1, p. 143–150, 2009.
[9] Hu W., Tan T., Wang L., Maybank S. , „A Survey on Visual Surveillance of Object Motion and Behaviors,” IEEE Transactions on Systems, Man and Cybernetics, tom 34, nr 3, 2004.
[10] Dalal, N.; Triggs, B., „Histograms of oriented gradients for human detection,” w In Proceedings of IEEE Conference Computer Vision and Pattern Recognition, San Diego, USA, 2005.
[11] Norbert Buch, James Orwell, Sergio A. Velastin, 3D Extended Histogram of Oriented Gradients (3DHOG) for Classification of Road Users in Urban Scenes, Kingston University, 2009.
105
[12] Kmieć M., „New Optical Character Recognition Method Based on Hu Invariant
Moments and Weighted Voting,” Journal of Applied Computer Science, tom 19, nr 1, pp. 33-50, 2011.
[13] Tadeusiewicz R., „Introduction to Intelligent Systems, chapter nr 1 in book:,” w Wilamowski B.M., Irvin J.D. (Eds.): The Industrial Electronics Handbook – Intelligent Systems, Boca Raton, CRC Press, 2011, pp. 1-1 – 1-12.
[14] Corinna Cortes and Vladimir Vapnik, „Support-vector networks,” Machine Learning, Springer Netherlands, tom 20, nr 3, pp. 273-297, 1995.
[15] Drucker, Harris; Burges, Christopher J. C.; Kaufman, Linda; Smola, Alexander J.; and Vapnik, Vladimir N. , „Support Vector Regression Machines,” Advances in Neural Information Processing Systems, MIT Press , p. 155–161, 1996.
[16] T. Fletcher, Support Vector Machines Explained, 2008.
[17] T. Joachims, Making large-Scale SVM Learning Practical. Advances in Kernel Methods - Support Vector Learning, B. Schölkopf and C. Burges and A. Smola (ed.), MIT-Press, 1999.
[18] Chih-Chung Chang and Chih-Jen Lin, LIBSVM : a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2:27:1--27:27, 2011.
[19] M. Hofmann, Support Vector Machines — Kernels and the Kernel Trick., An elaboration for the Hauptseminar “Reading Club: Support Vector Machines”, 2006.
[20] Neumann L., Matas J., „Real-Time Scene Text Localization and Recognition,” w CVPR, Providence, Rhode Island, USA, 2012.
[21] W.T. Freeman and M. Roth., „Orientation histograms for hand gesture recognition.,” w Intl. Workshop on Automatic Face and Gesture Recognition, IEEE Computer Society, Zurich, Zurich, , 1995.
[22] W. T. Freeman, K. Tanaka, J. Ohta and K. Kyuma, „Computer vision for computer games,” 2nd International Conference on Automatic Face and Gesture Recognition, pp. 100-105, October 1996.
[23] N. Dalal, „Finding People in Images and Videos, Phd Thesis,” w Institut National Polytechnique de Grenoble / INRIA Grenoble, Grenoble, July 2006.
[24] D.G. Lowe, „Distinctive image features from scale-invariant keypoints.,” IJCV, p. 60(2):91–110, 2004.
106
[25] T.F.Cootes, G.J. Edwards and C.J.Taylor. "Active Appearance Models", in Proc.
European Conference on Computer Vision 1998 (H.Burkhardt & B. Neumann Ed.s). Vol. 2, pp. 484-498, Springer, 1998.
[26] T. F. Cootes and C. J. Taylor. Statistical Models of Appearance for Computer Vision. Tech. report., 2000.
[27] S. Mitchell, B. Lelieveldt, R. Geest, J. Schaap, J. Reiber, and M. Sonka, „Segmentation of cardiac MR images: An active appearance model approach,” w Medical Imaging 2000: Image Processing, San Diego CA, SPIE, volume 1, pages 224–234. SPIE, 2000 .
[28] B. van Ginneken, M. B. Stegmann, and M. Loog, „Segmentation of anatomical structures in chest,” Medical Image Analysis, 2004.
[29] T.F.Cootes, C.J.Taylor, „Active Shape Models - `Smart Snakes',” British Machine Vision Conference. Springer-Verlag, pp. 266-275, 1992.
[30] M. Turk and A. Pentland, „Face recognition using eigenfaces,” IEEE Conference on Computer Vision and Pattern Recognition, p. 586–591, 1991.
[31] D. Cristinacce and T.F. Cootes, „Facial Feature Detection using ADABOOST with Shape Constraints,” pp. 231-240, Proc.BMVC2003.
[32] Hennessy, John L., Computer architecture. A quantitative approach., San Francisco, California. , 2002.
[33] Amdahl, Gene M., „Validity of the single processor approach to achieving large scale computing capabilities.,” Proceeding AFIPS '67 (Spring) Proceedings of the April 18– 20, 1967, spring joint computer conference: 483–485., 1967.
[34] Bernstein, A. J., „Analysis of Programs for Parallel Processing,” IEEE Transactions on Electronic Computers, Tomy %1 z %2 EC-15 , nr 5, p. 757–763, 1966.
[35] Ananth Grama et al., Introduction to Parallel Computing, Harlow: Pearson Education Limited, 2003.
[36] Kmieć M., Głowacz A., „An Approach to Robust Visual Knife Detection,” Machine Graphics and Vision, tom 20, nr 2, pp. 215-227, 2011.
[37] G. Bradski, „The OpenCV Library,” Dr. Dobb's Journal of Software Tools, 2000.
[38] H. Schneiderman and T. Kanade, „Object detection using the statistics of parts,” International Journal of Computer Vision, tom 3, nr 56, p. 151–177, 2004.
107
[39] D. Comaniciu, „Nonparametric information fusion for motion estimation,” In
Proceedings of the Conference on Computer Vision and Pattern Recognition, Madison, Wisconsin, USA, tom I, p. 59–66, 2003.
[40] Fukunaga and Hostetler, „The Estimation of the Gradient of a Density Function, with Applications in Pattern Recognition,” IEEE Transactions on Information Theory, tom 21, pp. 32-40, 1975 .
[41] Cheng, Yizong, „Mean Shift, Mode Seeking, and Clustering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, tom 17, nr 8, p. 790–799, August 1995.
[42] Vladimir Vezhnevets and Vassili Sazonov and Alla Andreeva, „A Survey on Pixel-Based Skin Color Detection Techniques,” IN PROC. GRAPHICON-2003, pp. 85--92, 2003.
[43] Fairchild, Mark D.; Luo, M. R.; Hunt, R. W. G., „A Revision of CIECAM97s for Practical Applications,” Color Research & Applications, tom 4, nr 25, pp. 260-266, 2002.
[44] Wladyslaw Skarbek and Andreas Koschan and Technischer Bericht and Zur
Veroffentlichung and Prof Dr. Klette, „Colour Image Segmentation - A Survey,” 1994.
[45] K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir and L. Van Gool, „A comparison of affine region detectors,” IJCV, tom 1/2, nr 65, pp. 43-72, 2005.
[46] Lowe, David G., „Object Recognition from Local Scale-Invariant Features,” Proceedings of the International Conference on Computer Vision, pp. 1150--, 1999.
[47] Bay, Herbert and Ess, Andreas and Tuytelaars, Tinne and Van Gool, Luc, „Speeded-Up Robust Features (SURF),” Comput. Vis. Image Underst., pp. 346--359, Jun 2008.
[48] Kmieć M., Głowacz A. and Dziech A., „Towards Robust Visual Knife Detection in Images: Active Appearance Models Initialised with Shape-Specific Interest Points,” w Multimedia Communications, Services and Security, Communications in Computer and Information Science, Berlin ; Heidelberg : Springer-Verlag, 2012.
[49] K. G. Derpanis, „The Harris Corner Detector,” October 2004.
[50] J. Canny, „A Computational Approach To Edge Detection,” IEEE Trans. Pattern Analysis and Machine Intelligence, tom 8, nr 6, pp. 679-698, 1986.
108