Przetwornik obrazu - Frame Grabber

Proces pozyskiwania obrazu cyfrowego rozpoczyna się od pobrania obrazu z ka-mery przez kartę Frame Grabber. Karta ta dokonuje omówionych w poprzednim rozdziale czynności próbkowania obrazu (co zamienia ciągły analogowy sygnał z kamery na matrycę dyskretnych pikseli i wytwarza odpowiedni raster) i kon-wersji analogowo-cyfrowej wartości luminancji (stopnia szarości) poszczególnych punktów obrazu cyfrowej (co wprowadza kwantyzację skali jasności). Jedno-cześnie z pobraniem obrazu i jego zamianą na postać cyfrową następuje wizu-alizacja pobranego obrazu na monitorach: analogowym i cyfrowym. Obrazy te mogą być podstawą do regulacji i sterowania pracą całego systemu. Sterowanie to może przebiegać w sposób ręczny lub automatyczny.

Zazwyczaj systemy typu Frame Grabber wyposażone są dodatkowo w prosty program analizy ostrości i jasności wprowadzanego obrazu i na tej podstawie na wyjściu równoległym komputera (Centronics), do którego może być dołączony interfejs kamery, pojawiają się odpowiedniej długości impulsy sterujące pierście-niami obiektywu. Jeśli kamera jest do tego odpowiednia przygotowana - następuje w tym momencie automatyczna korekta warunków rejestracji obrazu. Po wyko-naniu przez silniki pierścieni obiektywu kamery wymaganego obrotu - następuje ponowne pozyskanie obrazu i jego kolejna ocena. Proces ten może być auto-matycznie kontynuowany aż do uzyskania obrazu cyfrowego, który automatyka kamery uzna za dostatecznie ostry i wystarczająco naświetlony.

Kluczową rolę w pozyskiwaniu obrazu odgrywa system próbkowania i analo-gowo-cyfrowego przetwarzania sygnału z kamery, czyli po prostu karta Frame Grabber. Karta taka często zawiera dodatkowo cały układ cyfrowego procesora obrazu, czego przykładem jest używany w Katedrze Automatyki Frame Grabber DT 2862. Jego schemat pokazano na rysunku 2.23.

Działanie systemu Frame Grabber (na przykładzie DT 2862) jest następujące.

Do modułu wejściowego wprowadzany jest sygnał telewizyjny (w standardzie CCIR), stąd jego nazwa: moduł przyjęcia kadru. Moduł główny, zwany buforem kadru (ang. frame buffer), to pamięć zdolna przyjąć obraz wejściowy. Podsta-wową cechą wyróżniającą bufor kadru jest to, że zawartość pamięci może być zapisana bądź odczytana w czasie 1/25 sekundy. Umożliwia to przyjęcie obrazu niemal natychmiast, aby praca systemów przetwarzających obrazy odbywała się w czasie rzeczywistym, z opóźnieniem tylko jednego kadru. Dzięki takiemu rozwiązaniu pamięć obrazu może być bezpośrednio adresowana przez moduł wyświetlający, co pozwala między innymi wysyłać bezpośrednio zawartość pa-mięci na ekran monitora wyjściowego (przez przetwornik cyfrowo-analogowy).

Inne metody adresowania pozwalają uzyskać efekt zoom (pomniejszanie lub powiększanie obrazu), oraz scroll (przesuwanie) i pan (tzw. panoramowanie – zmiana kąta widzenia).

34 2 Metody pozyskiwania obrazów cyfrowych Rys. 2.23. Schemat blokowy przykładowego frame-grabbera (DT 2862 firmy DATA

TRANSLATION).

Jeśli w używanym systemie Frame Grabber występuje moduł przetwarzania obrazu (zwany ALU - Arithmetical and Logical Unit), to wykonuje on na ma-cierzy jasności poszczególnych pikseli obrazu operacje niskiego poziomu (aryt-metyczne i logiczne). Pozwala to włączyć pewne elementy procesu przetwarza-nia obrazu bezpośrednio do etapu jego pozyskiwaprzetwarza-nia.

Zadaniem modułu wyjściowego karty Frame Grabber jest odczyt z pamięci przetworzonego obrazu, zamiana na sygnał analogowy i wyprowadzenie tego sygnału na monitor TV. Oczywiście z powyższym systemem współpracują odpo-wiednie pakiety programowe.

2.3.3 Kamera

W obecnie stosowanych komputerowych systemach wizyjnych budowa kamery jest zazwyczaj oparta o scalone analizatory obrazu, a w szczególności - o prze-tworniki CCD. Ich parametry mają zasadniczy wpływ na cały proces przetwarza-nia obrazu. Wstępny etap obróbki sygnału video we współczesnych systemach wizyjnych czasu rzeczywistego wymaga od układu interfejsu kamery rozwiązania gwarantującego osiągnięcie:

• wymaganej rozdzielczości,

• odpowiednio dokładnej reprezentacji punktów obrazowych,

• zachowania proporcji obrazu w buforze pamięci,

• dopasowania architektury do potrzeb dalszych etapów potokowej obróbki obrazu (z uwzględnieniem problemu międzyliniowości),

• spełnienia wymogów czasu rzeczywistego.

2.3 Urządzenie do wprowadzania obrazu 35 Jedną z podstawowych cech przetwornika CCD jest jego rozdzielczość. W sy-stemach wizyjnych, jak już wyżej opisano, stosuje się szereg rozdzielczości: od najmniejszych rzędu 128x128 (czasami nawet 64x64), aż po 1024x1024, a nawet więcej¹⁵ punktów w obrazie. Stosowana rozdzielczość obrazów cyfrowych związana jest także ze sposobem organizacji bufora pamięci i dlatego jest ona najczęściej potęgą liczby 2 (np. 256x256, 512x512, itp.), gdyż to upraszcza adresację. Często jednak wybór rozdzielczości kamery przez użytkownika zwią-zany jest z posiadaną przez niego platformą sprzętową (np. dla komputerów kla-sy PC stosowane są niekiedy rozdzielczości kla-systemów wprowadzania obrazu zgodne z rozdzielczością stosowanych w tych komputerach typowych kart graficznych, np. 640x480, 800x600 lub tp.).

Profesjonalne systemy o dużych rozdzielczościach z reguły wykorzystują kamery CCD z wyjściem cyfrowym, często w dedykowanym standardzie, który nie stwa-rza większych problemów przy połączeniu z resztą systemu. Niestety koszt takich kamer (około 5000$ dla kamer o 256 poziomach szarości i rozdzielczości 512x512) jest zbyt wysoki, aby mogły być stosowane powszechnie w praktycz-nych aplikacjach. Zastosowanie standardowych kamer video z wyjściem analo-gowym wymaga natomiast zastosowania przetwornika A/C, który zamieni jeden ze standardów analogowych (NTSC, PAL) w ciąg próbek cyfrowych obrazu (np.

8 bitów). Przyjęcie jednego ze standardów ogranicza osiąganą rozdzielczość systemu w pionie:

• w przypadku systemów europejskich (PAL) do 575 linii,

• w przypadku systemów amerykańskich i japońskich (NTSC) do 483 linii.

Jeżeli chodzi o rozdzielczość w poziomie, to w przypadku analizatorów CCD z tzw. przesuwem ramki (FT- Frame Transfer) osiągane są rozdzielczości rzędu 500-750, a w przypadku analizatorów z tzw. przesuwem międzykolumnowym (IT- Interline Transfer) zawierają się w granicach 350-450. Należy też dodać, że rozdzielczość pionowa w przypadku tych ostatnich (IT), jest również w granicach 350, a wymaganą przez standard liczbę linii w pionie osiąga się przez przesyłanie tego samego obrazu jako dwie oddzielne ramki (frame).

Przy pracy w systemach analizujących obrazy ruchome jest jeszcze jeden problem. Czas akwizycji pola czy ramki jest zbyt długi, by obraz poruszającego się obiektu był wyraźny. Stosuje się więc układ migawek, które uaktywniają przetwornik CCD na znacznie krótszy czas, niż czas wybierania całego obrazu (chociaż osobnym problemem jest zapewnienie odpowiedniego oświetlenia kadru przy tak bardzo krótkich czasach). W części kamer video migawka otwiera się

15 Należy dodatkowo stwierdzić, że koszt i stopień złożoności systemu pracującego w czasie rzeczywistym o rozdzielczości powyżej 512 x 512 jest bardzo duży z tytułu wymaganych dużych mocy obliczeniowych i dlatego stosowane obecne rozwiązania systemów wizyjnych rzadko przekraczają rozdzielczość ograniczoną standardem PAL.

36 2 Metody pozyskiwania obrazów cyfrowych

jednokrotnie na każde pole a nie obraz. Nie można zatem zastosować w systemie cyfrowym wygodnej techniki buforowania, ponieważ poszczególne pola obrazu nie zostały “uchwycone” w tej samej chwili. Prowadziłoby to do zniekształceń analizowanych krawędzi obrazu. Ten problem jest nie do rozwiązania i sto-sowanie tych kamer do analizy obiektów ruchomych praktycznie dwa razy obniża osiąganą rozdzielczość obrazu w pionie, zmuszając system do analizy pól, a nie ramek.

Sposób działania migawki jest więc kluczową sprawą w systemach analizujących ruch, ale należy również zwracać uwagę na typ używanego przetwornika CCD.

Nic nie wnosi bowiem wyeliminowanie podwójnego wyzwalania migawki w jed-nej ramce, jeżeli przetwornik CCD wymaganą przez standard PAL czy NTSC międzyliniowość osiąga przez mechaniczne przemieszczanie matrycy CCD w naprzemiennych ramkach (patenty EP65885 THOMPSON-CSF, EP150973 TOSHIBA itp.). Trzeba dodać jednak, że to rozwiązanie stosowane jest dość rzadko, więc stosunkowo łatwo jest znaleźć kamerę wolną od wskazanej wady.

Należy też dodać, że większość dostępnych kamer analogowych w swej doku-mentacji nie precyzuje ani typu użytego przetwornika, ani opisanych problemów związanych z migawką. Dobór więc odpowiedniej kamery dla systemów analizu-ących ruch nie jest więc sprawą trywialną ani prostą, gdyż wymagać może samo-dzielnych badań mających na celu identyfikację wchodzących w rachubę kamer.

LENS CCD

Imager S/H AGC Process Encoder

AF EVR'S

Rys. 2.24. Schemat budowy typowej kamery wideo dla zastosowań w przetwarzaniu obrazów.

Użyte na rysunku oznaczenia mają następującą interpretację:

2.3 Urządzenie do wprowadzania obrazu 37 LENS - zespół soczewek, CCD Imager - przetwornik obrazowy typu CCD, S/H - układ próbkująco - pamiętający, (ang. sample/hold),

AGC - automatyczna regulacja wzmocnienia, (ang. automatic gain control).

AF - układ automatycznej regulacji ostrości (ang. autofocus),

EVR - (ang. electronic variable resistors), Remote - blok zdalnego sterowania.

Na rysunku 2.24 przedstawiono schemat blokowy używanej w Katedrze Auto-matyki AGH kamery Bischke CCD SFI 5612p. Wybór tej kamery dla systemów przetwarzania obrazów podyktowany został między innymi możliwością kom-puterowego sterowania silnikami poruszającymi pierścienie regulujące długość ogniskowej i ostrość.

Bardzo istotnym składnikiem każdej kamery jest układ optyczny (w skrócie nazywany dalej obiektywem), którego zadaniem jest uzyskanie ostrego obrazu rozważanych obiektów. Zagadnieniem struktury obiektywu nie będziemy się tu zajmowali, warto jednak podkreślić, że ogromnie istotnym warunkiem uzyskania dobrej jakości elektronicznego przetwarzania obrazu jest wcześniejsze uzyskanie jego dobrej ostrości w systemie optycznym. Większość systemów soczewek odtwarza obraz ostry tylko w pewnym zakresie położeń, określonym głębią ostrości, co przedstawia rys. 2.25.

KAMERA

2.25. Schemat obszaru ostrości obrazu dla typowej kamery wideo.

Jeżeli obiekt znajduje się poza obszarem ograniczonym powierzchniami ostrości, jest on rozmyty. Stopień rozostrzenia zależy od odległości od tych powierzchni.

Wraz ze wzrostem tej odległości obiekty są coraz bardziej nieostre. Odległość D pomiędzy obiektem i kamerą jest możliwa do obliczenia z podanego niżej wzoru, jeżeli znane są parametry systemu optycznego i współczynnika rozproszenia:

D Fv

v F n

= − − σ gdzie: v - odległość między kamerą, a obrazem

n - ilość soczewek w układzie optycznym F - ogniskowa

σ - współczynnik rozproszenia, opisujący jak bardzo obraz jest rozostrzony

38 2 Metody pozyskiwania obrazów cyfrowych

Przykładowe wartości liczbowe ustalające położenie i zakres głębi ostrości dla różnych wartości względnego otworu przysłony f dla typowego obiektywu telewi-zyjnego pokazano na rysunku 2.26.

KAMERA

Rys. 2.26. Przykładowy zakres głębi ostrości dla obiektywu o ogniskowej 50mm.

Do automatycznego ustawiania ostrości obiektywów kamer TV używa się za-zwyczaj układów automatyki opisanych w następnym podrozdziale. Jednak w prostych systemach wystarczyć może prosty układ dalmierza o strukturze po-dobnej do schematu podanego na rysunku 2.27.

Obiekt układ soczewek 1

Rys. 2.27. Prosty system umożliwiający ręczne ustawianie stopnia ostrości obrazu.

Układ ten umożliwia automatyczne umieszczenie przez układ optyczny kamery badanego obiektu w pobliżu płaszczyzny ostrości (a przynajmniej w obszarze zaliczanym do głębi ostrości), co jest warunkiem uzyskania dobrej jakości obrazu.

Brak spełnienia tego warunku prowadzi do uzyskania obrazu, który będzie trudny i kłopotliwy w dalszym przetwarzaniu.

Po optycznym zarejestrowaniu obrazu następuje jego elektroniczna analiza zgod-nie z zasadami używanego standardu telewizyjnego. Telewizyjna analiza obrazu – to specyficzny rodzaj przetwarzania optoelektronicznego, w którym zmien-nemu w czasie i w przestrzeni rozkładowi świateł przekazywanej sceny jest

2.3 Urządzenie do wprowadzania obrazu 39 przyporządkowany wzajemnie jednoznacznie elektryczny przebieg, zależny je-dynie od czasu. Strukturę sygnału produkowanego przez kamerę TV prezentuje rysunek 2.28.

PIERWSZA LINIA DRUGA LINIA OSTATNIA LINIA

T = 1/ 15MHz

P_STB_IN P_CLK 15 MHz

CLK 30MHz

Rys. 2.28. Struktura sygnału produkowanego przez kamerę TV.

Aby zapewnić kwadratowy kształt pola obrazu cyfrowego należy wykorzystać jedynie 3/4 długości każdej linii pochodzącej ze standardowej kamery (patrz rys. 2.2). Ze względu na typowe pojemności pamięci i ich sposób zorganizowania (np. podział na kolumny i wiersze) wygodnie jest przyjąć podział obrazu anali-zowanego na 512 linii podzielonych na 512 punktów (okno analizowane). W przy-padku stosowania standardowych kamer (PAL) powoduje to dalsze zmniej-szenie pola obrazu z 575 linii widocznych na ekranie do 512 linii. Dla zachowania kwadratowego pola obrazu zmniejszona długość analizowanej linii wynosi: 3/4 x 512/575 x 52 µs (52 µs - to standardowy czas trwania widocznej części jednej linii). W przypadku gdy użytkownik dysponuje kamerą o gorszej rozdzielczości niż NverxNhor (767 x 575 dla PAL), reprezentacje sąsiednich punktów obra-zowych będą pochodziły z tych samych elementów aktywnych CCD, co zubaża pozyskiwane dane obrazowe.

1 ramka 40ms

2.29. Typowy sygnał z kamery TV (u góry) i sygnał specjalnie preparowany do przetwarzania komputerowego (u dołu).

40 2 Metody pozyskiwania obrazów cyfrowych

Sygnał z typowej kamery TV jest niekorzystny z punktu widzenia techniki kom-puterowego przetwarzania obrazów. Wynika to z faktu, że sygnał taki budowany jest zwykle na zasadzie tak zwanego wybierania międzyliniowego. Chodzi o to, że w przypadku najpopularniejszych rozwiązań przetworników CCD (tj. IT lub FT) wymogi standardu PAL osiągane są kilkoma metodami (np. przesuwanie centrum kolekcji ładunku czy odczytywanie różnych kombinacji wierszy w kolejnych ramkach), w związku z czym czas trwania jednego kadru (1/25 sekundy) odpowiada przesłaniu nie całego obrazu, tylko jednego półobrazu - na przykład najpierw półobrazu złożonego z samych nieparzystych linii obrazu, a potem to samo odpowiednio dla linii parzystych. Taki sposób akwizycji obrazu wymaga zwykle jego specjalnego przekodowywania przed operacją konwersji obrazu do postaci cyfrowej. Zasadę takiej konwersji pokazano na rysunku 2.29.