Techniki rejestracji obrobki i wizualizacji obrazow ruchomych

Program wykładu

1. Systemy rejestracji obrazów – technologie CCD, CMOS

2. Cyfrowe metody obróbki obrazów ruchomych, metody

cyfrowego polepszania obrazów

3. Metody kompresji i zapisu obrazów cyfrowych (MPEG1 i

MPEG2)

Etapy przetwarzania sygnału wizyjnego

informatyka +

3

Zanim obraz zostanie poddany cyfrowej obróbce, musi być przekształcony do postaci elektrycznej w przetworniku analizującym, a następnie poddany dyskretyzacji i kwantyzacji.

we/wy cyfrowe Kompresja

Próbkowanie Skanowanie

A/C C/A

Bufor ramek

Wyanalogowe We analogowe

Procesy zachodzące w analizatorach

obrazu

• Przetwarzanie optoelektryczne, polegające na

proporcjonalnej do natężenia oświetlenia modyfikacji

elektrycznych właściwości ciała stałego.

• Akumulacja wytworzonej informacji elektrycznej w

miejscu jej powstania, do czasu jej odczytu.

• Adresowanie, czyli odczytanie wytworzonej informacji

(modyfikacji) elektrycznej i opatrzenia jej adresem,

umożliwiającym określenie kierunku (lub miejsca)

padania odpowiadającego tej informacji strumienia

świetlnego.

Przetwarzanie optoelektryczne

pozostających normalnie w stanie niewzbudzonym (w tzw. paśmie

podstawowym) do pasma przewodzenia, w wyniku absorpcji przez ten elektron fotonu o określonej energii.

•Efekt fotoelektryczny zewnętrzny - energia fotonu jest na tyle duża, że elektron po wzbudzeniu opuszcza strukturę materiału.

•Efekt fotoelektryczny wewnętrzny - w wyniku efektu

fotoelektrycznego wzbudzony elektron pozostaje wewnątrz struktury materiału.

Materiał wykazujący zjawisko efektu fotoelektrycznego wewnętrznego, zwany dalej materiałem światłoczułym (fotoprzewodnikiem), jest

zawsze półprzewodnikiem o właściwościach przewodzących bliższych izolatorom, tzn. o bardzo dużej rezystancji powierzchniowej i skrośnej.

Akumulacja i adresowanie pikseli

• Akumulacja ładunku ma za zadanie podwyższenie

czułości analizatora obrazów.

• Adresowanie polega na wytwarzaniu informacji o

wartości i położeniu (adresie) fotoładunku

zgromadzonym w określonym pikselu.

• Adresowanie może być dokonywane w sposób ciągły

(analogowo) lub - jeżeli na powierzchni światłoczułej

wytworzono skończoną liczbę elementów

przetwarzająco-akumulujących - w sposób dyskretny.

Adresowanie pikseli

informatyka +

7

Adresowanie za pomocą rejestru przesuwającego, stosowane w analizatorach typu CTD.

Koncepcja budowy analizatora

obrazów typu CTD

informatyka +

8

umieszczonych pionowo obok siebie analizatorach linii,

nazywanych analizatorami

kolumn. Rejestr adresujący

każdego z analizatorów

kolumn nie jest zakończony przetwornikiem q/U, lecz

dołączony do przypisanego mu ogniwa rejestru

przesuwającego CCD, zwanego rejestrem

Zasada budowy analizatora obrazów

typu CCD FT (z przesuwem półobrazu)

informatyka +

9

Bezpośrednie zastosowanie w koncepcji analizatora

rejestrów przesuwających jako analizatorów kolumn nie jest możliwe, ze względu na zbyt długi czas transferu

fotoładunków, równy okresowi akumulacji. Zaplamienie

analizowanych obrazów osiągnęłoby w takim

przypadku nieakceptowalny poziom.

APS (Active Pixel Sensors)

informatyka +

10

Przetworniki Charge Coupled Devices (CCD) opracowano we wczesnych latach 70. XX wieku z przeznaczeniem do akwizycji obrazu z niskim poziomem szumów.

Przetworniki typu CMOS Active Pixel Sensors opracowano w drugiej połowie lat 90. XX wieku w celu zmniejszenia kosztów produkcji

APS – korzyści

• Niski pobór mocy(ok. 50 mW), 3.3V cyfrowe wyjście wideo

• Niższe koszty komponentów (redukcja ok. 5X)

• Łatwość integracji przetworników w układach scalonych

• kamera w jednym układzie scalonym

• wyjścia cyfrowe

• zoom elektroniczny / okna w oknach

• kompresja obrazu

• Redukcja zależności od japońskich części

• CCDs

• kontrolery

Architektura – CMOS APS

informatyka +

12

W odróżnieniu od matryc CCD, w matrycach CMOS każdy piksel ma swój przetwornik ładunku na napięcie, każdy piksel ma swój „adres” i

Trójprzetwornikowa analiza obrazu

barwnego

informatyka +

13

FO1, FO2, FO3 – kanałowe filtry optyczne,

Zasada konstrukcji analizatora obrazów

barwnych

informatyka +

14

a) zasada naświetlania analizatora, b) przykładowe wzajemne usytuowanie

segmentów barwnych w dyskretnym filtrze trójchromatycznym DFT, c) i d) przykładowe struktury filtrów Bayera: c) z segmentami addytywnymi: R i B),

Filtry mozaikowe

informatyka +

15

Na jeden piksel czerwony lub niebieski przypadają dwa zielone. Odpowiada to warunkom

widzenia człowieka, które najczulej reaguje na zmiany

jasności w zielonej części widma. Aby uzyskać dane o kolorze

danego punku musimy skorzystać z algorytmu

interpolacji i danych z sąsiednich pikseli.

System do cyfrowego przetwarzania

obrazów ruchomych

Kamery cyfrowe

informatyka +

17

Taśmy: MiniDV, Digital 8.

Parametry: - rozdzielczość 500 do 540 linii

- dźwięk – 2 kanały rozdzielczości 16 bitów z

próbkowaniem 48 kHz lub 4 kanały 12 bitów 32 kHz - port IEEE 1394 – FireWire

Komputerowa edycja obrazu

• Upowszechnienie się w kamerach amatorskich cyfrowego standardu

DV spowodowało znaczące zmiany w konstrukcji kart i programów

edycyjnych.

• Standard DV umożliwia, przy stopniu kompresji 5:1, osiągnięcie dobrej jakości obrazu o rozdzielczości poziomej 500 linii.

• Karty komputerowe zostały wyposażone w interfejs IEEE 1394

umożliwiający dwukierunkową transmisję skompresowanego sygnału DV.

• Przy szybkich komputerach kodek DV może być realizowany

programowo. Powszechne użycie DVD jako kolejnego po kasecie DV nośnika cyfrowego, spowodowało pojawienie się kart komputerowych stosujących kompresję MPEG-2.

System 3CCD

informatyka +

19

Podstawą technologii zawartej w przetwornikach obrazu 3CCD jest pryzmat, który rozszczepia światło na trzy podstawowe kolory RGB

Skanowanie

informatyka +

20

Odczyt zawartości bufora w trybie międzyliniowym lub kolejnoliniowym (skanowanie progresywne)

Skanowanie międzyliniowe

informatyka +

21

Efekty specjalne

informatyka +

22

Kluczowanie Chroma Key:

nałożenie na zwykle

niebieskie lub zielone tło nowego obrazu.

Standardy MPEG

• MPEG-1 (1992) – umożliwia przesyłanie obrazu audio-video z przepustowością 1,5 Mb/s przy rozdzielczości ekranu 352x240 lub 352x288. Standard ten pozwolił na stworzenie cyfrowego zapisu audio-video Video CD, którego jakość była porównywalna do standardu VHS.

• MPEG-2 (1994) – umożliwia przesyłanie obrazów o znacznie większych rozdzielczościach, aż do 1920 x 1152 punktów, i

przepustowości między 3 a 100 Mb/s. Standard ten otwarł drogę do opracowania i wdrożenia cyfrowych standardów emisji programów telewizyjnych.

• MPEG-4 (1999) – przystosowany został głównie do kompresji

danych strumieniowych (np. wideokonferencje), oferuje najwyższy stopień kompresji z całej rodziny standardów MPEG.

Kompresja MPEG-1

informatyka +

24

MPEG-1

MPEG-1

Szybkość bitowa:

Szybkość bitowa:

1,5Mb/s

1,5Mb/s

SFI (Source Intermediate Format)(Source Intermediate Format)

352p x 240l x 30FPS

352p x 240l x 30FPS

352p x 288l x 25FPS

Przestrzeń kolorów RGB i YC

C

Tryb YCbCr przechowuje informacje o kolorze jako

• luminacja (jasność - Brightness) • chrominancja (barwa - Hue)

Tryb YCbCr jest używany przy kompresji MPEG ponieważ umożliwia

osiągnięcie lepszego współczynnika kompresji niż tryb RGB

Y = 0.299(R – G) + G + 0.114(B – G) Cb = 0.564(B – Y);

Cr = 0.713(R – Y)

Przestrzeń kolorów RGB i YC

C

informatyka +

26

Składowe luminancji Y i chrominancji C_R C_B obrazu kolorowego.

MPEG-1 struktura próbek w obrazie

informatyka +

27

Dla standardu MPEG-1 przyjęto strukturę próbkowania 4:2:0 (na 4 próbki luminancji przypadają dwie próbki chrominancji w jednej linii, oraz 0 próbek chrominancji w kolejnej linii). Wartość próbek chrominancji wyznacza się

poprzez interpolację dla położenia pośrodku kwadratu złożonego z próbek luminancji.

MPEG-1 struktura próbek w obrazie

MPEG-1 struktura próbek w obrazie

Przekrój (slice) to pośrednia struktura złożona z pewnej liczby

makrobloków występujących kolejno w porządku rastrowym. Może zaczynać się i kończyć w dowolnym miejscu wiersza obrazu i rozciągać się na wiele wierszy.

Transformara kosinusowa (DCT)

informatyka +

30

Przekształcenie macierzy

amplitud z(i,j) w macierz Z(k,l)

współczynników transformat

DCT

DCT

DCT

DCT

Przekształcenie macierzy Z(k,l) w

blok pikseli z(i,j)

IDCT

IDCT

Odwracalność transformacji DCT

DCT

DCT

⇄

⇄

IDCT

IDCT

 operuje na znormalizowanych blokach 8x8 pikseli

 przekształca dane do postaci umożliwiającej zastosowanie efektywnych metod kompresji

Fizyczna interpretacja współczynników

macierzy DCT

Kwantyzacja

Kwantyzacja polega na przeskalowaniu współczynników DCT poprzez podzielnie ich przez właściwy współczynnik znajdujący się w tabeli

kwantyzacji, a następnie zaokrągleniu wyniku do najbliższej liczby całkowitej. Proces kwantyzacji można opisać równaniem:

gdzie:

F(x,y) – współczynniki transformacji, Q(x,y) – tablica kwantyzacji,

round(x) – funkcja zaokrąglająca x do najbliższej liczby całkowitej.

informatyka +

32

)

)

y

,

x

(

Q

)

y

,

x

(

F

(

round

)

x

(

k



Kodowanie Huffmana

informatyka +

33

• Dla każdego znaku utwórz drzewa złożone tylko z korzenia i ułóż w malejącym porządku ich częstości występowania.

• Dopóki istnieją przynajmniej dwa drzewa:

– z drzew t1 i t2 o najmniejszych częstościach występowania p1 i p2

utwórz drzewo zawierające w korzeniu częstość p12 = p1+p2,

– przypisz „0” każdej lewej, a „1” każdej prawej gałęzi drzewa.

• Utwórz słowo kodu dla każdego znaku przechodząc od korzenia do liścia.

Przykład:

Z={A,B,C,D,E,F}, P={0.35, 0.17, 0.17, 0.16, 0.10, 0.05}

MPEG-1 obrazy typu I

Kodowane są podobnie jak obrazy nieruchome w standardzie JPEG.

1. I etap: obraz dzielony jest na rozłączne makrobloki (4 bloki próbek

sygnału luminancji i 2 chrominancji).

2. II etap: niezależne przekształcanie każdego bloku przy

wykorzystaniu DCT.

3. III etap: kwantowanie - podzielenie każdego współczynnika z

macierzy DCT przez odpowiedni współczynnik z tablicy kwantyzacji i zaokrąglenie wyniku do liczby całkowitej (utrata części informacji).

4. IV etap: kodowanie kodem Huffmana skwantowanych

współczynników macierzy DCT. O stopniu kompresji tego etapu decyduje liczba poziomów kwantyzacji współczynników macierzy DCT- im mniejsza liczba poziomów, tym większa kompresja.

MPEG-1 Obrazy typu P

• Definiowanie elementów ruchomych: dla każdego makrobloku obrazu bieżącego wyszukuje się najbardziej podobny blok 16x16 pikseli w poprzednim obrazie typu I lub P. Dopasowuje się je tylko do

składowej luminancji.

• Zakłada się jedynie liniowe przesunięcie bloku pikseli, nie uwzględnia się obrotu ani zmiany wymiaru bloku.

• Położenie znalezionego bloku określa się za pomocą wektora przesunięcia tego bloku w stosunku do makrobloku w obrazie typu P- tzw. wektora ruchu.

MPEG-1 Obrazy typu B

informatyka +

36

Obrazy typu B kodowane są podobnie jak obrazy typu P Kodowana jest różnica między bieżącym makroblokiem a jego predykcją.

predykcja

wyznaczenie bloku prognozowanego poprzez interpolację ze znalezionych bloków: wcześniejszego i późniejszego

poszukiwanie najbardziej podobnych bloków w dwu obrazach odniesienia: wcześniejszym i późniejszym

MPEG–1 obrazy typu B

MPEG-1 GOP

informatyka +

38

Sekwencja obrazów video w standardzie MPEG dzielona jest na grupy obrazów GOP (Group Of Pictures)

MPEG1 kolejność transmisji ramek

informatyka +

39

MPEG-2

informatyka +

40

MPEG-2

MPEG-2

Szybkość bitowa:

Szybkość bitowa:

10Mb/s 40Mb/s

10Mb/s 40Mb/s

• przetwarzanie obrazów z wybieraniem międzyliniowym

• większa rozdzielczość próbkowania

• zmieniona i rozszerzona struktura próbkowania chrominancji

• skalowalność jakościowa

MPEG-2 struktura próbkowania

informatyka +

41

MPEG-2 struktura makrobloku

informatyka +

42

Struktury makrobloków dla różnych struktur próbkowania

4:4:4

MPEG-2 struktura makrobloku

informatyka +

43

Wybieranie międzyliniowe  ramka sygnału składa się z dwóch pól

Struktura Struktura makrobloku makrobloku luminancji podczas luminancji podczas kodowania DCT kodowania DCT ramki ramki Struktura Struktura makrobloku makrobloku luminancji podczas luminancji podczas kodowania DCT

MPEG-2 profile i poziomy