Procesory sygnałowe w aparatach fotograficznych i kamerach

(1)

Zastosowania procesorów sygnałowych w aparatach

cyfrowych oraz w cyfrowych kamerach filmowych

DAWID WEBER

DAWWEBER@PG.EDU.PL

(2)

Czym jest cyfrowy aparat fotograficzny?

 Typy aparatów cyfrowych:

 Aparaty kompaktowe – charakteryzują się niewielkimi rozmiarami, uproszczeniem

oraz automatyzacją obsługi.

 Lustrzanki cyfrowe (DSLR – ang. Digital single-lens reflex) – większe rozmiary, skomplikowana obsługa.

 Bezlusterkowce – brak układu lustrzanego, niewielkie rozmiary.

 Aparaty cyfrowe to urządzenia

optoelektroniczne, które służą do

rejestrowania obrazów statycznych i ich magazynowania w cyfrowej pamięci.

(3)

(4)

Cyfrowa kamera filmowa

 Urządzenie o działaniu zbliżonym do aparatu

fotograficznego. Ciężka, kosztowna, profesjonalna

odmiana kamery. Kamera filmowa wykonuje sekwencję wysokiej jakości zdjęć w bardzo krótkich

odstępach czasu.

 Obecna technika kamer filmowych pozwala na

filmowanie w różnym klatkarzu:

 23.976 -> 24 (NTSC region)  25 (PAL region)

 29.97 -> 30 (NTSC region)  50 / 60 / 120 / 240 etc.

 Oraz w wyższych rozdzielczościach:

 Full HD – 1920 x 1080 px  4k – 3840 x 2160 px  6k – 6144 x 3456 px

(5)

Budowa cyfrowego aparatu

fotograficznego oraz

cyfrowej kamery filmowej

 Obiektyw – wbudowany lub

wymienny

 Matryca światłoczuła –

niewymienna

 Wyświetlacz LCD – ruchomy bądź

nieruchomy

 Gniazdo kart pamięci  Mikrofon

 Filtry neutral density (Filtry ND)

 Procesor Sygnałowy – przetwarzanie

(6)

Budowa cyfrowego

aparatu fotograficznego

 Aparat fotograficzny za pomocą światła

przetwarza widziany z określonego punktu fragment otoczenia na jego płaski obraz.

 Etapy:

 Obiektyw - przenosi ostry obraz do wnętrza

aparatu i ogniskuje go dokładnie na matrycy.

 Przesłona – reguluje moc światła.

 Migawka – regulacja czasu naświetlania.  Matryca – zbiera światło i przetwarza na

impulsy elektryczne.

 Karta pamięci – elektronika ”tłumaczy”

(7)

Matryce w aparatach cyfrowych i

kamerach filmowych



Cyfrowy zapis fotografii bądź wideo wymaga elementu –

matrycy – który pozwala na zapis formy wizualnej, jaką

tworzą światło i cień dzięki obiektywowi.



Powszechnie używa się dwóch typów matryc:



CCD – Charge-Coupled Device

(8)

Matryce

CCD



Matryca CCC jest to płaszczyzna

fotowoltaiczna składająca się z

kondensatorów, które zamieniają

energię świetlną w prąd elektryczny.



Maleńkie soczewki skupiają światło na

każdym z milionów kondensatorów

znajdujących się na warstwie

światłoczułej.



Matryce CCD określa się najczęściej

definiując liczbę kondensatorów.

(9)

Matryce

CMOS

 Matryce CMOS działają w ten sam sposób co

matryce CCD.

 Światło padające na kryształ krzemu tworzący

piksele generuje w nich ładunki elektryczne.

 A więc pojedynczy piksel w matrycach CCD i

CMOS jest praktycznie taki sam. Dopiero "otoczenie" piksela jest w matrycy CMOS zupełnie inne.

 Każdy piksel ma swój przetwornik ładunku na napięcie.

 Każdy piksel ma swój "adres" i jego zawartość może być odczytana w dowolnej kolejności.

(10)

Matryce

CMOS

 Obwody elektryczne zintegrowane z każdym

pikselem zajmują miejsce na matrycy i dlatego współczynnik wypełnienia, czyli stosunek sumy powierzchni wszystkich pikseli do powierzchni całej matrycy jest mniejszy dla matryc typu CMOS.

 Efektem tego jest nieco mniejsza czułość

matryc CMOS. Część światła wpadające przez obiektyw pada na elementy elektroniki

wbudowane w matrycę i nie jest zamieniana na ładunki elektryczne.

 Ten mankament może być łatwo

skompensowany poprzez wycechowanie matrycy po jej wyprodukowaniu i

uwzględnienie różnic między pikselami w programie aparatu cyfrowego.

(11)

Różnice pomiędzy

matrycami CCD,

a CMOS

CCD CMOS

Nie można odczytać zawartości pojedynczego piksela. Trzeba odczytać zawartość całej matrycy i potem dopiero wybrać interesujący nas piksel. To powoduje, że ich działanie jest dość wolne.

Można odczytywać zawartość dowolnej liczby pikseli i w dowolnej kolejności, tak jak odczytuje się zawartość pamięci komputerowych. Z tego względu działają znacznie szybciej.

Matryca ma jeden przetwornik ładunku na napięcie i jeden

przetwornik A/D (napięcie na liczbę). Zawartość wszystkich pikseli jest

odczytywana po kolei przez ten układ.

Każdy piksel matrycy CMOS ma swój przetwornik ładunek na napięcie i układ odczytujący zawartośc pikseli odczytuje już napięcie wytworzone padającym na ten piksel światłem. Ze względu na swą budowę matryce

CCD pobierają więcej mocy w czasie pracy.

Zużywają mniej mocy elektrycznej, co pozwala wykonać więcej zdjęć z raz naładowanego akumulatora.

Większy współczynnik wypełnienia, czyli stosunek powierzchni pikseli do powierzchni całej matrycy.

Mniejszy współczynnik wypełnienia, gdyż część powierzchni matrych zajmują obwody przetwarzające ładunek na napięcie.

(12)

Wzór Bayera – procesory

sygnałowe

 Istnieją dwa sposoby zapisu obrazu na matrycy:

 Z zastosowaniem potrójnego przetwornika CCD.  Z wykorzystaniem mozaiki Bayera.

 Fotodiody obecne na matrycach światłoczułych nie rozróżniają

kolorów, rejestrują jedynie natężenie światła.

 Każda fotodioda znajduje się pod filtrem o konkretnym kolorze.

 Elementy filtrujące są umieszczone na mozaice według wzoru G, R, G,

B.

 Obraz powstaje jako matematyczne wyliczenie wartości sąsiadujących

ze sobą pikseli.

 Procesor sygnałowy przelicza zatem dane wyjściowe by uzyskać plik

(13)

Demozaikowanie

 Procesor sygnałowy oblicza kolor i jasność każdego z

pikseli.

 Dane wejściowe porównywane są z wartościami pikseli

sąsiadujących i wykorzystując algorytm demozaikowania ostateczna wartość jasności i koloru jest obliczana.

 W części A jeden punkt zdjęcia odtwarzany jest z

natężenia światła zarejestrowanego na 4 sąsiadujących z nim pikseli. Maryca 4x4, czyli 16 pikselowa daje zdjęcie o rozdzielczości 2x2.

 W części B procedura jest podobna ale punkty dla

tworzenia zdjęcia są brane tak, że część pikseli (poza zupełnie zewnętrznymi) brana jest do demozaikowania kilka razy. Np. natężenie zarejestrowane przez pierwszy (licząc od lewej i od góry) "niebieski" piksel brane jest do odtworzenia kolorów punktów 1, 2 4 i 5. To daje zdjęcie o rozdzielczości 3x3.

(14)

Szum i jego redukcja –

aparaty cyfrowe

 Na szum mogą też mieć wpływ inne urządzenia

elektroniczne znajdujące się w bezpośrednim sąsiedztwie naszego aparatu cyfrowego czy kamery filmowej.

 Matryca światłoczuła, jak większość urządzeń

elektrycznych, się grzeje i im wyższą temperaturę

osiąga, tym większe prawdopodobieństwo zaszumienia. Szum pogłębia się także przy

wzmocnieniu sygnału, gdy światła jest mało i piksel otrzymuje go niewystarczająco dużo.

 Matryca w słabszym oświetlaniu po prostu

„widzi" mniej, a wzmacniając sygnał uzyskujemy większe szumy.

(15)

Zmniejszanie

szumu –

aparaty

cyfrowe

 Najprostszym rozwiązaniem jest zastosowanie

niższej czułości ISO.

 Aparaty cyfrowe oferują wbudowane systemy

usuwania szumu na wyższych czułościach ISO i dłuższych ekspozycjach.

 Jeżeli ustawimy odpowiedni poziom odszumiania

dla wyższych czułości ISO, powinniśmy uzyskać kompromis między zmniejszeniem szumu i

wypraniem najdrobniejszych szczegółów.

 Jeżeli przesadzimy z odszumianiem, uzyskujemy

rozmyty obraz, który będzie pozbawiony szczegółów.

 Jeżeli chodzi o długie ekspozycje, to odszumianie

polega na wykonaniu drugiego zdjęcia bez

otwarcia migawki, dzięki czemu aparat upewnia

się, co jest obrazem, a co szumem i za pomocą odpowiednich algorytmów usuwa ten pierwszy.

(16)

Wyostrzanie

obrazu –

aparaty

cyfrowe

 Z racji tego, że wartość koloru oraz jasności

każdego piksela jest wyliczana w oparciu o sąsiadujące wartości to pojawia się pewne zmiękczenie obrazu.

 Aby obraz był bogaty w szczegóły procesor

sygnałowy wykonuje operację wyostrzania krawędzi, kontrastów i konturów.

 Proces ten polega, na zwiększaniu kontrastów

na krawędziach obiektów. Należy pamiętać, by nie przesadzić z wyostrzaniem, gdyż może to doprowadzić do powstania efektu halo wokół obiektu, np. biało-czarnej obwódki.

(17)

Obiektywy

– autofocus

 Układ autofocusu to jedna z najlepszych rzeczy jakie zostały wyposażone współczesne aparaty cyfrowe.

 Systemy AF dzielimy przede

wszystkim ze względu na metody, według których aparat decyduje o ostrości danego elementu w kadrze. Tu wyróżniamy dwa podstawowe rodzaje:

 Detekcję fazy i kontrastu.  Hybrydowe rozwiązanie

łączące te dwa systemy w jeden, bardziej precyzyjny.

(18)

Detekcja fazy

 Detekcja fazy używana jest przede wszystkim

w lustrzankach, w których matryca jest zasłonięta w momencie kadrowania i odsłaniana jedynie na czas ekspozycji.

 Aparat ustawia ostrość czujnikami znajdującymi się poza

główną matrycą aparatu, które znajdują się pod komorą lustra.

 Światło przechodzi przez dolną, półprzepuszalną część

lustra głównego, następnie odbija się od lustra

pomocniczego, skąd kierowane jest w dół, na czujniki AF.

 Czujniki wykorzystują zjawisko paralaksy, wybierając

dwa promienie światła i obliczając odległość między nimi. Jeśli promienie są zbyt daleko od siebie, ostrość ustawiona jest przed obiektem. Jeśli za blisko - za obiektem.

(19)

Detekcja

kontrastu

 Ten układ jest prostszy. Nie wymaga

dodatkowych czujników, bo całość odbywa

się na zasadzie mierzenia kontrastu w dowolnej części kadru.

 Aparat po prostu mierzy kontrast w wybranym

przez użytkownika miejscu, a przesuwając soczewki obiektywu w przód i w tył, wybiera moment, w którym kontrast, w wybranym

wycinku, jest najwyższy.

 Obraz nieostry jest najmniej kontrastowy.  Wyostrzając go, obraz staje się bardziej

wyraźny, a co za tym idzie -kontrast w danym

punkcie jest największy w momencie, gdy obraz jest ostry.

(20)

Automatyczny

dobór parametrów

ekspozycji

 Ekspozycje można kontrolować za pomocą

takich parametrów jak:

 Wielkością otworu przysłony.  Ustawieniem czasu migawki.  Wartością ISO.

 I oczywiście ilością światła nas

otaczającego.

 Parametry takie jak wartość przesłony i czas

migawki dobierane są na podstawie wartości pomierzonych poprzez czujnik światłoczuły wbudowany w aparaty cyfrowe. Z

automatycznym doborem ekspozycji można spotkać się również w smartphonach, kamerach sportowych.

(21)

(22)

Balans bieli i

jego

automatyka

 Producenci cały czas

udoskonalają algorytmy, które poddają analizie zapisywany obraz. Ma to na celu dobranie właściwej korekty balansu bieli, aby zdjęcie jak najwierniej oddawało rzeczywistość.

 Algorytm wyszukuje najjaśniejszy

punkt na rejestrowanym

obrazie, przyjmując że jest on zbliżony do białego i na tej

podstawie wprowadza korektę, aby na zdjęciu rzeczywiście był to biały punkt.

 Następnie stosuje tę korektę dla

(23)

Cyfrowa stabilizacja obrazu

 Ten rodzaj stabilizacji obrazu jest oparty o zaawansowane algorytmy

wykrywające ruch na powstającym obrazie.

 Elektroniczna stabilizacja obrazu jest przydatna podczas filmowania

„z ręki”, eliminując drżenie rąk.

 Do wykrywania ruchu wykorzystywany jest nie żyroskop, lecz

odpowiednio przygotowane algorytmy w procesorze obrazu, który na bieżąco analizuje sygnał z pikseli matrycy.

 Jest to stabilizacja typu pasywnego.

 Obraz zapisany po zastosowaniu elektronicznej stabilizacji ma nieco

mniejszą rozdzielczość i pole widzenia niż zdjęcia wykonywane bez stabilizatora.

(24)

Kompensacja

światła

wstecznego –

cyfrowe

kamery

filmowe

 Podstawowa funkcja w którą wyposażona jest

już większość dostępnych kamer, kompensuje ona efekt światła wstecznego.

 W przypadku skierowania kamery w stronę

silnego źródła światła pojawia się efekt

zaciemnienia pierwszego planu Technologia BLC w pewnym zakresie eliminuje ten problem poprzez rozjaśnienie pierwszego planu.

 Rozjaśnienie to wiąże się również z

rozjaśnieniem tła, jednak funkcja ta jest jak najbardziej przydatna ponieważ umożliwia

obserwację pierwszego planu i ogólnie wpływa na polepszenie obrazu w opisanych

(25)

Technologia

WDR oraz

D-WDR

 Układ pozwalający uzyskać szeroki zakres

dynamiki obrazu.

 Kamera przy użyciu specjalnych algorytmów

do analizy naświetlenia obrazu używa

dynamicznej zmiany wartości niedoświetlonych i prześwietlonych pikseli przetwornika kamery w celu uwidocznienia na obrazie

niedoświetlonych elementów.

 Efektem działania tej funkcji jest możliwość

uzyskania wyraźnego i w miarę jednolicie

naświetlonego obrazu zarówno w ciemnych i bardzo jasnych fragmentach jednej sceny.

(26)

Kompresja

obrazów

 Aparaty cyfrowe czy kamery filmowe potrafią

generować materiały w niewiarygodnie dużej ilości danych. Zarówno w kamerach filmowych, jak i aparatach cyfrowych wyższych klas można filmować bądź fotografować w tak zwanych formatach RAW, ale również dostępne mamy opcje różnych formatów, gdzie stosowane są kompresje obrazu.

 Podstawową formą kompresji w wielu

kamerach jest próbkowanie koloru.

 W tej technologii próbkowana jest luminancja z

(27)

Kompresja obrazów

 Z racji tego, że ludzki układ wzrokowy jest

bardziej czuły na informację o jasności niż kolorze, to zazwyczaj stosujemy kompresję określaną jako 4:2:2, gdzie pierwsza cyfra oznacza wartości w kanale luminancji, a pozostałe dwie cyfry odpowiadają

wartościom próbkowania z kanałów chromy – oznacza to, że próbki z kanałów kolorów

pobierane są o połowę rzadziej niż w przypadku luminancji.

(28)

Inne

zastosowania

Procesorów

Sygnałowych

 Cyfrowy zoom.

 Podgląd obrazów na wyświetlaczu LCD.  Zapis obrazu na kartę pamięci.

 Stosowanie efektów kolorystycznych w

przetwarzaniu real-time i w trybie podglądu.