MODELOWANIE INŻYNIERSKIE nr 46, ISSN 1896-771X
21
KALIBRACJA WIZYJNEGO SYSTEMU POZYCJONOWANIA PRZEDMIOTU
OBRABIANEGO NA OBRABIARCE CNC
1a
Stefan Domek,
2bMirosław Pajor,
2cMarek Grudziński,
3d
Krzysztof Okarma,
1ePaweł Dworak
Zachodniopomorski Uniwersytet Technologiczny w Szczecinie
1
Katedra Automatyki Przemysłowej i Robotyki
2
Instytut Technologii Mechanicznej
3
Katedra Przetwarzania Sygnałów i Inżynierii Multimedialnej
e-mail:
astefan.domek@zut.edu.pl,
bmiroslaw.pajor@zut.edu.pl,
cmarek.grudzinski@zut.edu.pl,
d
krzysztof.okarma@zut.edu.pl,
epawel.dworak@zut.edu.pl
Streszczenie
W pracy przedstawiono dedykowany układ pomiarowy do skanowania geometrii przedmiotu obrabianego na obrabiarce CNC, wymagający jednak precyzyjnego zorientowania skanera 3D względem maszynowego układu odniesienia obrabiarki CNC. Przedstawiono techniki kalibracji z użyciem wielobarwnych tablic kalibracyjnych i świateł strukturalnych, jak też stosowane w kalibracji i skanowaniu metody geometryczne oraz techniki tworzenia obrazów do kalibracji z tzw. kamery wirtualnej. Ponadto przedstawiono wpływ nieliniowej charakterystyki wyświetlania projektora i sposoby jej kompensacji.
CALIBRATION OF THE VISION BASED SYSTEM FOR POSITIONING THE WORKPIECES
ON THE CNC MACHINE TOOLS
Summary
In the paper a dedicated measurement system for the 3D geometry scanning of the workpieces on the CNC machine tools is presented, which requires a precise knowledge about its relative position and orientation according to the reference coordinate system of the CNC machine tool. We present the calibration methods based on the colour calibration patterns and structural light as well as some geometrical methods used for the calibration and scanning. Moreover, some methods applied for the synthesis of images from virtual cameras are discussed as well as the influence of the nonlinear characteristics of the light projectors and methods of its compensation.
22
1. WSTĘP
Układy wizyjne do skanowania trójwymiarowego w ostatnich latach znajdują coraz szersze zastosowanie w różnych dziedzinach techniki. Szczególny nacisk położony jest na uzyskiwanie coraz większych dokładności odtwarzania trójwymiarowych modeli.
Jednym z nowatorskich zastosowań tego rodzaju technik wizyjnych jest ich integracja z obrabiarkami sterowanych numerycznie. Rola systemu wizyjnego wykorzystującego informacje pozyskane z kamer związana jest ze zlokalizowaniem przedmiotu obrabianego na stole maszyny CNC, dokładnym zeskanowaniem jego geometrii oraz przyjęciem bazy do obróbki bez konieczności manualnego pozycjonowania na stole obrabiarki. Dodatkowo, poza automatycznym pozycjonowaniem przedmiotów obrabianych, dzięki wykorzystaniu technik stereowizyjnych i obliczeń fotogrametrycznych możliwe są detekcja zmian położenia przedmiotu oraz wykrywanie kolizji narzędzia z przedmiotem.
Wykorzystując nowoczesne kamery, możliwe jest uzyskanie dokładności pozycjonowania rzędu mikrometrów, co pozwolić może na całkowite wyeliminowanie czasochłonnego pozycjonowania za pomocą sond pomiarowych.
Światło z natury jest trudnym do jednoznacznego opisania zjawiskiem i istnieje szereg czynników i zagadnień wpływających jednocześnie i bezpośrednio na dokładność wyników skanowania. W praktyce
przemysłowej skanery 3D muszą być zdolne do pracy w niekorzystnych warunkach produkcyjnych. Dobrze przygotowane algorytmy skanowania
i przetwarzania obrazów z kamer muszą posiadać umiejętność automatycznego doboru parametrów takich jak czas ekspozycji, czułość sensora optycznego, wartości progowe jasności, rozpoznawanie i wyodrębnianie z obrazów informacji istotnych oraz eliminacji zakłóceń i nieliniowości w zależności od rodzaju oświetlenia.
Prawidłowa praca układu skanującego, poza efektywnymi algorytmami, wymaga również prawidłowej i precyzyjnej kalibracji, na którą składa się kompensacja zniekształceń torów optycznych kamer i projektorów, oraz rozpoznanie geometrii rozmieszczeniaj podzespołów układu skanującego.
Proces kalibracji wizyjnego systemu pozycjonowania przedmiotów obrabianych ma zatem na celu przede wszystkim powiązanie elementów składowych
systemu, tj. kamer oraz projektorów światła strukturalnego we wspólnym układzie współrzędnych, który może być następnie łatwo przetransformowany do układu referencyjnego obrabiarki. Służą do tego procedury wyznaczania tzw. parametrów zewnętrznych kamer oraz projektorów, określających ich położenie w określonym układzie współrzędnych.
Warunkiem ich dokładnego określenia jest jednakże wcześniejsze wyznaczenie oraz skompensowanie tzw.
Rys.1. Widok fragmentu stanowiska badawczego wraz z tablicą kalibracyjną
Stefan Domek, Mirosław Pajor, Marek Grudziński, Krzysztof Okarma, Paweł Dworak
23 parametrów wewnętrznych, charakteryzujących układy optyczne kamer oraz projektorów światła strukturalnego wykorzystywanych w systemie, dzięki czemu minimalizowany jest wpływ zniekształceń o charakterze radialnym oraz zniekształceń stycznych wynikających głównie z niedoskonałości soczewek.
Kolejnym istotnym elementem, mającym wpływ na dokładność kalibracji projektorów, jest nieliniowość ich charakterystyki, wynikająca z wbudowanej korekcji gamma stosowanej przez producentów. Choć ma to dobre uzasadnienie dla prezentacji multimedialnych, związane z nieliniową charakterystyką czułości oka ludzkiego, w zastosowaniach pomiarowych istnieje potrzeba stosowania korekcji odwrotnej.
2. KALIBRACJA KAMER
Elementy wchodzące w skład systemu skanującego muszą podczas pracy skanera znajdować się w ściśle określonym, niezmiennym położeniu. Proponowane gotowe rozwiązania takich systemów bazują na sztywnej konstrukcji nośnej utrzymującej niezmienną geometrię układu, gdzie rama mocowana jest na ruchomym statywie, lub jako manipulator robota, i pozwala dowolnie ustawić skaner względem skanowanej powierzchni. Dzięki takiemu sztywnemu połączeniu geometria układu pozostaje niezmienna i jedynym zadaniem kalibracji jest wyznaczenie parametrów wewnętrznych i modeli dystorsji układów optycznych, np.: przy zmianie przestrzeni pomiarowej, wiążącej się ze zmianą obiektywów.
W zakładanej realizacji praktycznej dla dowolnego typu obrabiarki kamera i projektor mogą być zlokalizowane w arbitralnie wybranych pozycjach, nie mogą jednak zostać umieszczone precyzyjnie w przestrzeni obrabiarki. Ich lokalizacje mogą być tylko zbliżone do zakładanych, a dokładne ich zorientowanie możliwe jest dzięki wspomaganym komputerowo algorytmom kalibracji. W wyniku kalibracji globalnej wyznaczone zostają punkty środkowe opisujące optyczny środek kamery i projektora, a także całkowite transformacje (rotacje i translacje) układu globalnego do układów lokalnych, związanych z kamerami i projektorami.
Wyznaczenie parametrów wewnętrznych każdej kamery oparte jest na zasadzie rzutowania perspektywicznego punktów z przestrzeni 3D na powierzchnię obrazu wg modelu:
[ ]
⋅
⋅
⋅
=
1 Z Y X T A
| R A 1 v u
(1)
gdzie:
=
=
=
z y x
33 32 32
23 22 21
13 12 11 0
0
t t t T
, r r r
r r r
r r r R , 1 0 0
v β 0
u γ α A
(2)
Macierz A nazywana jest macierzą parametrów wewnętrznych, gdzie; α oraz β oznaczają ogniskowe.
wyrażone względem obu wymiarów matrycy; (u0,v0) oznacza współrzędne punktu przecięcia sensora i osi optycznej, zaś γ skośność sensora. Kamera umieszczona jest w przestrzeni względem globalnego układu odniesienia, gdzie R jest macierzą rotacji kamery natomiast T jest macierzą translacji kamery względem początku tego układu. Tym samym określone zostają parametry zewnętrzne kamery, określające jej położenie oraz orientację względem określonej przestrzeni 3D. Wykonując projekcję odwrotną, uzyskuje się dla każdego punktu (u,v) sensora wektor kierunkowy zaczepiony w środku optycznym, zaś jego koniec ma współrzędne wyrażone względem globalnego układu zewnętrznego.
Rzeczywisty układ optyczny zbudowany na soczewkach w odróżnieniu od modelu „otworkowego”
(ang. pinhole) wprowadza dodatkowe zniekształcenia obrazu, wynikające ze zmiennej grubości soczewek i nierównomiernego załamania promieni światła.
Zniekształcenia takie mają charakter dominujący w obrazach pozyskiwanych z typowych kamer powodując przesunięcia współrzędnych w obrazie w sposób promienisty (tzw. dystorsja radialna).
Z kolei obecność zniekształceń skośnych (ang.
tangential distortions) wynika głównie z nieprawidłowej lokalizacji sensora względem osi optycznej. Skorygowane pozycje wszystkich pikseli uzyskać można, stosując dla danego obrazu następujące przekształcenie:
( )
( )
( )
⋅
⋅
⋅ + +
⋅
+
⋅ +
⋅
⋅ + ⋅
⋅
⋅
⋅ +
⋅ +
⋅ +
=
v u (4) k 2 2v r (3) k
2u r (4) k v u (3) k 2 Z Y
Z X
r (5) k r (2) k r (1) k y 1
x
c 2 2 c
2 2 c c
6 c 4 c 2 c d
d
(3)
gdzie kc jest wektorem współczynników opisujących zniekształcenia obu rodzajów przy założeniu, iż r2=u2+v2 .
W celu wyznaczenia współczynników zniekształceń konieczna jest wielokrotna obserwacja zniekształceń jednorodnej tablicy kalibracyjnej (zwykle mającej postać szachownicy) znajdującej się w różnych położeniach, dzięki czemu po wyznaczeniu rozkładu narożników jej pól, z dokładnością subpikselową, możliwe jest uzyskanie parametrów wewnętrznych oraz zewnętrznych kamery.
Zaproponowany układ pozycjonowania składa się z trzech współpracu
i konieczne jest określenie wzajemnego położenia trzech kamer i trzech projektorów. Wykonuje się to poprzez przyjęcie jednego z położeń tablicy kalibracyjnej, które będzie wspólne dla wszystkich kamer i projektorów znajdujących
Wówczas możliwe jest wyznaczenie ich parametrów zewnętrznych względem wspólnego punktu odniesienia, zwykle narożnika lub środka tablicy.
W celu dokonania kalibracji kamer możliwe jest wykorzystanie przybornika
Toolbox dla
implementacji dla biblioteki OpenCV. Przykładowe wyniki kalibracji uzyskane dla kamery Basler Scout sca1600-14gm przedstawiono poniżej:
Parametry wewnętrzne:
- ogniskowa 4.84906 5.54300 ] - punkt środkowy ] ± [ 6.87879 6.29311 ] - skośność
- współczynniki zniekształ 1.93514 0.00105 0.32152 0.00048 0.00050
Parametry zewnętrzne:
tablicy nr 10 na rys. 2) - translacja [T]:
]
- rotacja [R]:
Zaproponowany układ pozycjonowania składa się trzech współpracujących platform skanujących konieczne jest określenie wzajemnego położenia trzech kamer i trzech projektorów. Wykonuje się to poprzez przyjęcie jednego z położeń tablicy kalibracyjnej, które będzie wspólne dla wszystkich kamer i projektorów znajdujących
Wówczas możliwe jest wyznaczenie ich parametrów zewnętrznych względem wspólnego punktu odniesienia, zwykle narożnika lub środka tablicy.
celu dokonania kalibracji kamer możliwe jest wykorzystanie przybornika
środowiska Matlab [1] lub też jego implementacji dla biblioteki OpenCV. Przykładowe wyniki kalibracji uzyskane dla kamery Basler Scout
14gm przedstawiono poniżej:
Parametry wewnętrzne:
ogniskowa [α β] = [ 3753.54718 3751.60214 ] ± [ 5.54300 ]
punkt środkowy [u0 v0] = [ 828.14524 653.95402 ] ± [ 6.87879 6.29311 ]
skośność γ = [ 0.00000 ] ± [ 0.00000 ] współczynniki zniekształ
1.93514 0.00105 -0.00190 0.00000 ] ± [ 0.01168 0.32152 0.00048 0.00050
Parametry zewnętrzne:
tablicy nr 10 na rys. 2)
translacja [T]: [ -68.341408 4.317789 902.673928
rotacja [R]: [ -0.098227 0.991372 0.686590 0.004374 -0.720379
Rys.2. Ilustracja zmiany położenia tablicy kalibracyjnej względem kamery
Zaproponowany układ pozycjonowania składa się jących platform skanujących konieczne jest określenie wzajemnego położenia trzech kamer i trzech projektorów. Wykonuje się to poprzez przyjęcie jednego z położeń tablicy kalibracyjnej, które będzie wspólne dla wszystkich kamer i projektorów znajdujących się w systemie.
Wówczas możliwe jest wyznaczenie ich parametrów zewnętrznych względem wspólnego punktu odniesienia, zwykle narożnika lub środka tablicy.
celu dokonania kalibracji kamer możliwe jest wykorzystanie przybornika Camera Calibration środowiska Matlab [1] lub też jego implementacji dla biblioteki OpenCV. Przykładowe wyniki kalibracji uzyskane dla kamery Basler Scout
14gm przedstawiono poniżej:
Parametry wewnętrzne:
] = [ 3753.54718 3751.60214 ] ± [
[u0 v0] = [ 828.14524 653.95402 ] ± [ 6.87879 6.29311 ]
= [ 0.00000 ] ± [ 0.00000 ] współczynniki zniekształceń: kc = [
0.00190 0.00000 ] ± [ 0.01168 0.32152 0.00048 0.00050 0.00000 ]
Parametry zewnętrzne: (w odniesieniu do 68.341408 4.317789 902.673928
0.098227 0.991372 -0.086798 ; 0.686590 0.004374 -0.727032 ;
0.720379 -0.131009 -0.681095 ]
Rys.2. Ilustracja zmiany położenia tablicy kalibracyjnej względem kamery
Zaproponowany układ pozycjonowania składa się jących platform skanujących konieczne jest określenie wzajemnego położenia trzech kamer i trzech projektorów. Wykonuje się to poprzez przyjęcie jednego z położeń tablicy kalibracyjnej, które będzie wspólne dla wszystkich się w systemie.
Wówczas możliwe jest wyznaczenie ich parametrów zewnętrznych względem wspólnego punktu odniesienia, zwykle narożnika lub środka tablicy.
celu dokonania kalibracji kamer możliwe jest Camera Calibration środowiska Matlab [1] lub też jego implementacji dla biblioteki OpenCV. Przykładowe wyniki kalibracji uzyskane dla kamery Basler Scout
] = [ 3753.54718 3751.60214 ] ± [
[u0 v0] = [ 828.14524 653.95402
= [ 0.00000 ] ± [ 0.00000 ]
= [ -0.02296 0.00190 0.00000 ] ± [ 0.01168
0.00000 ]
(w odniesieniu do
68.341408 4.317789 902.673928
0.086798 ; 0.727032 ;
0.681095 ]
Rys.2. Ilustracja zmiany położenia tablicy kalibracyjnej względem kamery
24 Zaproponowany układ pozycjonowania składa się
jących platform skanujących konieczne jest określenie wzajemnego położenia trzech kamer i trzech projektorów. Wykonuje się to poprzez przyjęcie jednego z położeń tablicy kalibracyjnej, które będzie wspólne dla wszystkich się w systemie.
Wówczas możliwe jest wyznaczenie ich parametrów zewnętrznych względem wspólnego punktu odniesienia, zwykle narożnika lub środka tablicy.
celu dokonania kalibracji kamer możliwe jest Camera Calibration środowiska Matlab [1] lub też jego implementacji dla biblioteki OpenCV. Przykładowe wyniki kalibracji uzyskane dla kamery Basler Scout
] = [ 3753.54718 3751.60214 ] ± [
[u0 v0] = [ 828.14524 653.95402
0.02296 - 0.00190 0.00000 ] ± [ 0.01168
(w odniesieniu do
68.341408 4.317789 902.673928
możliwa jest jedynie po zastosowaniu techniki kamery wirtualnej, umieszczonej dokładnie w miejscu projektora (co fizycznie nie jest możliwe do zrealizowania). W tym celu przeprowadzo eksperyment polegający na rejestracji zdjęć tablicy kalibracyjnej przez rzeczywistą kamerę umieszczoną obok projektora, przy czym tablica jest oświetlana dodatkową serią poziomych oraz pionowych sinusoidalnych prążków. Po oświetleniu i zdekodowaniu ze
mapę fazy (dla zakresu
fazy tworzy się dla syntetycznych obrazów bezpośrednio wyświetlanych z projektora. Mapy te, na obu sensorach kamery i projektora, indeksują każdy piksel unikalnym adresem (
pikseli ze zgodnymi adresami
wzajemne przesunięcie, tym samym w wyniku transformacji obrazu (piksel po pikselu) otrzymuje się obraz, jaki „widziałby” projektor. Podczas transformacji uwzględnia się jednocześ
rozdzielczości obrazu z kamery do do rozdzielczości natywnej projektora, stosując transformacje na poziomie subpikselowym. Seria tak uzyskanych obrazów, z różnymi widokami tablicy, służy do dalszej właściwej kalibracji, wykonywanej analogicznie kamery. Przed kalibracją projektora, w celu kompensacji błędów wprowadzanych przez układy optyczne kamery, wszystkie obrazy z rzeczywistej kamery muszą zostać dodatkowo skorygowane podstawie
zniekształceń kamery.
projektora ACER e700 przedstawiono poniżej:
Rys.2. Ilustracja zmiany położenia tablicy kalibracyjnej względem kamery
3. KALIBRACJA PROJEKTORÓW
„Obserwacja” tablic kalibracyjnych przez projektor możliwa jest jedynie po zastosowaniu techniki kamery wirtualnej, umieszczonej dokładnie w miejscu projektora (co fizycznie nie jest możliwe do zrealizowania). W tym celu przeprowadzo eksperyment polegający na rejestracji zdjęć tablicy kalibracyjnej przez rzeczywistą kamerę umieszczoną obok projektora, przy czym tablica jest oświetlana dodatkową serią poziomych oraz pionowych sinusoidalnych prążków. Po oświetleniu i
zdekodowaniu ze mapę fazy (dla zakresu
fazy tworzy się dla syntetycznych obrazów bezpośrednio wyświetlanych z projektora. Mapy te, na obu sensorach kamery i projektora, indeksują każdy piksel unikalnym adresem (
pikseli ze zgodnymi adresami
wzajemne przesunięcie, tym samym w wyniku transformacji obrazu (piksel po pikselu) otrzymuje się obraz, jaki „widziałby” projektor. Podczas transformacji uwzględnia się jednocześ
rozdzielczości obrazu z kamery do do rozdzielczości natywnej projektora, stosując transformacje na poziomie subpikselowym. Seria tak uzyskanych obrazów, z różnymi widokami tablicy, służy do dalszej właściwej kalibracji, wykonywanej analogicznie kamery. Przed kalibracją projektora, w celu kompensacji błędów wprowadzanych przez układy optyczne kamery, wszystkie obrazy z rzeczywistej kamery muszą zostać dodatkowo skorygowane podstawie wcześniej wyznaczon
zniekształceń kamery.
Przykładowe wyniki kalibracji uzyskane dla projektora ACER e700 przedstawiono poniżej:
Rys.2. Ilustracja zmiany położenia tablicy kalibracyjnej względem kamery
KALIBRACJA PROJEKTORÓW
„Obserwacja” tablic kalibracyjnych przez projektor możliwa jest jedynie po zastosowaniu techniki kamery wirtualnej, umieszczonej dokładnie w miejscu projektora (co fizycznie nie jest możliwe do zrealizowania). W tym celu przeprowadzo eksperyment polegający na rejestracji zdjęć tablicy kalibracyjnej przez rzeczywistą kamerę umieszczoną obok projektora, przy czym tablica jest oświetlana dodatkową serią poziomych oraz pionowych sinusoidalnych prążków. Po oświetleniu i zdekodowaniu ze zdjęć sinusów otrzymuje się tzw.
mapę fazy (dla zakresu ф=0:128
fazy tworzy się dla syntetycznych obrazów bezpośrednio wyświetlanych z projektora. Mapy te, na obu sensorach kamery i projektora, indeksują każdy piksel unikalnym adresem (фx,ф
pikseli ze zgodnymi adresami,
wzajemne przesunięcie, tym samym w wyniku transformacji obrazu (piksel po pikselu) otrzymuje się obraz, jaki „widziałby” projektor. Podczas transformacji uwzględnia się jednocześ
rozdzielczości obrazu z kamery do do rozdzielczości natywnej projektora, stosując transformacje na poziomie subpikselowym. Seria tak uzyskanych obrazów, z różnymi widokami tablicy, służy do dalszej właściwej kalibracji, wykonywanej analogicznie kamery. Przed kalibracją projektora, w celu kompensacji błędów wprowadzanych przez układy optyczne kamery, wszystkie obrazy z rzeczywistej kamery muszą zostać dodatkowo skorygowane
wcześniej wyznaczon zniekształceń kamery.
rzykładowe wyniki kalibracji uzyskane dla projektora ACER e700 przedstawiono poniżej:
Rys.2. Ilustracja zmiany położenia tablicy kalibracyjnej względem kamery
KALIBRACJA PROJEKTORÓW
„Obserwacja” tablic kalibracyjnych przez projektor możliwa jest jedynie po zastosowaniu techniki kamery wirtualnej, umieszczonej dokładnie w miejscu projektora (co fizycznie nie jest możliwe do zrealizowania). W tym celu przeprowadzo eksperyment polegający na rejestracji zdjęć tablicy kalibracyjnej przez rzeczywistą kamerę umieszczoną obok projektora, przy czym tablica jest oświetlana dodatkową serią poziomych oraz pionowych sinusoidalnych prążków. Po oświetleniu i zdjęć sinusów otrzymuje się tzw.
=0:128π). Taką samą mapę fazy tworzy się dla syntetycznych obrazów bezpośrednio wyświetlanych z projektora. Mapy te, na obu sensorach kamery i projektora, indeksują każdy фy). Poszukując pozycji , należy wyznaczyć ich wzajemne przesunięcie, tym samym w wyniku transformacji obrazu (piksel po pikselu) otrzymuje się obraz, jaki „widziałby” projektor. Podczas transformacji uwzględnia się jednocześnie zmianę rozdzielczości obrazu z kamery do do rozdzielczości natywnej projektora, stosując transformacje na poziomie subpikselowym. Seria tak uzyskanych obrazów, z różnymi widokami tablicy, służy do dalszej właściwej kalibracji, wykonywanej analogicznie kamery. Przed kalibracją projektora, w celu kompensacji błędów wprowadzanych przez układy optyczne kamery, wszystkie obrazy z rzeczywistej kamery muszą zostać dodatkowo skorygowane
wcześniej wyznaczonego
rzykładowe wyniki kalibracji uzyskane dla projektora ACER e700 przedstawiono poniżej:
„Obserwacja” tablic kalibracyjnych przez projektor możliwa jest jedynie po zastosowaniu techniki kamery wirtualnej, umieszczonej dokładnie w miejscu projektora (co fizycznie nie jest możliwe do zrealizowania). W tym celu przeprowadzono eksperyment polegający na rejestracji zdjęć tablicy kalibracyjnej przez rzeczywistą kamerę umieszczoną obok projektora, przy czym tablica jest oświetlana dodatkową serią poziomych oraz pionowych sinusoidalnych prążków. Po oświetleniu i zdjęć sinusów otrzymuje się tzw.
). Taką samą mapę fazy tworzy się dla syntetycznych obrazów bezpośrednio wyświetlanych z projektora. Mapy te, na obu sensorach kamery i projektora, indeksują każdy y). Poszukując pozycji należy wyznaczyć ich wzajemne przesunięcie, tym samym w wyniku transformacji obrazu (piksel po pikselu) otrzymuje się obraz, jaki „widziałby” projektor. Podczas nie zmianę rozdzielczości obrazu z kamery do do rozdzielczości natywnej projektora, stosując transformacje na poziomie subpikselowym. Seria tak uzyskanych obrazów, z różnymi widokami tablicy, służy do dalszej właściwej kalibracji, wykonywanej analogicznie jak dla kamery. Przed kalibracją projektora, w celu kompensacji błędów wprowadzanych przez układy optyczne kamery, wszystkie obrazy z rzeczywistej kamery muszą zostać dodatkowo skorygowane na ego modelu
rzykładowe wyniki kalibracji uzyskane dla projektora ACER e700 przedstawiono poniżej:
Stefan Domek, Mirosław Pajor, Marek Grudziński, Krzysztof Okarma, Paweł Dworak
25 Parametry wewnętrzne:
- ogniskowa [α β] = [ 2104.22379 2099.30263 ] ± [ 57.60993 63.96398 ]
- punkt środkowy [u0 v0] = [ 644.99697 792.65539 ]
± [ 0.00000 0.00000 ]
- skośność γ = [ 0.00000 ] ± [ 0.00000 ]
- współczynniki zniekształceń: kc = [ -0.06017 0.03166 -0.00789 0.00289 0.00000 ]
± [ 0.07119 0.21293 0.00928 0.00256 0.00000 ] Parametry zewnętrzne: (w odniesieniu do tablicy nr 10 na rys. 4)
- translacja [T]: [ -77.645549 -198.807047 635.300825 ]
- rotacja [R]: [ 0.182442 0.926451 0.329246;
0.837294 0.029146 -0.545975;
-0.515416 0.375285 -0.770395]
Jednym z istotnych czynników wpływających na dokładność kalibracji projektorów jest ich nieliniowa charakterystyka projekcji światła, co ma szczególne znaczenie przy zastosowaniu prążków sinusoidalnych.
Aby móc odwzorować geometrię skanowanego elementu w prawidłowy sposób, należy mieć pewność, iż wzorzec wyświetlony na płaskiej jednolitej powierzchni jest rejestrowany przez sensor kamery z zachowaniem jego charakteru. Wymaga się zatem,
aby projektor wyświetlał obraz o liniowej charakterystyce jasności, co można osiągnąć przez wykonanie odwrotnej korekcji gamma. Proponowane przez autorów metody kompensacji nieliniowości projektora przedstawiono w jednej z wcześniejszych prac [2], natomiast wpływ tej nieliniowości na uzyskiwany techniką „kamery wirtualnej” obraz szachownicy „widziany” przez projektor ilustruje rys.
4. Widoczne na obrazie błędy odwzorowania krawędzi pól szachownicy mają istotny wpływ na wynik detekcji narożników, który decyduje o dokładności wyznaczenia parametrów kalibracji projektora.
Znając wszystkie parametry kalibracji, możliwe jest wykonanie wstecznej projekcji obrazu z przestrzeni 2D (sensor CCD kamery) do przestrzeni 3D, otrzymując zbiór wektorów kierunkowych s(x,y,z).
Do uzyskania jednoznacznych współrzędnych rekonstruowanych punktów potrzebna jest dodatkowa informacja z drugiej kamery lub z projektora światła strukturalnego, co zilustrowano na rys. 6. Koordynaty każdego punktu obliczane są poprzez znalezienie punktu przecięcia wektora kierunkowego, wynikającego z projekcji odwrotnej, z płaszczyzną prążka o wartości fazy przypisanemu danemu punktowi na etapie dekodowania mapy fazy. Z kolei Rys.3. Przykładowy efekt zastosowania techniki „kamery wirtualnej” do uzyskania „widoku” tablicy kalibracyjnej
widzianej z pozycji projektora
Rys.4. Wpływ nieliniowej charakterystyki projektora na obraz wzorca kalibracyjnego uzyskiwanego techniką „kamery wirtualnej” (po lewej), oraz wynik wprowadzenia odwrotnej korekcji gamma i dodatkowej filtracji błędów mapy fazy (po
prawej)
kąty projekcji płaszczyzn są ściśle znane i wynikają ze znajomości wzorca strukturalnego i
optycznych projektora.
Dzięki otrzymanym parametrom kalibracji i powiązaniu wszystkich urządzeń uzyskany przez skaner model 3D przedmiotu obrabianego również może zostać wyrażony w maszynowym układzie odniesienia obrabiarki. W tym celu wystarczy wypozycjonować tablicę kalibracyjną na stole tej maszyny lub zastosować dod
odniesienia dla obu układów. Możliwe jest tym samym automatyczne przyjęcie bazy obróbkowej i rozpoczęcie obróbki.
Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości
Rys.7. Ilustracja przykładowego uzyskanego wyniku kalibracji (położenie trzech kamer
kąty projekcji płaszczyzn są ściśle znane i wynikają ze znajomości wzorca strukturalnego i
optycznych projektora.
Dzięki otrzymanym parametrom kalibracji powiązaniu wszystkich urządzeń uzyskany przez skaner model 3D przedmiotu obrabianego również może zostać wyrażony w maszynowym układzie odniesienia obrabiarki. W tym celu wystarczy wypozycjonować tablicę kalibracyjną na stole tej maszyny lub zastosować dod
odniesienia dla obu układów. Możliwe jest tym samym automatyczne przyjęcie bazy obróbkowej i rozpoczęcie
Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości
Rys.7. Ilustracja przykładowego uzyskanego wyniku kalibracji (położenie trzech kamer
kąty projekcji płaszczyzn są ściśle znane i wynikają ze znajomości wzorca strukturalnego i
Dzięki otrzymanym parametrom kalibracji powiązaniu wszystkich urządzeń uzyskany przez skaner model 3D przedmiotu obrabianego również może zostać wyrażony w maszynowym układzie odniesienia obrabiarki. W tym celu wystarczy wypozycjonować tablicę kalibracyjną na stole tej maszyny lub zastosować dodatkowe punkty odniesienia dla obu układów. Możliwe jest tym samym automatyczne przyjęcie bazy obróbkowej i rozpoczęcie
Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości wektora kierunkowego dla wybranego punktu (
Rys.7. Ilustracja przykładowego uzyskanego wyniku kalibracji (położenie trzech kamer
kąty projekcji płaszczyzn są ściśle znane i wynikają ze znajomości wzorca strukturalnego i parametrów
Dzięki otrzymanym parametrom kalibracji powiązaniu wszystkich urządzeń uzyskany przez skaner model 3D przedmiotu obrabianego również może zostać wyrażony w maszynowym układzie odniesienia obrabiarki. W tym celu wystarczy wypozycjonować tablicę kalibracyjną na stole tej atkowe punkty odniesienia dla obu układów. Możliwe jest tym samym automatyczne przyjęcie bazy obróbkowej i rozpoczęcie
Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości wektora kierunkowego dla wybranego punktu (
Rys.7. Ilustracja przykładowego uzyskanego wyniku kalibracji (położenie trzech kamer
26 kąty projekcji płaszczyzn są ściśle znane i wynikają ze
parametrów
Dzięki otrzymanym parametrom kalibracji powiązaniu wszystkich urządzeń uzyskany przez skaner model 3D przedmiotu obrabianego również może zostać wyrażony w maszynowym układzie odniesienia obrabiarki. W tym celu wystarczy wypozycjonować tablicę kalibracyjną na stole tej atkowe punkty odniesienia dla obu układów. Możliwe jest tym samym automatyczne przyjęcie bazy obróbkowej i rozpoczęcie
optycznych, wchodzących w skład skanera 3D, możliwe jest prawi
skanowanego przedmiotu obrabianego. Kompensowane są wszystkie zniekształcenia, powodowane przez fizyczne układy optyczne oraz nieliniowy charakter wyświetlanego z projektora obrazu. Możliwe jest jednocześnie ulokowanie przedmio
w przestrzeni roboczej obrabiarki, stosując dodatkowy widok tablicy kalibracyjnej, zamocowanej na stole maszyny w ściśle określonym położeniu. Zastosowanie opisanych metod skanowania i kalibracji pozwala łatwo wprowadzić procedurę automatycz Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości
wektora kierunkowego dla wybranego punktu (
Rys.7. Ilustracja przykładowego uzyskanego wyniku kalibracji (położenie trzech kamer konfiguracji)
4. PODSUMOWANIE
Stosując techniki kalibracji parametrów urządzeń optycznych, wchodzących w skład skanera 3D, możliwe jest prawi
skanowanego przedmiotu obrabianego. Kompensowane są wszystkie zniekształcenia, powodowane przez fizyczne układy optyczne oraz nieliniowy charakter wyświetlanego z projektora obrazu. Możliwe jest jednocześnie ulokowanie przedmio
przestrzeni roboczej obrabiarki, stosując dodatkowy widok tablicy kalibracyjnej, zamocowanej na stole maszyny w ściśle określonym położeniu. Zastosowanie opisanych metod skanowania i kalibracji pozwala łatwo wprowadzić procedurę automatycz Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości
wektora kierunkowego dla wybranego punktu (u,v).
Rys.7. Ilustracja przykładowego uzyskanego wyniku kalibracji (położenie trzech kamer konfiguracji)
PODSUMOWANIE
Stosując techniki kalibracji parametrów urządzeń optycznych, wchodzących w skład skanera 3D, możliwe jest prawidłowe odwzorowanie geometrii skanowanego przedmiotu obrabianego. Kompensowane są wszystkie zniekształcenia, powodowane przez fizyczne układy optyczne oraz nieliniowy charakter wyświetlanego z projektora obrazu. Możliwe jest jednocześnie ulokowanie przedmio
przestrzeni roboczej obrabiarki, stosując dodatkowy widok tablicy kalibracyjnej, zamocowanej na stole maszyny w ściśle określonym położeniu. Zastosowanie opisanych metod skanowania i kalibracji pozwala łatwo wprowadzić procedurę automatycz Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości
).
Rys.7. Ilustracja przykładowego uzyskanego wyniku kalibracji (położenie trzech kamer w jednej z eksperymentalnych
PODSUMOWANIE
Stosując techniki kalibracji parametrów urządzeń optycznych, wchodzących w skład skanera 3D, dłowe odwzorowanie geometrii skanowanego przedmiotu obrabianego. Kompensowane są wszystkie zniekształcenia, powodowane przez fizyczne układy optyczne oraz nieliniowy charakter wyświetlanego z projektora obrazu. Możliwe jest jednocześnie ulokowanie przedmiotu obrabianego przestrzeni roboczej obrabiarki, stosując dodatkowy widok tablicy kalibracyjnej, zamocowanej na stole maszyny w ściśle określonym położeniu. Zastosowanie opisanych metod skanowania i kalibracji pozwala łatwo wprowadzić procedurę automatycz Rys.6. Ilustracja projekcji odwrotnej. Drugi punkt obserwacji pozwala na określenie długości
w jednej z eksperymentalnych
Stosując techniki kalibracji parametrów urządzeń optycznych, wchodzących w skład skanera 3D, dłowe odwzorowanie geometrii skanowanego przedmiotu obrabianego. Kompensowane są wszystkie zniekształcenia, powodowane przez fizyczne układy optyczne oraz nieliniowy charakter wyświetlanego z projektora obrazu. Możliwe jest tu obrabianego przestrzeni roboczej obrabiarki, stosując dodatkowy widok tablicy kalibracyjnej, zamocowanej na stole maszyny w ściśle określonym położeniu. Zastosowanie opisanych metod skanowania i kalibracji pozwala łatwo wprowadzić procedurę automatycznego
w jednej z eksperymentalnych
Stefan Domek, Mirosław Pajor, Marek Grudziński, Krzysztof Okarma, Paweł Dworak
27 przyjmowania bazy do obróbki przedmiotu, który można będzie zamocować na stole maszyny CNC w dowolnym położeniu.
Artykuł powstał częściowo dzięki wsparciu w ramach grantu Ministerstwa Nauki i Szkolnictwa Wyższego nr N502 147238 pt. „Wykorzystanie technik wizyjnych do pozycjonowania przedmiotów obrabianych na obrabiarkach CNC” – umowa nr 1472/B/T02/2010/38.
Literatura
1. Bouguet J.: Camera calibration toolbox. www.vision.caltech.edu/bouguetj/calib_doc, 2005.
2. Domek S., Grudziński M., Okarma K., Pajor M: Korekcja nieliniowości charakterystyki projekcji światła strukturalnego w wizyjnym systemie pozycjonowania przedmiotu obrabianego. “Przegląd Elektrotechniczny”
2012, 88, 10a, s. 143-146.
3. Fechteler P., Eisert P., Rurainsky J.: Fast and high resolution 3d face scanning. In: Proceedings of the International Conference on Image Processing ICIP 2007, Vol. III, p. 81-84.
4. Luhmann T., Robson S., Kyle S., Harley I.: Close range photogrammetry: principles, techniques and applications.
New York: John Wiley & Sons, 2008.
5. Notni G.H., Notni G.: Digital fringe projection in 3D shape measurement – an error analysis. “Proceedings of SPIE” 5144, 2003, p. 372-380.
6. Peng T., Gupta S.K.: Model and algorithms for point cloud construction using digital projection patterns.
“Journal of Computing and Information Science in Engineering” 2007, 7, 4, p. 372-381.
7. Rahman T., Krouglicof N.: An efficient camera clibration technique ofering robustness and accuracy over a wide range of lens distortion. “IEEE Transactions on Image Processing” 2012, 21, 2, p. 626-637.
8. Zhang S.: High-resolution, real-time 3-D shape measurement. PhD thesis, Stony Brook University, 2005.
9. Zhu F., Shi H., Bai P., He X.: Three-dimensional shape measurement and calibration for fringe projection by considering unequal height of the projector and the camera. “Applied Optics” 2011, 50, 11, p. 1575-1583.
Proszę cytować ten artykuł jako:
