Meer wetenschapsnieuws van de TU Delft Colofon DI-Archief
Nooit meer flikkerende films
Fluctuaties in dehelderheid: een
verouderings-proces dat
DOOR CHRISTIAN JONGENEEL Ook voor films
komt de ouderdom met gebreken. Krassen,
vlekken, ruis, flikkerende
beelden. Wie een oude Buster Keatonfilm uit de archieven haalt, zal met deze
ongemakken moeten leven. Restauratie is mogelijk, maar arbeidsintensief en dus duur. Onder de vlag van een Europees onderzoeksprogramma ontwikkelde promovendus ir. Peter van Roosmalen algoritmen waarmee automatische digitale restauratie met behulp van patroonherkenning een stuk naderbij is gekomen.
Charlie Chaplin in The Cure uit 1917 (Foto: Spaarnestad archief)
Wereldwijd zijn er de afgelopen 90 jaar misschien wel
honderdmiljoen films en documentaires gemaakt. Tot aan de jaren vijftig werden films hoofdzakelijk vervaardigd op nitraatfilm, een zeer brandbaar en na verloop van tijd ook zeer kwetsbaar goedje. Zo’n veertig jaar geleden deed de acetaatfilm zijn intrede. Nog dagelijks wordt dit materiaal gebruikt, niet alleen als film voor professionele filmcamera’s, maar ook voor fotorolletjes. Net als nitraatfilm is ook dit materiaal nogal krasgevoelig.
Met de komst van meer uitzendingen overdag is ook de behoefte aan uitzendmateriaal gestegen. Omdat auteursrechten voor oude (re) films en televisieseries relatief laag zijn, hebben de
televisiemaatschappijen juist op deze films hun oog op laten vallen. Om de kijkers geen slecht beeld in de maag splitsen, is er grote behoefte aan snelle en betaalbare restauratietechnieken. Bewakers van het culturele erfgoed hebben uiteraard ook veel belangstelling voor deze technieken.
‘Als je oude film- en videobeelden wilt behouden, heb je maar één keus: het materiaal kopiëren naar nieuwe dragers’, vertelt ir. Peter van Roosmalen, promovendus aan de subfaculteit Elektrotechniek van de tu delft. ‘En omdat de meeste nieuwe dragers digitaal zijn - denk aan de dvd-schijfjes van Philips -ligt het voor de hand die media te gebruiken. Maar als je dan toch bezig bent, waarom zou je de films niet meteen restaureren? Restauratie is niet alleen mooi’, stelt Van Roosmalen dan, ‘maar ook efficiënt.’
Om opslagruimte te besparen, wordt de digitale beeldinformatie namelijk gecomprimeerd. Twee opeenvolgende filmbeeldjes lijken sterk op elkaar, dus is het niet nodig om ze beide helemaal op te slaan. Efficiënter is het om van het tweede beeldje alleen de
verschillen met het eerste op te slaan. Krassen en vlekken vergroten de onderlinge verschillen tussen de beeldjes en daarmee de
benodigde opslagruimte. Verwijdering ervan zorgt dus voor een besparing.
‘Bovendien zijn er steeds meer commerciële televisiezenders in Europa die oude films willen uitzenden’, zegt Van Roosmalen. ‘Als je oude films en TV-series van goede kwaliteit beschikbaar hebt, is dat
Voor het conserveren wordt een film eerst
compleet gemaakt, soms zijn gedeeltes van scènes incompleet door het verouderingsproces.
Ontbrekende scènes worden dan uit andere kopieën gehaald, bijvoorbeeld uit filmcollecties in het buitenland. In de afgelopen tien jaar is al zo’n 2 miljoen meter film geconserveerd, ofwel zo’n 1.800 uur film. Restauratie van een enkele film kan
ook commercieel aantrekkelijk.’
Wiebelende camera’s
De belangstelling van de (commerciële) omroepen en de
filmarchieven was reden voor een Europees consortium om zich te storten op efficiënte restauratiemethoden voor film en video. De Europese Unie gaf geld voor het project Aurora (Automated
Restoration of Original video and film Archives), waarin onder meer de BBC, het Franse Institut National de l’Audiovisuel, de Engelse fabrikant van studio-apparatuur Snell & Wilcox en de universiteiten van Tampere (Finland), Cambridge en Delft deelnamen. Overigens bestaat er al wel apparatuur voor restauratie van beelden. Een videorecorder van enige kwaliteit bijvoorbeeld beschikt over
elektronica die ruis onderdrukt. Maar het verwijderen van vlekken is handwerk. Een restaurateur moet met de muis een stukje uit het vorige of volgende beeldje kopiëren en dit over de vlek heen plaatsen. Meestal lukt dat, want met 24 beeldjes per seconde vertonen de opeenvolgende filmframes een redelijke hoeveelheid overeenkomsten.
Van Roosmalen: ‘Met deze methode ben je al gauw een paar dagen bezig voor luttele minuten film.’ De aanpak van Aurora bestaat eruit dat voor de belangrijkste soorten beschadigingen aparte restauratie-algoritmes worden ontworpen. ‘In totaal zijn er zo’n 150
verschillende mankementen denkbaar’, zegt Van Roosmalen. ‘De belangrijkste zijn ruis, krassen, vlekken, flikkeren en wiebelende camera’s. Ook dat laatste kun je corrigeren, denk maar aan de Steady Cam die Sony tegenwoordig op de markt brengt.’
De zeldzamere en meer ingewikkelde mankementen laten de onderzoekers liggen. Zo is er bijvoorbeeld het ‘vinegar-syndrome’, genoemd naar de azijngeur die uit het filmblik opstijgt wanneer dat wordt geopend. Hierbij is soms vijftig procent van de film vergaan. Daar kan geen computer tegenop, alleen mensen beschikken over het inzicht om nog een restauratiepoging te wagen.
Stroboscoop
Van Roosmalen hield zich met drie zaken bezig: flikkeringcorrectie,
In de kluizen van het Nederlandse Filmmuseum liggen zo’n 70.000 (historische) films en
documentaires op nitraatfilm. De oudste film dateert van 1898. Het museum stelt zich ten doel om deze films te conserveren en te presenteren aan het publiek.
vlekverwijdering en ruisonderdrukking. Op het eerste terrein was hij een pionier, die bovendien met een bruikbare oplossing kwam - geen onaardige prestatie voor een eenmansonderzoeksgroep binnen zo’n groot geheel.
‘Flikkeren definieer je als een onnatuurlijke fluctuatie in de
helderheid van het beeld’, vertelt de promovendus. ‘Een scène in een discotheek met een stroboscoop flikkert ook, maar ik ga er even vanuit dat die niet ter restauratie wordt aangeboden. Voor flikkeren zijn allerlei oorzaken denkbaar. De sluitertijd van de camera was niet constant, of er is iets mis gegaan bij het kopiëren. Ook stof en chemische reacties kunnen flikkeren tot gevolg hebben.’
De eenvoudigste manier om fluctuaties in de helderheid te verwijderen, is simpelweg de gemiddelde helderheid van alle filmbeeldjes gelijk te zetten. Met de computer is dat zo gebeurd. Maar het werkt niet. ‘Stel je voor dat je een scène hebt met een donkere kerk. Als dan ineens de bruid in helder wit binnentreedt, wil je niet dat de computer haar jurk grauw maakt en de kerk wat
donkerder wordt’, aldus Van Roosmalen.
Bovendien bestaat er zoiets als lokale flikkering, waarbij
bijvoorbeeld de linkerhelft van het beeld consequent sterker flikkert dan de rechter. Ook dat moet worden gecorrigeerd - dus een
geavanceerdere benadering is noodzakelijk, eentje die meer in detail naar de beelden kijkt maar toch niet te ingewikkeld is, want de methode moet razendsnel zijn en implementeerbaar in hardware. Als het handwerk wordt vervangen door een rekentijd van een
minuut per beeldje schiet het immers niet hard op met de
verbetering van de efficiëntie, want het herstellen van een minuut film kost dan tweeënhalf uur.
Pixels
Van Roosmalen besloot tot een gedetailleerdere vergelijking van twee opeenvolgende beeldjes, waarbij hij die opdeelde in blokken van dertig bij dertig beeldpunten (pixels). Er vanuitgaande dat het voorgaande beeld al is gecorrigeerd, minimaliseert Van Roosmalens methode de verschillen in helderheid tussen de corresponderende blokken in de twee beelden.
Chemische reacties in nitraatfilm zorgen ervoor dat het materiaal na verloop van tijd gaat “zweten” en blubberig wordt, waardoor het beeld gaat lopen. Soms wordt de blubber weer een koek en moet de film als verloren worden beschouwd. Nitraat houdt het niet veel langer uit dan honderd jaar.
Ook acetaatfilms kennen een verouderingseffect, namelijk het zogenaamde azijn-syndroom,
genoemd naar de penetrante geur die men ruikt bij het openen van een filmblik met verouderde inhoud.
De correctie is niet honderd maar tachtig procent. Zodoende blijft een deel van de flikkering, maar daar staat ook een voordeel tegenover. Bij een bewuste verandering van de helderheid
(bijvoorbeeld een fade-out) volgt het systeem wel, zij het iets later. Van Roosmalen: ‘Dat geldt voor alle automatische
restauratiemethoden: je moet uitruilen. Als je te hard corrigeert, raak je ook wat van het origineel kwijt, maar als je te weinig corrigeert, blijven te veel beschadigingen achter.’
In de methode zoals hierboven beschreven, is met één essentieel effect echter geen rekening gehouden: beweging. De blokken van twee opeenvolgende beeldjes zijn niet zomaar vergelijkbaar. Er bestaan weliswaar methoden om de beweging te schatten, maar die gaan er vanuit dat de helderheid constant is - en dus zijn die
methoden juist in dit geval niet bruikbaar. Daarom koos Van
Roosmalen voor een compromis. Hij kijkt eerst welke blokken geen bewegingsverandering bevatten en corrigeert die. Bij de blokken die als gevolg van beweging wel zijn veranderd, schat Van Roosmalens algoritme uit de omliggende blokken zonder beweging en schat daaruit de benodigde parameters voor de correctie.
Van Roosmalens flikkering-aanpak is inmiddels in hardware
geïmplementeerd door de Engelse firma Snell & Wilcox, fabrikant van apparatuur voor televisiestudios. ‘De eu verlangt altijd een prototype als uitkomst van het onderzoek.
Ik denk dat het kastje volgend jaar commercieel verkrijgbaar zal zijn, maar ik heb geen flauw idee hoe groot de markt ervoor is. Misschien verkopen ze er vijf, misschien driehonderd.’
Gelatine
Op het gebied van vlekken en ruis is Van Roosmalen niet de enige onderzoeker die binnen het project zocht naar oplossingen. Ook hier slaagde hij er echter in significante verbeteringen aan te brengen. Vlekken, die ontstaan door vuil of door loslatende gelatine bij oude films, zijn het beste aan te pakken door te kijken naar het vorige en volgende beeld. Als een object ineens opduikt en een beeld later weer weg is, is er waarschijnlijk sprake van een vlek.
Zowel nitraat- als acetaatfilm is kwetsbaar voor beschadigingen zoals krassen.
Ook hier geldt echter dat beweging roet in het eten kan gooien. ‘Abrupt bewegende voorwerpen mogen immers niet voor vlekken worden aangezien’, legt Van Roosmalen uit, terwijl hij een beeld laat zien van een propeller die door een digitale vlekverwijderaar is weggepoetst. Zijn alternatieve aanpak houdt in dat hij vlekken beschouwt als objecten met bepaalde eigenschappen en niet als verzamelingen van losse pixels die onafhankelijk van elkaar worden bewerkt. Simpel gezegd: een vlek is pas een vlek als hij voldoet aan bepaalde criteria, zoals omvang en textuur. Het resultaat is een factor tien beter dan het bestaande.
Wavelets
Voor een verbetering van de ruisonderdrukking greep Van Roosmalen opnieuw naar de gedachte dat het beter is op lokaal niveau te corrigeren in plaats van voor het hele beeld in één keer. Hij maakte daartoe gebruik van zogenoemde wavelets in plaats van de vaak gebruikte Fourier-transformatie. De basisgedachte achter beide methoden is hetzelfde: verdeel het signaal in een
oorspronkelijk deel (sterk signaal) en een ruisdeel (zwak signaal). Filter vervolgens het ruisdeel weg en je hebt het oorspronkelijke beeld te pakken. Het effect van die bewerking is dat in een egaal grijs vlak die paar afwijkende pixels als ruis door de mand vallen en zich vervolgens aanpasssen aan hun omgeving.
Een uitgeklede versie van Van Roosmalens ruisfilter leek veel op de ideeën van andere Aurora-onderzoekers. Samen bedachten zij een versie die zijn weg vond naar de hardware van Snell & Wilcox. ‘Mijn origineel was te complex voor een directe implementatie in de hardware’, aldus de Delftse promovendus, die de tweede helft van dit jaar zijn doctorstitel hoopt te behalen.
Ook hier, bij vlekken en ruis, geldt echter: er is altijd een risico dat mankementen achterblijven of dat delen van het origineel worden weggecorrigeerd.
Geluk bij een ongeluk is dat oude films meestal met een vaste en rustige camera zijn opgenomen, zodat allerlei problemen met beweging en visuele effecten binnen de perken blijven. Zij die over vijftig jaar de videoclips van mtv moeten restaureren, krijgen het
Wanneer een film compleet is gemaakt, wordt er in een filmlaboratorium een één-op-één-kopie
gemaakt op acetaatfilm. Om dat te bereiken moeten ook alle perforaties worden hersteld.
pas echt moeilijk. Voor nadere informatie over dit onderwerp kunt u contact opnemen met Ir. Peter van Roosmalen, tel. (015) 278 3731, fax (015) 278 1843, e-mail p. vanroosmalen@its. tudelft.nl of met Prof.dr.ir. Jan Biemond, tel (015) 278 4695, e-mail j. biemond@its. tudelft.nl .
Schematische weergave van de stappen bij een digitaal filmrestauratieproces.
Flikkering in filmbeelden, fluctuaties in beeldintensiteit, ontstaan door
verouderingsprocessen, door variaties in
sluitertijden van oude filmcamera’s en door slecht kopiëren. Door digitale bewerking kan de flikkering teniet worden gedaan.
De bovenste rij geeft een voorbeeld van drie opeenvolgende beelden uit een sequentie met flikkering, de onderste rij is gecorrigeerd.
Het detecteren van vlekken gebeurt door opsporing van kortstondige en zeer lokale veranderingen tussen opeenvolgende beelden op te sporen. Corrigeren bestaat uit kopiëren van niet verstoorde beeldinformatie uit naast elkaar liggende beelden. De bovenste rij toont drie opeenvolgende beelden met vlekken. Bij de gecorrigeerde beelden in de tweede rij is door een oud algoritme niet voldoende rekening gehouden met beweging, zodat niet
alleen de vlekken maar ook de propellers
gedeeltelijk zijn verwijderd. De derde rij is met Van Roosmalens algoritme verkregen.
(Foto’s: BBC Archieves)
Typisch voorbeeld van een historisch filmbeeld met prominente kras en het gecorrigeerde beeld. De krassen zijn lastig te onderscheiden van de natuurlijke verticale beeldstructuren. Bij een kras hoopt de filmemulsie zich aan weerszijde op en ontstaat een karakteristiek verloop van de intensiteit loodrecht op de kras. Specifieke algoritmen zijn in staat deze patronen te detecteren. Corrigeren gebeurt door
beeldinformatie over te nemen uit de omgeving direct naast de kras.
Beeldrestaurateurs komen met twee soorten ruis in aanraking. De eerste is granulaire ruis, veroorzaakt door de grootte van de zilverkorrels op de
oorspronkelijke film. De tweede ruis is de zogenaamde thermische ruis, die ontstaat in
elektronische video-apparatuur. Hier een voorbeeld van thermische ruis en het beeld dat werd
gecorrigeerd met Van Roosmalens filter. (Foto’s: BBC Research & Development)
De werking van flikkeringscorrectie is gebaseerd op het gelijktrekken van de statistieken van lokale beeldintensiteiten van opeenvolgende beeldjes. De beelden worden onderverdeeld in blokken van 30 x 30 pixels, waaruit het gemiddelde en de variantie van de intensiteit worden geschat. Hieruit worden de flikkering-parameters a en b bepaald. Gebieden met beweging leveren incorrecte schattingen op en moeten dus worden geïnterpoleerd van de
omliggende gebieden, waarin geen beweging plaatsvindt. Op basis van deze parameters kan ieder pixel in het beeld worden gecorrigeerd en de flikkering worden verwijderd.
Vaak wordt voor het restaureren informatie uit meerdere beelden tegelijk gebruikt. Het inschatten van beweging tussen verschillende beelden is daarvoor essentieel. Om dat efficiënt te laten verlopen worden de beelden eerst verkleind en wordt er een grove matching gedaan over het gehele (gearceerde) gebied. Op basis van de grove schatting van de beweging wordt vervolgens een verfijndere matching uitgevoerd, maar nu in een beperkt gebied op een beeld met een hogere resolutie. De uiteindelijke schatting ontstaat door de procedure te herhalen op het niet-verkleinde beeld.
Het comprimeren van beelden kan veel bits
besparen. In plaats van bijvoorbeeld twee complete beelden van een sequentie op te slaan, loont het de moeite een verschilbeeld te berekenen. Dat beeld bevat veel minder informatie dan een compleet beeld en kan dus efficiënter worden opgeslagen. Door het verschilbeeld op te tellen bij het eerste beeld, kan altijd het tweede beeld worden opgebouwd. De verschillen kunnen nog kleiner worden door te compenseren voor beweging.
Werkingsprincipe van ruisverwijdering. Figuur A toont het gemeten signaal van een beeldlijn met ruis. In B wordt met de Fourier-transformatie de intensiteit van de frequenties die in het signaal zitten weergegeven. Frequenties met lage intensiteit zijn onbetrouwbaar (slechte signaal-ruisverhouding). C toont de aangepaste intensiteiten van de frequenties, waarbij de
onbetrouwbare componenten zijn verwijderd. In D wordt het uit figuur c gereconstrueerde signaal getoond.
Restaurateur bij het Institut National de l’Audiovisuel (INA) in Parijs met het Aurora-systeem.
