Containers en Codecs

In de Wegwijzer Voorkeursformaten zijn alle bestandsformaten geordend in het register. Dat gebeurt in de eerste plaats door de formaten in te delen naar toepassingsgebied. Bijvoorbeeld ‘bewegend beeld’. Hieronder vallen alle video bestandsformaten. Ook ‘audio’ is een toepassingsgebied.

Typisch voor audio en videobestanden is dat ze bestaan uit een containerbestand (wrapper) met meerdere sporen (tracks). Bijvoorbeeld een videospoor en een audiospoor. Dit spoor kan ruwe data bevatten, maar is meestal een gecodeerde vastlegging daarvan. Het doel van de codering is om de informatie efficiënter op te slaan. Door deze compressie zal over het algemeen de bitrate kleiner worden. Dat betekent dat het bestand kleiner wordt, maar kan ook betekenen dat de informatie die per seconde beschikbaar is om het bewegende beeld en geluid te genereren minder wordt.

De codering (codec) is zeer bepalend voor het behoud van de kwaliteit van het oorspronkelijke beeld en geluid. Zolang de compressie weer terugvertaald kan worden naar de oorspronkelijke informatie op bitniveau is sprake van lossless compressie: zonder informatieverlies. Als dat niet mogelijk is spreekt men van een lossy formaat. Bij een (te) sterke compressie treedt zichtbaar kwaliteitsverlies op, zoals korrelig beeld of ‘artefacten’ (afwijkingen).

In de loop van de tijd zijn er vele codecs ontwikkeld. Sommige zijn gebonden aan bepaalde containerformaten en vice versa. Andere zijn heel flexibel en komen in allerlei combinaties met containerformaten voor. Zie deze voorbeelden:

Bron: Wikipedia

Uitruil-principe

De reden dat er verschillende codecs zijn ontwikkeld hangt deels samen met het feit dat softwareontwikkelaars met ‘eigen’ bestandsformaten, eigen specifieke codecs hebben bedacht en daarmee onderling concurreren. In essentie is meestal sprake van een uitruil tussen bestandsgrootte en rekencapaciteit. Hoe kleiner het bestand, hoe meer rekenkracht er nodig is om het bestand weer af te spelen in de oorspronkelijke kwaliteit. Hoe slimmer de codec is gemaakt, hoe voordeliger deze uitruil kan plaatsvinden.

Vanwege dit uitruil-principe zullen voor verschillende gebruiksdoelen ook verschillende codecs geschikter zijn. Zo ontwikkelde Apple codecs variërend van lossless high quality voor pre-production, waarbij beeld voor beeld editing mogelijk blijft, tot sterk gecomprimeerde lossy versies die weinig opslagruimte vergen en makkelijk afspelen. Welke codec geschikt is in een bepaalde situatie is bovendien afhankelijk van de content zelf: stilstaand beeld met weinig details levert bij compressie nu eenmaal minder ‘artefacten’ op dan sterk dynamische beelden met veel details.

PREMIS

Het onderscheid tussen containerbestand en codec is ook terug te zien in het model van PREMIS, de internationale standaard voor preserveringsmetadata. Het te preserveren object kent in dit model vier niveaus, waaronder de file en de bitstream. Dit maakt het mogelijk om eigenschappen van het containerbestand in de file op te nemen, en eigenschappen van een track in de bitstream. De omschrijving van de file en de bitstream volgens het model (zie hieronder) vertelt welke eigenschappen bij welk niveau worden vastgelegd. In dit model is de codec-naam op bitstream niveau het equivalent van de File format op file niveau.

A File is a named and ordered sequence of bytes that is known to an operating system. A File can be zero or more bytes and has a File format, access permissions, and File system characteristics such as size and last modification date

A Bitstream is contiguous or non-contiguous data within a file that has meaningful common properties for preservation purposes

Codecs als onderdeel van het formaatbeleid

Door een formaatbeleid voor AV-bestanden op te stellen maakt een archief onder andere duidelijk welke bestandsformaten de voorkeur genieten met het oog op preservering van de content. Het is wenselijk om dan niet alleen het containerformaat te noemen, maar ook de te gebruiken codecs van de tracks binnen de container. In de eerste plaats omdat de ondersteuning van de codecs in de loop van de tijd kan wegvallen. Net als de fileformaten worden codecs door nieuwe varianten opgevolgd en raken oude varianten op die manier gedateerd en zelfs obsolete. Uit oogpunt van preservering is het daarom van belang aan te geven welke codecs wel of niet mogen worden toegepast.

Een tweede reden om codecs onderdeel van het formaatbeleid te laten zijn is de hiervoor genoemde impact op de kwaliteit van het bestand. Afhankelijk van de doelstelling van het archief en de eisen van z’n community, zal het archief keuzes maken voor een optimum tussen beeld en geluidskwaliteit, omvang van het bestand, en benodigde rekencapaciteit.

Overigens is in dit verband niet alleen de codec van belang, maar kunnen ook restricties gelden voor andere eigenschappen van de file. Het kan daarbij gaan om eigenschappen van de file als geheel (bijvoorbeeld het maximum aantal tracks) als ook om eigenschappen van het videotrack of het geluidstrack. Het geheel van eigenschappen waaraan een file van een bepaald bestandsformaat moet voldoen noemt men het vereiste ‘profiel’ van een bestand.

MXF als voorbeeld

Zo hanteert Beeld en Geluid drie profielen van het MXF OP1a containerformaat als voorkeursformaat voor videobestanden. De MXF (Material Exchange Format) is een generiek formaat waarvoor een aantal standaard varianten (Operational Patterns) zijn gedefinieerd, die de opbouw van de tracks binnen de container specificeren. Voor OP1a geldt dat er één track is, óf dat er meerdere tracks ‘interleaved’ in de container zijn opgeslagen. Praktisch betekent dit dat video en audio om en om in bits zijn gecodeerd. Dit maakt het een geschikt formaat voor de distributie van files door uitzendorganisaties.

De drie profielen die Beeld en Geluid binnen deze container heeft gespecificeerd bevatten elk een MPEG2 codec voor de video, in combinatie met PCM audio samples. De bitdiepte voor het vastleggen van kleurinformatie is 4:2:2. Aanvullende kenmerken:

• D-10-30: iframes beeldresolutie 720×608 bitrate 30 Mbps
• D-10-50 iframes beeldresolutie 720×608 bitrate 50 Mbps
• XDCAM HD422: gop structure (beeldcompressie), beeldresolutie 1920×1080, bitrate 50 Mbps

Deze varianten laten zien dat met diverse compressietechnieken een hogere beeldresolutie mogelijk is met tegelijk dezelfde bitrate.

Wat betekent dit nu voor de Wegwijzer Voorkeursformaten? 

Om inzicht te geven in de voorkeuren en ondersteuning van AV-bestanden is het niet voldoende om alleen het bestandsformaat (containerformaat) te noemen. Om die reden zijn ook verschillende codecs als ‘bestandsformaat’ in het register van de wegwijzer opgenomen. Idealiter is het mogelijk om de combinatie van containers en codecs aan te geven. En deze mogelijk aan te vullen met specifieke eisen die worden gesteld.

De expertisegroep Voorkeursformaten gaat hier nu verder mee aan de slag. Zo gaat de groep kijken naar een manier om te documenteren welke combinaties van containers en codecs mogelijk zijn, en welke niet. Onderzoek is nodig naar de impact daarvan op het datamodel van het register. Hetzelfde geldt voor het specificeren van eigenschappen en profielen.

Een ander element is de houdbaarheid score. De huidige wegwijzer laat per bestandsformaat een houdbaarheid score zien. Deze wordt ook getoond voor verschillende codecs in de wegwijzer. Nader onderzoek zal wellicht nodig zijn naar de vraag in hoeverre de houdbaarheid scores van bestandsformaten en codecs elkaar beïnvloeden of overlappen.

Maar de eerste stap is het maken van een eigen toepassingsgebied met codecs. We hopen dat dit de bruikbaarheid van de wegwijzer voor instellingen die nadenken over hun formaatbeleid verbetert. Heb je ideeën of vragen over dit onderwerp? Richt je dan tot de expertisegroep Voorkeursformaten via info@wegwijzervoorkeursformaten.nl

The post Beleid op AV-bestandsformaten: codecs nader bekeken appeared first on AVA_NET.

De Wegwijzer Voorkeursformaten is een website die instellingen helpt met beleid op bestandsformaten. Welke zijn geschikt als archiefformaat? Welke technische eigenschappen zijn kenmerkend voor het gekozen formaat? Hoe maak je beleid dat past bij jouw eigen archief? Hoe doen collega-instellingen dat?

Het zijn vragen waar elke instelling mee te maken heeft. En het is bij uitstek een thema om samen in op te trekken. Door alle relevante kenmerken van formaten op één plek bijeen te brengen. Door een eenvoudig stappenplan aan te bieden voor het opstellen van beleid. Opdat we het wiel niet telkens opnieuw hoeven uit te vinden, maar eenvoudig bij elkaar in de keuken kunnen kijken.

Kennisontwikkeling

De website heeft een community-based aanpak als uitgangspunt. Instellingen kunnen hun formaatbeleid op de website vastleggen en publiceren. Op de eigen Instellingspagina komt een overzicht van de bestanden die een instelling heeft opgenomen in haar formaatbeleid. Instellingen kunnen ook elkaars beleid inzien. Dat kan via de Instellingspagina van de andere instelling, maar ook bij de beschrijving van elk formaat afzonderlijk: daar zie je welke instellingen het formaat al hebben opgenomen in hun formaatbeleid.

Bij het kiezen van een bestandsformaat denken we vaak aan de kwalificaties “voorkeursformaat, geaccepteerd formaat of niet ondersteund formaat”. Dat zal in veel situaties echter niet volstaan. Vaak moet een instelling toch ook afwijkende formaten accepteren. Daarom hebben we een tweede aspect toegevoegd: kennisniveau.

In hoeverre is de instelling bekend met het formaat? En beschikt ze over tooling om identificatie en validatie toe te passen? Gegeven de beperkte middelen zal een instelling keuzes maken over welke formaten ze kennis wil opdoen en voor welke ze wil investeren in tools. Het is vaak belangrijk om dit als onderdeel van het formaatbeleid aan de buitenwereld te laten weten. Bij geringe kennis zullen de mogelijkheden voor duurzaam preserveren immers ook minder zijn.

Waar het ene archief een open formaatbeleid (weinig restricties) hanteert, zal een ander wellicht veel strenger zijn bij het aannemen van materiaal. In beide gevallen kan het archief aangeven welke formaten men goed kent. Door instellingen de mogelijkheid te bieden deze twee aspecten (of één van beide) vast te leggen, hopen we dat een open kennisbank ontstaat over het gebruik van bestandsformaten in Nederland. Hiermee willen we bevorderen dat instellingen elkaar helpen en bevragen.

Bouwstenen

De website heeft twee bouwstenen die je helpen bij het formuleren van je eigen formaatbeleid: het register en de houdbaarheidsscore.

Alle formaten zijn verzameld in het Register. Daarin kan je alle formaten vinden waar je als  instelling beleid op wil maken. We maken hierbij gebruik van bestaande internationale registers en brongegevens. De gegevens van PRONOM dienen als uitgangspunt. PRONOM is een database van The National Archives met informatie over bekende bestandsformaten en de ondersteunende softwareproducten. Via linked data wordt deze informatie verrijkt uit andere bronnen zoals Wikidata. 

Om de houdbaarheid van formaten te beoordelen maakt de Wegwijzer gebruik van een risicoscore, zoals die is ontwikkeld door de U.S. National Archives and Records Administration (NARA). Deze score combineert een aantal criteria die van invloed zijn op de mogelijkheden om een formaat duurzaam te preserveren en berekent zo een gewogen Houdbaarheidsscore. In de Wegwijzer zijn de criteria vertaald naar de Nederlandse context en zijn de scores waar mogelijk overgenomen. Op sommige onderdelen zijn de scores ingevuld met een expert opinion. De berekening van de houdbaarheidsscore is volledig na te gaan op de website; de insteek van de houdbaarheidscore is een objectieve maatstaf die als vertrekpunt kan dienen voor het formaatbeleid van elke instelling.

De Wegwijzer is ontwikkeld door een Expertisegroep Voorkeursformaten, onder de paraplu van het Netwerk Digitaal Erfgoed. De Expertisegroep heeft de Wegwijzer niet alleen ontwikkeld, maar levert ook blijvend ondersteuning aan de Wegwijzer. Daarmee is het onderhoud aan de bouwstenen verzekerd.

Lancering

Op dinsdag 13 april organiseert AVA-Net een webinar over de Wegwijzer Voorkeursformaten. Tijdens dit webinar kijken we specifiek naar een aantal audio-visuele formaten. We kunnen ook het stappenplan van de website doorlopen, met de uitleg hoe dit leidt tot het formaatbeleid van jouw instelling. Wil jij erbij zijn? Meld je aan

Wil je voor die tijd al een kijkje nemen? Vanaf donderdag 25 maart is de website live en kun je voor jouw instelling een account aanvragen. Op die dag vindt de lancering plaats, samen met twee andere wegwijzers die door het Netwerk Digitaal Erfgoed zijn vernieuwd.

In de aanloop naar de lancering zullen de leden van de Expertisegroep het formaatbeleid van hun instelling vastleggen in de Wegwijzer. Deze instellingen opereren in verschillende domeinen en maken ieder eigen keuzes. Zo geven we aan de Wegwijzer Voorkeursformaten een vliegende start!

The post Wegwijzer Voorkeursformaten helpt met beleid op bestandsformaten appeared first on AVA_NET.