Peisajul codecurilor se schimbă, cu șase codecuri noi care vor veni până la sfârșitul anului 2022-2023. La începutul anului 2022-2023, majoritatea producătorilor de video streaming au codificat exclusiv codecul H.264, care a debutat în 2003. Unii editori mai mari, precum Netflix, Amazon, YouTube , și Facebook, au implementat, de asemenea, succesorul bazat pe standarde H.264, codecul HEVC și / sau codecul VP9 de la Google. O stropire de producători a experimentat cu codecul AV1 al Alliance for Open Media. Dincolo de aceste patru codecuri existente, în 2022-2023, MPEG va lansa trei noi codecuri, versatile codificare video (VVC), codificare video esențială (EVC) și codificare video cu îmbunătățire redusă a complexității (LCEVC).
Cu șase noi codecuri de luat în considerare până la sfârșitul anului 2022-2023, merită să analizăm factorii care contribuie la adoptarea cu succes a unui codec. În acest articol, voi analiza acei factori folosind H.264 și HEVC și voi crea un cadru de analiză pe care îl voi folosi în articolele viitoare pentru a reduce potențialul succes pentru AV1 și cele trei noi codecuri MPEG.
Rețineți că voi scrie în primul rând din perspectiva editorului; nu din perspectiva jucătorului sau a vânzătorului de codificatoare.
- Înțelegerea soluțiilor de streaming cu latență redusă
- Cele mai bune camere PTZ, dispozitive de captură și streaming
1. Care este eficiența comparativă a codecului?
Cel mai esențial rol al unui codec este acela de a reduce dimensiunea fluxului necesar pentru a livra videoclipuri spectatorilor noștri. În multe cazuri, eficiența este măsurată în raport cu H.264. Vedeți acest lucru în Figura 1, din raportul de comparație HEVC 2015 de la Universitatea de Stat din Moscova (MSU). Ca o explicație, MSU își prezintă întotdeauna datele folosind x264, unul dintre mai multe codecuri H.264, la o calitate 100%. Apoi, pentru fiecare alt codec, arată reducerea procentuală sau creșterea ratei de date necesare pentru a produce aceeași calitate ca x264.
De exemplu, în grafic, codecul x265 poate oferi aceeași calitate ca și x264 la 74% din bitrate sau o economie de aproximativ 26%. Codecul VP9 nu este atât de în urmă, cu 77%, sau o economie de aproximativ 23% față de x264.
Această economie reprezintă un beneficiu monetar principal oferit de noile codecuri. Implementarea x265 în 2015 ar fi redus costurile lățimii de bandă pentru livrarea de videoclipuri de calitate egală către jucătorii capabili HEVC cu 26%. VP9 ar fi redus costurile lățimii de bandă cu 23%.
Gândiți-vă la adaptarea codecului ca la o analiză echilibrată. Există două surse de intrări; economii pentru livrarea către clienții existenți, pe care tocmai le-am acoperit, și venituri suplimentare pentru clienții de pe piețe noi, pe care le voi acoperi în secțiunea următoare. Există mai multe costuri asociate cu implementările de codec. Veți livra videoclipuri codate H.264 în viitorul apropiat, astfel încât costurile de codare și stocare pentru noile codecuri sunt ambele adiționale. De asemenea, va trebui să vă actualizați playerul și să efectuați o anumită măsură de testare și QC.
Economiile de lățime de bandă se referă evident la numărul de spectatori pentru fiecare videoclip. Iată un exemplu simplu. Să presupunem că a codat 20,00 USD pentru codificarea pe o scară de codare HEVC și că ați economisit 0,01 USD în costuri de lățime de bandă per vizualizator. După ce 2.000 de spectatori vizionează videoclipul, ați făcut acest cost. Dacă 2 milioane de telespectatori vizionează videoclipul, ați economisit 20.000 USD în costurile lățimii de bandă. De aceea, este mai ușor pentru companiile mari precum Netflix, YouTube, Amazon și Facebook să implementeze noi coduri.
Indiferent de dimensiune, atunci când economiile sau veniturile noi asociate cu noul codec depășesc implementarea și alte costuri, are sens financiar să implementăm un nou codec. Evident, cu cât eficiența de compresie este mai mare față de soluția existentă, cu atât este mai mare economia lățimii de bandă.
În afară de toate acestea, marea majoritate a noilor implementări de codec nu urmăresc economii de lățime de bandă sau alte eficiențe de livrare. Singurul vârf al editorilor piramidali precum Netflix, Facebook și YouTube au implementat VP9, deși în prezent este cu aproximativ 35-40% mai eficient decât x264. Mai degrabă, editorii adoptă de obicei codecuri noi, cum ar fi HEVC, deoarece deschide piețe pentru clienți noi.
Acest lucru duce la următoarea întrebare.
NEWSLETTER PROAudio + Video + IT. Editorii noștri sunt experți în integrarea audio / video și IT. Obțineți informații zilnice, știri și rețele profesionale. Abonați-vă astăzi la Pro AV.
2. Ce noi piețe sau platforme permite codecul?
Când Adobe a adăugat redarea H.264 la Flash în 2007, H.264 a fost cu doar 15% mai eficient decât codecul VP6, care a fost cel mai utilizat codec Flash înainte de H.264. În ciuda acestor mici economii, de ce majoritatea editorilor au trecut rapid și complet la H.264? Deoarece în timp ce VP6 nu a fost redat pe iPod, iPhone sau alte dispozitive mobile, H.264 a făcut-o. Cu H.264 atât în Flash, cât și în codecul predominant pe dispozitivele mobile, editorii ar putea renunța la VP6 și să ajungă pe două piețe cu un singur codec, un total nebun.
În mod similar, majoritatea editorilor au implementat HEVC pentru a furniza videoclipuri 4K și / sau cu un interval dinamic ridicat (HDR) pe televizoare inteligente, set-top box-uri și dispozitive OTT. De exemplu, în Raportul Global Media Format din 2022-2023, care a raportat producția lor din 2022-2023, encoding.com a raportat că „anticipăm o creștere foarte substanțială a volumului în 2022-2023, determinată de conținutul UHD HDR, atât ca standarde HDR premium Dolby Vision, cât și pe hartă HDR + formatul video HEVC. ” Din păcate, encoding.com nu a actualizat raportul respectiv pentru rezultatele din 2022-2023.
În mod similar, în cele din urmă, Apple a început să accepte fie VP9, fie AV1 pe dispozitivele lor AppleTV 4K, astfel încât spectatorii să poată viziona videoclipuri 4K pe YouTube. Acest lucru prezice importanța pe care Alianța pentru furnizorii Open Media, cum ar fi Facebook, Netflix, YouTube și Amazon, o vor avea asupra adoptării AV1.
Concluzia este că, dacă codecul nu permite noi piețe, economia lățimii de bandă este singurul avantaj. După cum sa menționat, din orice motiv, în afara celor mai mari editori video, puțini alții au găsit aceste economii suficient de motivați pentru a implementa noi codecuri.
3. Cum este timpul de codare?
Am vorbit despre analiza pe echilibru. Pun această întrebare, deoarece timpul de codare se traduce direct în costul de codare și cu cât costul este mai mare, cu atât este mai greu să obții un nivel de rentabilitate.
De exemplu, AWS Elemental MediaConvert percepe 0,024 USD pe minut pentru codarea H.264, 0,048 USD pe minut pentru codificarea HEVC și 0,864 USD pe minut pentru codarea AV1. Din fericire, timpii de codare AV1 au scăzut foarte semnificativ în ultimele luni și sunt sigur că va urma prețul elementar. Cu toate acestea, atunci când timpii de codificare sunt la fel de glaciali ca AV1-urile, aveți nevoie de milioane de vizualizări pentru a acumula economiile de lățime de bandă necesare pentru a obține un nivel egal.
4. Poate fi implementat în software pe platformele relevante?
Această întrebare vorbește despre cât de repede poate fi implementat un codec pe platforme relevante pentru serviciul dvs. În 2007, când Adobe a adăugat H.264 la Flash, redarea era aproape universală pe toate computerele și dispozitivele mobile. În schimb, cu HEVC, suportul hardware pe dispozitivele mobile era necesar pentru redarea eficientă a bateriei, iar hardware-ul dedicat pentru decodarea HEVC era necesar pe majoritatea televizoarelor inteligente, set-top box-urilor și dispozitivelor OTT.
De-a lungul timpului, din ce în ce mai multe dispozitive au început să accepte HEVC, iar acum este aproape omniprezent în produsele din generația actuală, cu VP9 doar puțin în urmă. Dar noile codecuri care necesită hardware pentru redarea eficientă încep de la zero.
De regulă, durează aproximativ doi ani până când apar primele dispozitive de consum cu suport hardware. Ca un exemplu, specificația AV1 a fost finalizată la mijlocul anului 2022-2023, iar primele televizoare inteligente cu suport AV1 au fost livrate la mijlocul anului 2022-2023. Evident, nu contează cât de eficient este un codec atunci când este lansat; devine relevant doar atunci când redarea este disponibilă pe un număr substanțial de platforme pe care le livrați.
Ceea ce duce la următoarea întrebare.
5. Alianța pentru Open Media acceptă codecul?
Deși durează doi ani pentru suportul hardware, dacă cerințele de redare sunt modeste, redarea într-un browser sau un sistem de operare mobil poate dura câteva săptămâni. Totuși, membrii Alliance, Open Media Microsoft, Google, Mozilla și Apple controlează majoritatea browserelor și sistemelor de operare și a formatelor pe care le acceptă. Acesta este motivul pentru care la șapte ani de la lansare, HEVC este acceptat doar în 16,99% din toate browserele și sistemele de operare mobile urmărite de www.caniuse.com (Figura 2).
Numărul comparabil pentru AV1, care a fost lansat cinci ani mai târziu? 36,56%. Dar VP9, care a fost lansat în același timp cu HEVC? 94,52%.
Dacă un număr substanțial de spectatori vă privesc pe browsere și dispozitive mobile, suportul platformei face o diferență uriașă în ceea ce privește economia. Acest lucru este valabil mai ales, deoarece suportul software poate fi realizat atât de rapid.
În acest moment, pare puțin probabil ca membrii AOM să accepte orice codec MPEG, indiferent dacă HEVC, VVC, EVC sau LCEVC. Deci, acolo unde codecurile bazate pe standarde, cum ar fi H.264 și MPEG-2, au avut odată stăpânirea, codecurile MPEG sunt acum în dezavantaj distinct pe piețele tradiționale de calculatoare și mobile.
6. Codecul este un standard MPEG?
Motion Pictures Experts Group sau MPEG a creat și promovat mai multe codecuri audio și video care au ajutat la tranziția video analogic la digital. La un moment dat, standardele MPEG precum MPEG-2 și H.264 aveau căi mult mai clare spre succes decât codecurile proprietare precum VP9. Astăzi, acea dinamică s-a schimbat, așa că, deși procesul de standardizare oferă credibilitate anumitor tehnologii, nu este o garanție a succesului?
Ce s-a schimbat? Aproape totul. Când H.264 a fost lansat în 2003, difuzarea a fost regele, iar transmisia nu era coada câinelui, ci o unghie. Acum, streamingul este în mod clar câinele și transmite coada, iar companiile care controlează implementarea codecurilor în browsere și sisteme de operare mobile, precum și companiile de conținut precum Netflix și YouTube, au o influență incredibilă asupra implementării codecurilor.
După cum voi vorbi despre mai multe în acest moment, cu MPEG-2 și H.264, a existat o politică clară și coezivă a redevențelor, care a ieșit pe fereastră cu HEVC, care are trei grupuri de brevete. Două dintre grupuri au publicat tarife, iar plafoanele anuale sar de la aproximativ 10 milioane de dolari pentru H.264 la peste 60 de milioane de dolari pentru HEVC. Celălalt grup nu își publică tarifele și, la mai bine de șapte ani de la lansarea HEVC, încă nu a declarat dacă vor percepe redevențe pentru conținut.
Având în vedere ciclul de dezvoltare de doi ani pentru implementarea codecurilor, multe companii de hardware au decis să implementeze H.264 și HEVC înainte ca politica de redevențe să fie clară. După HEVC, companiile mari precum Apple și Samsung pot întârzia adoptarea tehnologiei până când imaginea redevenței este mai clară, ceea ce ar putea adăuga încă 24 de luni ciclului de adoptare.
În cele din urmă, din perspectiva codecului video, MPEG s-a contractat de la un ciclu de zece ani între MPEG-2, H.264 și HEVC, la un ciclu de șapte ani pentru trei codecuri video suplimentare care urmează să fie finalizate în 2022-2023. Cu siguranță, fiecare codec oferă o gamă diferită de caracteristici, performanță și alte caracteristici și este puțin probabil ca toate să realizeze aceeași adopție comercială.
7. Care este modelul de proprietate tehnologică și de generare de bani?
Majoritatea codecurilor sunt rezultatul unei colaborări între mai multe părți. Cu unele codecuri, acest lucru are ca rezultat unul sau mai multe grupuri de brevete pentru a permite companiilor să recupereze costurile investițiilor lor în cercetare și dezvoltare. În schimb, VP9 a fost dezvoltat exclusiv de Google, în timp ce AV1 a fost dezvoltat de Alianța pentru companiile Open Media, care și-au contribuit toate brevetele la AOM în mod gratuit.
Cu toate acestea, doar pentru că o companie sau o organizație pretinde că deține toate drepturile asupra unei tehnologii nu o face astfel. Deși Google susține că VP9 este open-source, la fel ca Alliance for Open Media for AV1, administratorul pool-ului de brevete Sisvel a lansat pool-uri de brevete atât pentru VP9, cât și pentru AV1, afirmând că aceste codecuri utilizează invenții acoperite de proprietarii de brevete în pool-urile lor (rețineți că autorul se consultă cu Sisvel cu privire la aceste bazine).
Desigur, atât H.264, cât și HEVC sunt redevente de redevențe atât pentru codificatoare, cât și pentru decodificatoare și pentru unele tipuri de conținut, astfel încât simpla existență a unei redevențe nu condamnă o tehnologie. Mai degrabă, potențialilor licențiatori le pasă de coeziunea grupului respectiv, de claritatea termenilor de licențiere și de cât de repede sunt disponibili.
8. Cât de setată este structura redevenței?
În 2017, Jonathan Samuelsson, CEO al dezvoltatorului de codec Divideon, a creat graficul prezentat în Figura 3, care a devenit copilul poster pentru disfuncționalitatea reprezentată de proprietarii de brevete legate de HEVC. Vedeți cele trei grupuri și mai multe companii suplimentare, unele foarte semnificative, nu în niciun grup. Rețineți că acesta este graficul original proiectat de Samuelsson; imaginea de proprietate s-a schimbat oarecum de atunci.
În mod clar, dacă sunteți un potențial licențiator, ați prefera un singur grup care să includă toți colaboratorii de tehnologie cunoscuți, ceea ce s-ar putea întâmpla de fapt pentru EVC și LCEVC. Acestea fiind spuse, majoritatea standardelor majore au mai multe fonduri; ceea ce își doresc licențiatorii este o structură în timp util și cunoscută pentru toți contribuitorii majori. În mod semnificativ, deși standardul VVC a fost finalizat în iulie 2022-2023, este puțin probabil ca termenii de licențiere să fie cunoscuți până la mijlocul anului 2022-2023. Dacă seamănă cu ceea ce vedeți în Figura 3, este posibil ca VVC să nu se retragă niciodată de la sol.
9. Există o redevență de conținut?
Dacă sunteți un editor de streaming, întrebările 4-8 dictează cât de repede ar putea fi adoptat un codec de către dezvoltatorii de hardware și software, care controlează cât de repede puteți începe să utilizați codecul pentru a-l livra spectatorilor. Această întrebare determină cât de mult vă va costa, în calitate de editor de streaming, să implementați conținut cu codecul respectiv.
Din nou, redevențele de conținut nu sunt nemaiauzite și nu condamnă un codec la eșec; atât HEVC, cât și H.264 au unele redevențe de conținut. Evident, însă, aceste costuri trebuie inserate în modelul de rentabilitate pentru a determina când și dacă are sens economic să implementăm noul codec.
Privind înapoi și înainte
Privind în urmă, este ușor de văzut de ce H.264 a avut (este) un astfel de succes: a oferit economii modeste de lățime de bandă, dar a jucat imediat pe computere datorită Flash și a oferit intrarea pe o nouă piață (mobilă). Licențierea a fost controlată de un singur grup de brevete care deținea majoritatea brevetelor asociate și, deși redarea hardware a fost necesară pentru redarea H.264 pe dispozitive mobile, suportul hardware a fost aproape universal pentru a începe și a devenit în scurt timp omniprezent.
În schimb, HEVC a debutat cu o structură de licențiere foarte disjunctă care a descurajat adoptarea tehnologiei. Deși asistența HEVC este aproape universală pe dispozitivele mobile, televizoarele inteligente și ultimele generații de dispozitive OTT, lipsa suportului pentru browser reduce rentabilitatea generală a investiției, în timp ce lipsa clarității cu privire la redevențele de conținut este o preocupare imensă pentru mulți editori. Ca urmare, HEVC a fost implementat în principal de către editori care distribuie videoclipuri 4K și HDR în camera de zi.
