Salonul comercial de realitate augmentată: cum a făcut-o Panasonic de la distanță cu AR

Realitatea mărită la salvare. Anularea NAB 2022-2023 din cauza pandemiei COVID-19 a generat valuri de șoc în întreaga industrie de difuzare. Desfășurată anual în Las Vegas, NAB Show este cea mai mare expoziție de difuzare cu peste 90.000 de participanți din peste 160 de țări. Majoritatea celor 1.600 de expozanți lansează produse și tehnologii noi, iar pentru multe companii mari este pusă în aplicare până la șase luni. Într-o perioadă foarte scurtă de timp, echipa Panasonic Pro Video a trebuit să vină cu alternative pentru a-și transmite mesajul în timp ce lucra de la distanță de acasă.

Audio + Video + IT. Editorii noștri sunt experți în integrarea audio, video și IT. Obțineți informații zilnice, știri și rețele profesionale. Abonați-vă astăzi la Pro AV

În zilele care au urmat anulării emisiunii NAB Show, echipa Panasonic a început să caute opțiuni pentru organizarea unui eveniment substitut, inclusiv ideea de a construi un stand fizic unde clienții să poată vizita online. Echipa Panasonic Pro Video a fost, de asemenea, în discuții cu Paul Lacombe, CEO al DisruptAR din New England, specializat în crearea de producții virtuale. După ce și-a început cariera la General Motors după facultate, Lacombe lucrează în industria de producție de 30 de ani, începând cu Silicon Graphics la sfârșitul anilor '80, înainte de a se aventura pe cont propriu să urmărească producții virtuale. DisruptAR se concentrează pe reducerea costurilor de producție AR și VR pentru piața mai largă.

  • Infrastructura de streaming Esports Training Factory
  • Citizen Cope lansează un spațiu de concert sigur pentru Covid
  • Învățare la distanță: Cum să faci să funcționeze o orchestră la distanță
  • Cele mai bune camere PTZ pentru streaming live

Pe 16 martie, New Jersey, unde se află sediul central al Panasonic din SUA, a intrat oficial în blocare; pe 18 martie, Lacombe a programat prima demonstrație pentru echipa Panasonic. NAB Show 2022-2023 a fost anulat pe 20 martie. "

A trebuit să decidem între cele două opțiuni foarte repede ”, dezvăluie managerul de inginerie Panasonic, Harry Patel. „Prima opțiune presupunea construirea fizică a unui stand, introducerea produsului în timp ce urmați cerințele de distanțare socială (mai puțin de 10 persoane la un moment dat) și aducerea unui echipaj de filmare. Nu a fost practic și am vrut să facem ceva cu o calitate superioară, chiar dacă nu ne-am putut părăsi casele. Deci, în cele din urmă, această idee a unui eveniment virtual a fost discutată în continuare și a fost aprobată până la sfârșitul lunii martie. ”

Paul Lacombe de la DisruptAR face o demonstrație virtuală de acasă folosind protocolul Free-D.

Realitate augmentată și producție la distanță

Producția de la distanță nu este un concept nou. Regizorul Francis Ford Coppola a regizat și montat celebru multe scene din filmul său din 1982, One From the Heart, dintr-o remorcă de lângă platou. Dar crearea unei producții de la distanță de acasă în timpul unei pandemii globale este o altă poveste. A fost posibil doar prin utilizarea tehnologiei camerei de ultimă generație, a motoarelor de jocuri VR și a aplicațiilor bazate pe cloud.

Pentru Panasonic, primul obiectiv a fost crearea unui mesaj clar cu comunicare verbală și scrisă tradusă într-un format video mai vizual. La NAB, oamenii de vânzări vor comunica de obicei cu clienții de la etaj, discutând soluții la problemele fiecărei persoane. Managerul grupului de marketing Jim Wickizer și agenția P.R., Racepoint Global, au reușit să vină cu un mesaj consistent și au lucrat cu managerii de produse individuale pentru a prezenta punctele de discuție potrivite.

De asemenea, Patel și Wickizer au început să lucreze cu Lacombe de la distanță din studioul său de acasă pentru a crea interviuri video între managerii de produse și o gazdă a studioului, Zoe Laiz, care urmau să discute despre noi produse și tehnologie. „Cu toții am avut medii de producție provocatoare, dar pentru a face acest lucru de la distanță cu acest program, a fost cu siguranță un salt de credință”, explică Lacombe. „În intestinul meu, știam că acest lucru ar putea funcționa, dar niciodată să nu-l fi făcut înainte a fost o preocupare”

Lacombe și-a transformat garajul de 20 'x 24' într-un spațiu de studio.

Pentru înregistrarea de la distanță, fiecare manager de produs a primit un laptop, un microfon USB Blue Yeti și o cameră Panasonic AW-HE42 Full-HD Professional PTZ. HE42 a fost conectat prin Ethernet și driverul USB PTZ virtual, iar videoclipul a fost adus în laptop folosind OBS pentru a înregistra și TeamViewer pentru telecomandă.

Echipe de Realitate Augmentată și MS

Pentru comunicare, partajarea fișierelor, vizualizarea demonstrațiilor și monitorizarea filmărilor de producție la distanță, Panasonic a folosit Microsoft Teams, o platformă de comunicare și colaborare. Peste noapte, platforme precum Teams, Zoom, Ring Central și multe altele au permis oamenilor și companiilor să comunice cu lumea exterioară în siguranță de la casele lor.

Pentru a vedea ce a capturat Lacombe pe platourile de filmare în timpul producției, Patel a folosit partajarea ecranului Teams creând o împărțire quad utilizând o ieșire de comutare AV-UHS500 într-o cutie de convertor de la SDI la USB. Feed-ul USB a fost prezentat în Windows ca feed pentru cameră, pe care l-au distribuit prin echipe.

În timp ce supravegheau înregistrarea vicepreședintelui senior, Imaging și Sisteme vizuale profesionale, remarcile de deschidere ale lui John Baisley, prin echipe, Patel și Wickizer au putut vizualiza camera de zi a lui Baisley în direct și să ofere direcție dacă a fost o eroare de citire a liniei, o modificare de fond sau o tehnică problema sunetului. Prin intermediul echipelor, Patel a putut, de asemenea, să ofere direcția ecranului, observând atât ecranele verzi, cât și vizualizările setului virtual. „Dacă Zoey stătea chiar în spatele unei uși și intră, am putea vedea cu adevărat dacă împușcătura a fost sau nu bună”, explică Patel. „I-aș spune lui Paul prin echipe:„ S-ar putea să funcționeze mai bine dacă se deplasează puțin mai bine. ”În ceea ce privește colaborarea la distanță, nu cred că ar fi fost posibil fără utilizarea echipelor”.

În timp ce vicepreședintele senior, imagistică profesională și sisteme vizuale John Baisley își înregistra observațiile de deschidere, echipa a putut vizualiza live camera de zi a lui Baisley și a oferi direcții prin intermediul Microsoft Teams.

„A fost destul de mișto să fac asta de la distanță”, adaugă Wickizer. „Aveam o persoană în Boston, Harry și cu mine eram la casele noastre din New Jersey și aveam o altă persoană pe coasta de vest. Fiica mea a coborât o dată la subsol și a întrebat ce fac. „Facem o producție la distanță”, i-am spus. Chiar nu-i venea să creadă. ”

Free-D și motorul ireal

Pentru a încorpora seturi de studio VR realiste într-o producție live, este esențială captarea datelor precise de poziționare a camerei. Înainte de a prezenta primul său demo pentru Panasonic, DisruptAR a dezvoltat un driver Free-D care să permită conectarea camerei AW-UE150 4K Pro PTZ direct la Unreal Engine, ceea ce i-a oferit capacitatea de a transmite informații Pan / Tilt / Zoom / Iris prin IP (UDP) direct de la cameră la sistemul de urmărire Unreal live fără a fi nevoie de senzori sau codificatori suplimentari.

„Free-D a venit de la BBC la începutul anilor '90 ca protocol de urmărire pentru unul dintre sistemele lor de urmărire a camerelor”, explică Lacombe. „Acesta definește cele șase grade de libertate - panoramare, înclinare, rulare, X, Y, Z, precum și câmpul vizual, zoom și focalizare. Aceste valori sunt trimise la motorul de redare virtuală și conectate la o cameră virtuală, astfel încât fundalul dvs. să răspundă corespunzător în timp real la 60 de cadre pe secundă. ”

Potrivit lui Lacombe, motorul ireal a fost folosit peste tot în numeroase producții - de la Regele Leu la Mandalorian. „Este tehnologia de bază utilizată de majoritatea Hollywoodului în acest moment”, spune Lacombe. „Îl folosesc ca proxy în cea mai mare parte, dar obiectivul este„ pixelul final ”, ceea ce este afișat pe ecran, ceea ce vedeți în timp real.”

Protocolul Free-D definește cele șase grade de libertate - panoramare, înclinare, rulare XYZ, precum și câmpul vizual, zoom și focalizare.

„Unreal Engine este un motor de jocuri care a fost aplicat pe alte piețe, inclusiv arhitectură, vizualizare CAD și, în acest caz, difuzare și filmare”, spune Lacombe. „O folosim pentru a ajunge la cel mai înalt nivel de fotorealism, luând active de la instrumente DCC tradiționale precum Maya, 3D Studio Max, Blender, folosind plăci grafice NVIDIA la 60 de cadre pe secundă, oferind spectatorilor fidelitatea caracteristicilor obiectivului precum înflorire, flăcări și deconcentrare. Calitatea de care aveți nevoie pentru a ajunge la fotorealism și redare la 60 de cadre pe secundă este în esență ceea ce face Unreal Engine. ”

Crearea unei lumi virtuale … într-un garaj

Studioul lui Lacombe se află în garajul său transformat, care măsoară doar 20 x 24, iar echipajul său era format dintr-un singur asistent. Pentru ecranul verde, el a folosit un fundal portabil Pro Cyc. Datorită limitării spațiului, Laiz putea parcurge doar câțiva pași, astfel încât acestea erau limitate la camere, făcând din AW-UE150 instrumentul perfect pentru sarcină. Pentru a-și lumina ecranul verde, Lacombe a folosit panouri LED de 14 ”. „Ideea este că vrei cu adevărat să ai o singură nuanță de verde și să scapi de toate petele, astfel încât cheie să poată păstra acele umbre”, explică Lacombe. „Alegeți un verde pe care doriți să îl introduceți, iar verdele mai închis la culoare sunt umbrele suprapuse în setul dvs. virtual.”

Chiar dacă lucra în limitele mici ale garajului său, a trebuit să-și lumineze talentul cu lumina motivată a unui studio mare. Pentru a-l aprinde pe Laiz, Lacombe a folosit două panouri LED atât pentru cheie, cât și pentru umplere. De asemenea, a folosit câteva spoturi de sus pentru a simula o lumină roșiatică care venea de la ferestre. „Practic încercăm să potrivim acea direcție și temperatura acelei culori, fără a afecta ecranul verde”, dezvăluie Lacombe. „Aceasta este o provocare pentru că încercați să luminați talentul separat de ecranul verde. Ușile hambarului de pe LED-urile respective ne dădeau mai mult spațiu, dar ne luptam să ne îndepărtăm de verde și să obținem sărituri minime de pe verde pe hainele și pielea ei. ”

Pe platou, Lacombe a folosit două camere UE150 - camera 1 era pe partea stângă și camera 2 pe dreapta.

Pe platou, Lacombe a folosit două camere UE150: camera 1 era pe partea stângă și camera 2 pe dreapta. Când Zoe își făcea rândul să se confrunte cu un manager de produs vizualizat pe un monitor vertical, el trecea la camera doi la nivelul ochilor Laiz pentru a obține punctul de vedere al managerului de produs simulat. Potrivirea liniilor oculare este o provocare, dar Lacombe spune că ar putea înșela puțin știind unde se află poziția sa de acasă. „Dacă ați avut două camere, una era la 90 de grade față de cealaltă la opt picioare distanță și cealaltă este la patru picioare distanță, puteți măsura cu o bandă măsurătoare și le puteți pune în lumea virtuală în aceeași poziție. Se vor adera unul la celălalt prin legile fizicii, astfel încât să pară că se află în acea poziție exactă. Și apoi poți înșela puțin în cadrul acestor linii directoare. ”

Proiectarea producției la un clic de buton

Pentru proiectarea setului virtual, Lacombe a folosit un design modificat pe care lucra cu un alt client anul trecut. Proiectarea a fost realizată în Maya și exportată în Unreal. Din moment ce setul virtual are loc noaptea, au avut o privire mai întunecată la început, dar apoi au decis să-l facă mai luminos. A adăugat sigla Panasonic și a luat elemente care nu erau esențiale pentru setul Panasonic. El a adăugat, de asemenea, un monitor care iese din podea, pe care Laiz îl scoate din spate.

În crearea propriului set virtual, potrivit Lacombe, există mai multe materiale 3D disponibile, deoarece vizualizarea arhitecturală online a decolat. Puteți merge la o bibliotecă 3D și puteți găsi materiale sau modele 3D și să le construiți în funcție de cerințele dvs. de personalizare. „Este într-adevăr o întoarcere înapoi cu clientul”, explică Lacombe. „Adăugați componentele dvs. de marketing, branding, toate culorile și materialele. Odată ce aveți materialul acolo, puteți să coborâți pereții cu un buton, să faceți clic sau să mișcați lucrurile, să ajustați toate monitoarele în timp real. În „lumea fizică”, acest lucru ar necesita o cantitate considerabilă de timp și bani. Odată ce ați construit lucrul, este ușor să vă reglați și să reveniți la el. ”

Gazdă Zoe Laiz intervievând Sr. Product Manager Steve Cooperman despre știri și crearea de conținut.

Păstrarea unei distanțe de siguranță

Producția virtuală a evoluat de-a lungul deceniilor prin experiență și rafinament. Deși rolurile unei producții fizice și ale unei producții virtuale sunt în esență aceleași, cea mai mare diferență este că toată lumea lucrează în același spațiu fizic. Odată ce ordonanța de ședere la domiciliu este ridicată, dacă producția la distanță adevărată va deveni norma sau nu, se stabilește în continuare.

„Există un motiv pentru care ai pe cineva care privește cheia, cineva care privește scenariul, cineva care privește unghiurile camerei și garderoba”, spune Lacombe. Toate aceste roluri trebuie încă îndeplinite și încercăm doar să găsim cel mai bun mod de a face asta de la distanță. Până în prezent, a funcționat uimitor de bine și suntem cu toții surprinși de modul în care acest lucru s-a reunit atât de repede și a evoluat într-un mod natural. Deși a trebuit să purtăm mai multe pălării mai mult decât ne-am fi dorit pentru această producție, următorul pas logic este să distribuiți acest lucru și mai departe pentru a avea alții implicați să rafineze și să îmbunătățească procesul. Dar, pentru prima dată în afara porții, sunt foarte mulțumit de rezultate și sunt nerăbdător să trec la următorul pas ".

Pentru a viziona evenimentul virtual al Panasonic, Viitorul producției video , faceți clic aici.

Pentru mai multe informații despre DisruptAR, vizitați www.disruptar.com.

Articole interesante...