Google använde youtube-filmer från mannequin-utmaningen för att träna sin ai

Innehållsförteckning:

Vad du behöver veta
Få mer Pixel 3a
Google Pixel 3a

Vad du behöver veta

Google utbildar sin AI för att skapa djupkartor som isolerar mänskliga motiv i scenen med bara en kamera.
Som utgångspunkt använde Google 2000 YouTube-videor från Mannequin Challenge för att träna AI.
Resultaten kommer att leda till förmågan att lägga till effekter till videor, t.ex. porträttläge, och användas för Augmented Reality.

I ett nyligt blogginlägg beskrev Google hur det har arbetat med djupuppfattning i videor där både kameran och motivet rör sig. Som utgångspunkt behövde studien tillgång till en enorm mängd data för att träna AI, och det första logiska steget var att utbilda den för att upptäcka människor i en scen där kameran rörde sig men folket var statiska.

Som det visar sig hade Google den perfekta resursen för denna information i form av YouTube-videor som filmades för Mannequin Challenge. I denna utmaning skulle en person eller en grupp människor stå helt stilla när en kamera panorerad runt sin position. Google använde 2000 videor från utmaningen för att hjälpa till att träna sin AI för att upptäcka mänskliga figurer i en mängd olika scener.

Något som gör denna studie ännu mer intressant är det faktum att Google lär ut sin AI att skapa djupkartor med bilder som har tagits med bara en kamera. Oftast måste flera kameror användas för att känna djupinformation i en scen.

Google använder redan något liknande för stillbilder för att skapa sin porträttlägeeffekt på Pixel-telefonerna. Detta gäller dock endast stillbilder. Den nya metoden som Google har utvecklat utbildar sin AI för att skapa en djupkarta där både kameran och motivet rör sig inom en scen.

Genom att förgrena sig till videor öppnar det funktioner i framtiden för att skapa bokeh i videoscener som liknar porträttläge på din telefon. En annan fördel med denna studie kommer att bli förbättrade resultat för förstärkt verklighet, till exempel Playmojis från Googles lekplats.

En annan möjlighet är att generera 3D-bilder från 2D-scener. Även om kamerahårdvara alltid har varit avgörande för fotografering och videografi, men vad Google har gjort under åren med programvara visar att algoritmer i framtiden kommer att vara lika viktiga och hjälpa till att ge nya upplevelser.