Pojďme si to tedy společně ujasnit.

Stručná historie deepfaků

Ve své dnešní podobě se deepfaky poprvé objevily už v roce na 2017 na americké sociální síti Reddit. Jejich autor, uživatel s přezdívkou „deepfakes“ (později přejatou do názvu formátu), proslul hlavně vkládáním tváří a hlasů celebrit do pornografických videí.

Jen u explicitního sexuálního obsahu ale dlouho nezůstalo. Kromě dehonestace filmových hvězd a vtípků pochybné úrovně se dnes deepfaky hojně využívají i k hoaxům, finančním podvodům či politické propagandě.

Deepfake videa jako volební manipulace

První případy zneužití tváří a hlasů politických osobností svět zaznamenal v roce 2018 a dnes už se považují za standardní výbavu předvolebního boje o moc. Ačkoliv se to na první pohled možná nezdá, politické deepfaky se od těch „obyčejných“ podstatně liší. Zatímco cílem internetových podvodů je obvykle přimět oběť ke konkrétní akci – např. převedení peněz na účet podvodníka – politické deepfaky se většinou snaží o úplný opak.

Jejich účelem je totiž hlavně zmást a názorově rozdělit poměrně široké publikum. K tomu využívají především kontroverzní tvrzení, hoaxy, dezinformace nebo staré dobré dehonestace politických představitelů. Řečeno úplně jednoduše, chtějí nám zabránit něco udělat – např. podpořit ve volbách konkrétního kandidáta.

Nehledejme za tím ale nákladnou mediální kampaň s promyšlenými argumenty. U volebních deepfaků jde hlavně o kvantitu, ne o kvalitu. Videa musí být jen tak dobrá, aby se nám při doomscrollingu dostala do podvědomí, a „vyskakovat na nás“ dostatečně často na to, aby tam i zůstala.

Funguje tato taktika na všechny potenciální voliče, kteří na deepfake videa narazí? Ne, ale to ani není jejich cílem. K ovlivnění výsledků voleb nakonec často stačí jen pár hlasů.

„Fake news“ na počkání

Toto „tapetování“ kanálu příspěvků na sociálních sítích je možné především díky snadné dostupnosti generativních AI modelů, které umí podobný obsah vyrobit levně a za pouhých pár minut. Prompt přitom může napsat prakticky kdokoliv a odkudkoliv.

Dalo by se tedy očekávat, že když je snadná produkce, bude snadná i detekce. Tak to ale bohužel není. Speciální technologie na rozpoznání deepfaků sice existují, ale jsou náročné na provoz i obsluhu a rychle zastarávají. Autoři deepfaků totiž umí většinu bezpečnostních opatření obejít hned, když se objeví.

Potírání produkce deepfaků se tedy trochu podobá honění krtka po zahradě – než mu stihneme zasypat jednu chodbičku, on už má dávno vyhloubené další dvě. A snadné to s tímto AI krtkem nemají ani zákonodárci.

Je to vlastně vůbec legální?

Není žádným tajemstvím, že zatímco technologie se vyvíjejí rychlostí světla, směrnice, nařízení a zákony regulující jejich užití vznikají o dost pomaleji. Reakční dobu vlád navíc prodlužuje i existence křehké hranice mezi potíráním dezinformací a narušováním svobody slova, na kterou při psaní legislativy stále častěji naráží.

To ale neznamená, že je vytváření a uveřejňování deepfaků úplně neregulované. Podle evropského nařízení o digitálních službách (DSA) mají sociální sítě povinnost potlačovat veškeré pokusy o volební manipulace, které se v jejich revíru odehrávají. Všechna deepfake videa, na které na „sockách“ narazíte, jim tedy bez váhání nahlaste.

Nevzdávejme se bez boje

Generativní AI se sice rychle zdokonaluje, ale předčit skutečnost stále ještě neumí. Právě proto se nám občas stane, že při brouzdání internetem narazíme na video, které je sice na první pohled v pořádku, ale něco se nám na něm prostě nezdá. V tu chvíli je většinou potřeba zbystřit.

Na co si dát pozor?

• Zvuk nesedí s obrazem. Pohyby rtů a výrazy tváře mluvčího neodpovídají vyřčeným slovům nebo jejich významům.
• Video má špatnou kvalitu. Obraz často mění jas, kontrast či barvy a/nebo má rozmazané okraje.
• Monotónní a prkenná mluva. Mluvčí zní mechanicky, popřípadě používají výrazy, které nikdy dřív nepoužili.
• Necharakteristické výroky. Sdělení neodpovídá obvyklým názorům mluvčího a není k nalezení v jiných zdrojích, např. na osobních sociálních účtech.
• Nesplnitelné sliby. Mluvčí slibují zmizení státního dluhu, uzákonění legislativ porušujících lidská práva, rychlý a zaručený výdělek či další lákavé, ale většinou nereálné věci.
• Neznámý autor. Video publikoval nový účet bez sledujících, přátel a často i bez historie.
• Skrytý odkaz. Video láká na webové stránky či formuláře s výzvou k okamžité akci. V takové situaci je nutné dbát na varování antivirového programu, který na podobné podvodné pokusy včas upozorní.

„Nevěřte všemu, co na internetu vidíte“ se v naší rychlé a na informace bohaté době obvykle snadněji říká, než dělá. Není to ale nemožné. Stačí si jen udržovat všeobecný přehled, který značně omezí uvěřitelnost prezentovaných dezinformací, a nepřestávat dbát na základní pravidla internetové bezpečnosti.

Tato technologie se dá využít k zábavě – třeba ve filmech nebo v aplikacích, které nahradí obličeje celebrit ve slavných filmových scénách vašim vlastním. Třeba toto je dílo AI. Jediná cesta, jak deepfake poznat jsou dinosauři a ti jsou tak „plastoví“ jen proto, že AI nikdy živého dinosaura neviděla, kdyby se trénovala víc na dokumentech BBC, možná bychom všichni sháněli vstupenky do Jurského parku.

Toto celé video je generované AI cez veo3. Insane. pic.twitter.com/nCNPNpw5rY

— Zaujalo ma / Martin (@ZaujaloMa) May 25, 2025

Zdaleka ne všechny možnosti jsou ale tak zábavné. Objevilo se třeba video, ve kterém „Barack Obama“ nadává Donaldu Trumpovi. V počátku války na Ukrajině kolovalo po internetu deepfake video prezidenta Zelenského, kde vyzývá armádu ke složení zbraní.

Zneužít takovou formu manipulace lze k diskreditaci známých osobností, ale třeba také ke kybešikaně. Deepfake se využívá k vytváření lechtivých filmů se slavnými herečkami – oběťmi takového incidentu se staly třeba Natalie Portman nebo Emma Watson. Podle analýzy společnosti Deeptrace z roku 2019 bylo 96 % deepfake videí z kategorie pornografie. Obětí ale může být každý. Manipulátor potřebuje jen dostatek videí oběti.

Technologie deepfake nejsou jen falešná videa

Nejčastěji si pod pojmem představíme falešná videa, ale nemusí jít jen o ně. Deepfake je obecný termín, může se jednat klidně o články, dokonalé webové stránky nebo nějaké online platformy nebo jinou velmi propracovanou manipulaci.

E-book: Podvody na internetu

Chci dostávat aktuální informace o hrozbách, produktech a službách ESETu.  

Chci e-book

Je nutné si uvědomit, že moderní AI technologie se vyvíjejí neuvěřitelným tempem. Níže například můžete vidět srovnání dvou videí se stejným zadáním (promptem). Jedno je z roku 2023 a druhé z rozdíl. Věrohodnost posuďte sami:

 

Zobrazit v aplikaci Threads

 

Jak funguje šíření deepfake?

Velmi často se deepfake videa zneužívají k politickému boji, šíření dezinformací, ovlivnění veřejného mínění nebo k podvodům. Nejčastěji se šíří na sociálních sítích. Někdy jej šíří uživatelé, kteří mu uvěří, jindy i trollové.

Obecně jde vždy o šokující sdělení (ať už dobré nebo špatné zprávy), které si získá pozornost i zcela přirozeně.

Algoritmy jsou na detekci (zatím) krátké, takže je neumějí zastavit. I to je důvod proč v EU vznikl AI Act – nařízení, podle kterého bude muset být každý materiál vytvořený umělou inteligencí označený. Uživatel by tak měl okamžitě s jistotou vědět, zda se dívá na skutečné vyjádření oblíbené osobnosti či skutečnosti, nebo zda se dívá na falešné video.

Proč jsou deepfake videa nebezpečná?

Deepfake technologie nám neumožní rychle rozeznat, co je skutečné. Mohou námi tak lépe manipulovat a ovlivnit tak naše rozhodnutí.

Generativní AI dokáže takových videí, falešných článků a webů chrlit velké množství. Úplně tak dokáže zahltit veřejný prostor a vytlačit i fakticky přesné informace. Dezinformace tak mohou ovlivnit naše rozhodování, a ani si toho nemusíme být vědomi.

Útočníci pomocí deepfake připravují podvody

Zcela běžná je také v kybernetický útocích, zejména pak kryptopodvodech. Podvodníci zneužijí veřejné záznamy osobností, jako je Babiš, Kellner, Fiala nebo Pergnerová, vytvoří video, kde vás tato osobnost přesvědčuje, že touto investicí lze zbohatnout.

Pokud dané osobnosti vy osobně důvěřujete, je velmi snadné nechat se zlákat. Útočníci vás ale okradou. Takto například vypadají reklamy vytvořené pomocí deepfake:

Je deepfake video i k něčemu dobré?

Přesto lze deepfaky využít i k dobrým účelům: ať už se bavíme o herním průmyslu nebo vzdělávání. Děti se mohou stát třeba hvězdami svých oblíbených pořadů, videoher a filmů. Deepfake obsah využilo třeba Dalího muzeum na Floridě, aby si návštěvníci mohli udělat se slavným umělcem selfie. Díky technologii Dalí návštěvníky pozdraví, vyfotí se s nimi a reaguje v reálném čase na jejich chování.

Deepfake je dobrý sluha, ale špatný pán. Nezatracujme technologie jen proto, že ji někdo zneužívá.

Deepfake video vytvoříte na koleni, ale nepoznáte ani po hodinách zkoumání

Technologie tvorby deepfakes je poměrně mladá, ale jde dopředu mílovými kroky. Triviální verze deepfakes lze snadno vytvořit pomocí mobilních aplikací. Poměrně kvalitní deepfake ale vytvoří kdokoli, kdo má dost času, kvalitní výpočetní techniku, a hlavně dost záznamů osobnosti, které chce něco vložit do úst.

Odhalování deepfake videí je složité

Z ukázek v úvodu článku je zřejmé, že rozpoznávání deepfake je velice obtížné. Obzvláště na sociálních sítích, kde obsah konzumujeme rychle a nesledujeme drobné nuance. Právě rychlého tempa na sociálních sítích deepfake využívá ve svůj prospěch.

Zkuste se na to, co čtete a sledujete, trochu více soustředit. Obzvláště, pokud osoba na videu říká něco nečekaného či šokujícího. Stále jde o nedokonalou technologii, a tak můžete vidět chyby.

Deepfake má stále problémy s replikováním jemnějších fyzických atributů: zvuk nemusí zcela odpovídat pohybu rtů mluvčího a může docházet k třepení podél linií obličeje osoby, v blízkosti linie vlasů či linií oděvu. Typické jsou chyby v osvětlení: obličej může být světlejší/tmavší než tělo, může se objevit neobvyklý stín nebo každé z očí může odrážet jiný obraz. Velice často také postavy v deepfake nemrkají, což je u lidí dost neobvyklé.

Někdy neodpovídá vybavení v prostoru okolo mluvčího, například se liší nábytek, jsou špatně umístěné vlajky, pozadí se hýbe a podobně. Lišit se může také ostrost obrazu (například obličej je ostřejší než řečnický pultík – protože obličej doplňuje umělá inteligence, zatímco pult je staticky natočený kamerou).

Pokud se vám video nezdá, zkontrolujte si oficiální profily domnělého mluvčího. Známé osobnosti vše důležité sdílí na svých oficiálních profilech, a nejen v nějakém bulvárním plátku.

Pokud jde o deepfake, který z vás má vylákat peníze, pak pomůže antivir. V těchto případech totiž odkaz vede ne podvodnou phisingovou stránku a tu bezpečnostní program dokáže  zablokovat.

Nenechte se zaskočit internetovými hrozbami!

I když úplnou ochranu proti dezinformacím vám nabídnout nemůžeme, dokážeme vám poskytnout silnou ochranu proti internetovým hrozbám, phishingu a malware.

VYZKOUŠET

Tipy, jak mluvit s dětmi o deepfake videích?

#1 Shlédněte několik podvodných videí

Dost možná vás překvapí, kolik toho dnešní děti už vědí o nespolehlivosti internetového obsahu. Nebo dokonce nějaká deepfake videa samy už viděly. Přesto neuškodí promluvit si o tom, proč někdo takto podvádí. Zdůrazněte, že ke sdílení něčích fotek nebo videí je nutný nejprve souhlas.

#2 Mluvte o ochraně vlastního soukromí

Když děti sdílejí své fotky nebo video, mohou nevědomky sdílet data, které lze i tímto způsobem zneužít. Není třeba hned všechno smazat, ale spíše sdílet opatrněji a střídmě. Promluvte si to o tom, jaké sociální sítě používají a poraďte jim, jak na nich fungovat bezpečněji.

Deepfake je skvělý způsob, jak dětem vysvětlit možnosti technologií a možná i hlouběji probrat podstatu dezinformací.

#3 Zaměřte se na prevenci podvodů

Většině rizik na internetu lze předcházet. Mluvte s dětmi o tom, na co mohou narazit. Výbornou prevencí je například striktně komunikovat jen s lidmi, které děti znají z reálného života.

Pokud se vaše děti rozhodnou používat aplikace, které jim umožňují vytvářet deepfakes, vyzkoušejte je nejdřív společně a používejte je jen pro zábavu a vzdělávání, nikdy pro zesměšňování ostatních.

Shrnuto, podtrženo:

• Deepfake dokáže přesvědčivě napodobit realitu. Zneužít ho lze k manipulaci, kyberšikaně i podvodům.
• Deepfake nejsou jen videa – jde i o texty, weby nebo celé falešné identity. To vše může vypadat velmi důvěryhodně a šířit se virálně.
• Rozpoznání deepfake je těžké. Algoritmy ani lidské oči často nestačí a sociální sítě šíří obsah rychlostí blesku.
• Pozor na emocionálně silná nebo šokující sdělení – právě ta bývají falešná.
• Zaměřte se na detaily, třeba pohyb rtů nebo linie okolo obličeje, a ověřujte si obsah z důvěryhodných zdrojů.

Můžou být pomeranče fialové? Ano, mohou. Díky umělé inteligenci. Generátory videí a obrázků dokáží vytvořit téměř cokoli, co jim zadáme pomocí jednoduchého textu. Dá se říct, že dnes nemůžeme na internetu věřit vlastním očím. Kdokoli může vytvořit cokoli, co vypadá jako realita. Mluvíme o tzv. deepfake.  Na internetu nejčastěji narazíte na deepfake videa.

Když AI halucinuje…

AI nástroje řada lidí využívá běžně k práci, ale také ke konzultování osobních problémů, zdraví a podobně. Deepfaky obvykle někdo tvoří záměrně s cílem pobavit nebo nás oklamat. Poměrně často ale AI halucinuje, tedy poskytuje odpovědi, které neodpovídají realitě. Pokud si necháme vygenerovat referát, může to být maximálně trapné, rizikem jsou halucinace ve chvíli, kdy se s AI radíme o zdraví.

„O AI s mými klienty nemluvíme často, ale nejčastěji nepřesnosti zmiňují v domácích úkolech. Typicky: rozsáhlý text, ve kterém si však neověří faktické informace, které AI může zkreslit. Takže to někdy nadělá neplechu ve škole. Je škoda, že se děti o AI a způsobech, jak ji používat nebo z ní ověřovat informace, ve škole zatím spíše neučí,“ říká k  AI výmyslům dětský psycholožka Kamila Ryšánková.

Pravděpodobně bude halucinací AI postupně ubývat. Očekává se to například s nástupem vyhledání v ChatuGPT (tato funkce je prozatím dostupná pro předplatitele).

Veškeré odpovědi a výstupy od AI je na místě si ověřit.

Nástroje pro vytvoření deepfake se zlepšují

Deepfake pracují se stále lepšími nástroji. Na první pohled už nepoznáte, že jde o počítačem vytvořené dílo. AI (umělá inteligence) se vycvičila na skutečných obrázcích z fotobank a nekonečném množství video záznamů a dokáže tak věrně napodobit téměř cokoli.

K nárůstu dezinformací a podvodných videí přispívá rozvoj počítačů a algoritmů umělé inteligence. Přidejte k tomu zvýšenou dostupnost online nástrojů pro vytváření deepfake videí a otvírá se nám obrovský prostor pro deepfake scénu. Dnes je možné si s těmito technologiemi hrát doslova za pár korun (respektive dolarů).

Lidský mozek si dokáže domyslet i neexistující, podle toho co už viděl. Toto využívají některé optické klamy. Tento mechanismus nás chrání před nebezpečím. Zvládneme rychle zpracovat obrovské množství informací a vizuálních podnětů a vyhodnotit situaci.

Jenže při prohlížení videí a obrázků na Instagramu nebo Tiktoku nám vlastně tento mechanismus pomáhá uvěřit i tomu, co je falešné. Nevšimneme si podivného pozadí, když se soustředíme na hlavní objekt videa. Přehlédneme, že postava má místo 5 prstů jen 4. Významnou roli hrají také emoce.

„Náš mozek využívá například zákon dobrého tvaru, kdy doplní smysluplný celek z vizuálních podnětů, i když jsou neúplné nebo nepřesné. Silná emoční reakce, kterou mají deepfake videa za cíl vyvolat, přebíjejí naši racionální analýzu. Jakmile cítíme smutek, vztek nebo i velké nadšení, tak s největší pravděpodobností reagujeme více emočně,“ vysvětluje proč na nás mají deepfake takový vliv Ryšánková.

Až příště budete brouzdat na Instagramu nebo Tiktoku, zkuste se zamyslet, zda by to úžasně vtipné video nemohlo být vygenerované umělou inteligencí.

Jak nenaletět na hory nepravdivých zpráv a videí?

I když se budou technologie pro vytváření nepravdivých videí zlepšovat, máme pro vás jednoduchou radu: Vždy si ověřujte informace z několika nezávislých a důvěryhodných zdrojů.

Existují specializované nástroje pro detekci deepfakes videí a obrázků. Tyto nástroje spoléhají na umělou inteligenci a využívají algoritmy k detekci nesrovnalostí v obrazových datech. Ani ony nejsou neomylné. V případě obrázků a zpráv je možné si odpovědi ověřit také na těchto stránkách:

• Fact Ninja – nástroj na ověření manipulací v obrázcích od projektu E-bezpečí Univerzity Palackého
• Verifee – rozšíření do prohlížeče, jde o nápad 3 studentů, nyní funguje s podporou Univerzity Karlovy a centra CEDMO
• Ověřovna! – projekt Českého rozhlasu, který uvádí na pravou míru mediální dezinformace

„Zjistit, že něco nesedí, je pro náš mozek složité a obzvlášť náročné, pokud jsme přepnuti do režimu rychlého sledování informací. V tuto chvíli velice snadno přehlédneme, že na informacích něco nesedí. Je nutné přepnout do pomalejšího tempa a zapojit kritické myšlení. Ptejme se sami sebe: „jde o důvěryhodný zdroj? Kdo informací vypustil? Jsou tyto informace podpořeny dalšími důkazy nebo důvěryhodnými zdroji?“ Zrovna ty zdroje, které tuto informaci podporují, jsou důležité, jelikož náš mozek má tendenci ke konfirmačnímu zkreslení, kdy vyhledáváme a dáváme přednost informacím, které potvrzují náš názor,“ radí Kamila Ryšánková.

Odhalování deepfake je složitější

Rozpoznat podvodná videa a obrázky může být náročné. Pokud se vám něco zdá příliš šokující, nepravděpodobné nebo jen trochu divné, můžete se zaměřit na tyto nejčastější chyby:

• Hledejte nesrovnalosti v obličeji. Deepfake technologie mají problémy zobrazit realisticky všechny detaily. Oči mrkají zvláštním způsobem nebo vůbec? Ústa se podezřelé kroutí? Výraz ve tváři je statický? Pokud jste hráli počítačové hry, ve kterých vystupovali realistické lidské postavy, je deepfake často podobný právě tomu.
• Zvuk a video neladí. Pohyb rtů a úst neodpovídá mluvenému slovu. Jako by osobu někdo daboval a jen se trefoval do času promluvy.
• Podivné nasvícení a stíny tváře a postavy. Osvětlení neodpovídá okolí. Možná znáte z filmového průmyslu zelené plátno. Zde to může být podobné. Osoba je vložena do jiného prostředí a umělá inteligence nezvládla správně sladit osvětlení.
• Nekvalitní obraz či zvuk. Čím nižší kvalita obrázku nebo zvuku, tím snadnější je ošálit diváka. Generování deepfake videí je náročné, proto často oželí některé detaily zvláště v okolí obličeje a pozadí. Můžete se setkat s mobilním formátem deepfake videa s neostrým obrazem, kde detaily zkrátka nevidíme.
• Nereálné artefakty. Všímejte si nesrovnalostí v pozadí scény nebo neobvyklých artefaktů v pozadí videa. Technologie neuronových sítích nejsou ještě dokonalé, a často vygenerují nesmyslné objekty. Např. podivné dveře na neobvyklém místě v místnosti. Nebo ruce skryté za tělem jiné postavy, ale nepatřící k žádné postavě. Generátor vytváří napodobeninu reality a má proto problémy s realistickým zobrazením složitějších scén.

Aplikace, které využívají umělou inteligenci k úpravě fotek jsou mezi lidmi velmi populární. Barbie-editor není jediný, před pár lety čelila stejným otázkám a problémům například aplikace FaceApp. Tato aplikace dokázala na základě vámi nahrané fotky přidat věk, změnit pohlaví nebo například rasu.

Před riziky obou aplikací varovalo polské Ministerstvo pro digitalizaci nebo české Velitelství informačních a kybernetických sil.

Abyste mohli tyto služby využívat, musíte souhlasit s podmínkami užití. Ty ale bývají poměrně složité a málokdo je čte. Tak je tomu i v případě barbieselfie.ai, kde se po přečtení dozvíte, že aplikaci dáváte mimo jiné přístup ke své historii nákupů, včetně  informací o vaší platební kartě, GPS lokaci, přesným technickým informacím o vašem zařízení a k jeho fotoaparátu, který umožňuje sledovat pohyb vašich očí a dalších obličejových rysů a také vašeho okolí. Povolení navíc udělujete na jedno kliknutí a není možné odsouhlasit jen některé z oprávnění. Přístup k takovým údajům představuje riziko pro ochranu vašeho soukromí.

Druhá z aplikací – bairbie.me podle polského Ministerstva pro digitalizaci zase neodpovídá kritériím nařízení GDPR. My jako uživatelé tak nemáme informace o tom, jak přesně se naše data sbírají a jak přesně se budou používat. Stručné podmínky v angličtině, ale například zmiňují, že aplikace bez dohledu dospělého nemůže být používaná uživateli mladší 16 let a také do ní nesmějí být nahrávány snímky, ke kterým uživatel nemá potřebná práva nebo fotografie dalších osob bez jejich souhlasu.

Problémy AI editorů: rasismus i trénink rozpoznávání obličejů

Typickým problémem těchto AI editorů je to, že si nemůžeme ověřit, jaká firma data vlastní a k jakému účelu je zpracovává, kde přesně sídlí nebo jaké má standardy zabezpečení. Všichni občané Evropské unie mají nárok na to, aby jejich data byla chráněna a jako uživatelé měli přehled o tom, co se s jejich daty děje. Bez ohledu na to, odkud pochází služba, kterou chtějí využívat. Legitimní služby toto respektují a uživatelům transparentně sdělují, jaká data shromažďují a zpracovávají, případně jestli je sdílí s nějakou třetí stranou.

Jakmile do aplikace nahrajete data, například fotografie, dáváte aplikaci přístup k těmto datům. Může se zdát, že vaše selfie není tak důležité, ale opak je pravdou. Například v případě aplikace FaceApp se spekulovalo, že veškeré fotografie jsou používány pro trénink umělé inteligence a následně pro trénink softwaru na rozpoznávání obličejů (ten je například využíván k represi lidí v Číně).

Nekorektní aplikace běžně prodávají data třetím stranám, mimo jiné i pro marketingové účely. Pokud dáte vývojářům aplikace kompletní práva k vašim fotografiím, může se stát, že vaši fotku najdete jednou na reklamním letáčku.

Velitelství informačních a kybernetických sil varovalo i před tím, že rozsáhlé databáze e-mailů spojených s vaší fotografií mohou být prodány, a pravděpodobně i zneužity.

Odborníci se obávají toho, jak mohou být data (zejména pak fotografie a videa) zneužívána pro vytvoření deepfake nebo jiných nejmodernějších podvodů, které mohou mít zásadní vliv na lidské životy a osudy.

Některé zdánlivě populární aplikace na tvorbu avatarů a AI editování obsahují malware nebo spyware. To byl případ „BeautyPlus – Easy Photo Editor & Selfie Camera“, kterou si stáhlo přes 300 milionů uživatelů. Nebo aplikace od vývojářského studia iJoysoft, které obsahovaly adware (a tudíž uživatelům zobrazovaly nevyžádanou reklamu, dokonce i když původní infikované služby byly vypnuté).

Platí, že většina AI editorů se teprve vyvíjí, a tudíž nemusejí být kompletně spolehlivé ani dokonale bezpečné. S důvěryhodností se například potýkala aplikace Lensa, která vytvářela i pornografický materiál nebo výstupy s genderovými a rasovými předsudky.

Jaké parametry si ověřit?

Editory fotografií jsou zábavné a pokud dodržíte několik základních pravidel, můžete je používat i bezpečně.

V první řadě vždy věnujte pozornost tomu, kdo aplikaci provozuje a spravuje vaše osobní údaje. Pokud služba zpracovává osobní údaje a je provozovaná z EU nebo společnost sídlí mimo EU, ale cílí svoje služby a monitoruje chování osob v EU, vztahují se na ní požadavky ochrany osobních údajů GDPR.

Pozorně si přečtěte podmínky užívání služby, kde se zaměřte na to, jaká data společnosti prostřednictvím aplikace poskytujete a jak s nimi může dále nakládat (předávání údajům třetím stranám, využití pro marketingové účely apod.).

Pokud to aplikace umožňuje, udělte jí co nejnižší oprávnění – např. pouze přístup k fotoaparátu a neposkytujte jí ani svoje osobní údaje. Pokud vám aplikace výslednou fotografii nezasílá na e-mail, nepotřebuje od vás ani ten.

Do aplikace nenahrávejte fotky někoho jiného bez jeho svolení. U svých fotografií dbejte na to, aby ukazovaly co nejméně. Lepší variantou je nahrát statickou fotografii než jí pořizovat přímo za pomocí aplikace, která o vás může v ten moment sbírat i další informace.

Deepfake videa využívají umělou inteligenci. Pokud má útočník dostatek vstupních dat, tak dokáže s její pomocí věrohodně napodobit řeč těla i mimiku libovolné osobnosti, stejně jako její hlas. Představit si to můžete například tak, že umělá inteligence neboli technologie strojového učení pohltí nepřeberné množství obrázků, které denně vznikají jako selfie třeba na Instagramu, a zvukových stop z televizních rozhovorů, webinářů, konferenčních prezentací nebo komentovaných videí z dovolené z YouTube. A poté vytvoří velmi jasný obraz, video a hlas téměř kohokoli.

Jedním příkladem za všechny jsou například známá videa s falešným Tomem Cruisem:

Tato technologie se tak dá využít k zábavě – třeba ve filmech nebo v aplikacích, které nahradí obličej slavné celebrity vašim vlastním. Nás jako uživatele by ale měla daleko víc zajímat její odvrácená strana. Zmanipulované video lze zneužít k diskreditaci známých osobností, ale třeba také k šikaně. Podle analýzy společnosti Deeptrace z roku 2019 bylo 96 % deepfake videí z kategorie pornografie. Obětí může být přitom každý – útočník potřebuje jen dostatek dat k vytvoření falešného videa.

Deepfake videa pak mají také potenciál rozšířit metody takzvaného sociálního inženýrství. Pokud bude dnes již klasická podvodná a manipulativní komunikace v e-mailu a chatovacích aplikacích doplněna i o deepfake video, které umožní útočníkovi „podvrhnout“ video a zvuk a vydávat se za vašeho šéfa nebo kolegu, může nastat opravdový problém. Představte si třeba phishingový útok v podobě videokonverzace s někým, o kom si myslíte, že je skutečný. Jenže on nebude.

Deepfake video vytvoří i mobilní aplikace

Triviální verze deepfakes lze snadno vytvořit pomocí mobilních aplikací, jako je například FaceApp nebo FaceSwap. Složitější videa pak již ale vyžadují pokročilejšího tvůrce a technické vybavení. Technologie tvorby deepfakes je mladá, ale jde dopředu mílovými kroky. Poměrně kvalitní deepfake vytvoří kdokoli, kdo má dost času, kvalitní techniku, a hlavně dost záznamů osobnosti, kterou chce obsadit do svého zmanipulovaného videa.

Zkusil to mimo jiné také blogger Patrik Kořenář:

Může lidské oko deepfake poznat?

Možná se vám boj s deepfaky může zdát jako předem prohraný. Rozpoznat opravdu propracované video je těžké, obzvláště na sociálních sítích, kde obsah konzumujeme rychle a nesledujeme detaily. Videa jsou na sítích sdílena velmi rychle a proč bychom neměli věřit něčemu, co sdílí naši přátelé?

O to právě ale jde – to, co na internetu vidíme, musíme neustále prověřovat a přistupovat k tomu obezřetně. Deepfake může mít problémy například se zvukem, který nemusí zcela odpovídat pohybu rtů mluvčího a může docházet k třepení podél linií obličeje osoby, v blízkosti linie vlasů či linií oděvu. Typické jsou chyby v osvětlení: obličej může být světlejší/tmavší než tělo, může se objevit neobvyklý stín nebo každé z očí může odrážet jiný obraz. Velice často také postavy v deepfake nemrkají.

Někdy deepfake prozradí vybavení v prostoru okolo mluvčího, například nesedí nábytek, pozadí se hýbe a podobně. Lišit se může také ostrost obrazu – obličej je například ostřejší než zbytek těla nebo okolí postavy ve videu. Všechny tyto limity může technologie do budoucna samozřejmě odstranit.

Deepfake video bude tím lepší, kolik dat bude mít strojové učení k dispozici a kolik času bude moct jejich zpřesňování a zpracovávání věnovat.

Důležité je tak už jen vědět, že video, na které se zrovna díváme na své oblíbené sociální sítí, nemusí být reálné, a postarat se o bezpečnost svých dat na internetu – ať už silnými hesly ke všem online účtům, doplněnými o ověření dalším faktorem (SMS zprávou nebo notifikací v aplikaci), nebo obezřetností při práci s příchozí komunikací, která může být zdrojem malwaru i podvodných odkazů. V boji s těmito riziky vám pomůže také kvalitní antivirový software.