„Jak je to přesné?“ ptá se každý, kdo k AI přepisu přijde poprvé. Upřímná odpověď zní: záleží na epizodě. Klidný rozhovor dvou lidí nahraný na kvalitní mikrofony dopadne jinak než panelová diskuse čtyř lidí přes videohovor. Procento uvedené na stránce produktu je proto průměr naměřený na cizím zvuku.
Konkrétní číslo tedy nedostanete. Dostanete dvě věci: přehled toho, co přesnost skutečně ovlivňuje, a 10minutový test, který ukáže chybovost u vaší epizody.
Co ovlivňuje přesnost
| Faktor | Proč na něm záleží | Co pomáhá |
|---|---|---|
| Kvalita zvuku | Hluk na pozadí, ozvěna a komprese skrývají zvuky, které model potřebuje | Tichá místnost, mikrofon blízko úst, lokálně nahraná stopa |
| Překrývající se řeč | Když mluví dva lidé najednou, obvykle nejde zapsat oba | Požádejte hosty, ať si neskáčou do řeči; tyto pasáže zkontrolujte poslechem |
| Jména a odborné výrazy | Vzácná jména, značky a odborné termíny se hádají podle zvuku | Každé jméno ověřte na stránce epizody nebo na webu hosta |
| Přízvuky a rychlost řeči | Méně běžné přízvuky a velmi rychlá řeč zvyšují chybovost | Nastavte správný mluvený jazyk; rychlé pasáže projděte |
| Míchání jazyků | Mluvčí, který uprostřed věty přepne jazyk, jazykový model zmate | Počítejte s dalšími chybami v místech přepnutí |
| Čísla a data | Číslice a jednotky se snadno přeslechnou („patnáct“ a „padesát“) | Ověřte každý údaj, který chcete použít |
Nic z toho není specifické pro jeden nástroj. Rozpoznávání řeči funguje takto: model převádí zvuk na nejpravděpodobnější slova a nepravděpodobná slova obvykle prohrávají.
10minutová kontrola na vzorku
Přesnost přepisů se obvykle udává jako word error rate (WER), tedy slovní chybovost:
WER = (substitutions + deletions + insertions) / words in the correct text- Substituce je špatné slovo („patnáct“ místo „padesát“).
- Vynechání je slovo, které zaznělo, ale chybí.
- Vložení je slovo v přepisu, které nikdo neřekl.
WER 5 % znamená zhruba jedno špatné slovo z dvaceti. Čím nižší, tím lépe. Změřit ho lze na vzorku, není třeba kontrolovat celou epizodu.
- Vyberte tři úseky po zhruba jedné minutě: jeden ze začátku, jeden z poloviny a jeden z konce. Vynechte reklamy a hudbu.
- Poslouchejte a opravujte. U každého úseku čtěte přepis a zároveň poslouchejte. Označte každou substituci, vynechání a vložení. Přehrávejte běžnou rychlostí, většinu chyb odhalíte hned při prvním poslechu.
- Spočítejte slova v opraveném úseku. Minuta rozhovoru má často 130 až 170 slov.
- Sečtěte chyby a vydělte je počtem slov. Stejně postupujte u všech tří úseků a výsledky zprůměrujte.
- Zapište si, kde chyby vznikají. Pokud je většina u jmen a čísel, přepis se dá číst bez potíží, jen ho před citováním potřebuje rychle zkontrolovat.
Použijte jednoduchou tabulku:
| Úsek | Slova | Substituce | Vynechání | Vložení | WER |
|---|---|---|---|---|---|
| Začátek | 150 | ||||
| Střed | 150 | ||||
| Konec | 150 |
Tři minuty zvuku jsou malý vzorek, výsledek proto berte jako orientační. Než se na nástroj spolehnete, otestujte ho ještě na druhé, náročnější epizodě.
Ne každá chyba stojí stejně
WER počítá všechna špatná slova stejně, čtenář je ale nevnímá stejně. Chybějící „že“ skoro nevadí. Špatné jméno nebo přehozená negace změní smysl. Při kontrole se proto zaměřte na:
- Jména lidí, firem a míst
- Čísla, data, ceny a procenta
- Negace („může“ a „nemůže“, „udělal“ a „neudělal“)
- Citace, které chcete použít doslova
Jak zrychlit kontrolu
Nejvíc času při ověřování zabere hledání správného místa ve zvuku. V Podcast To Transcript má každý řádek přepisu časovou značku a označení mluvčího. Kliknutím na řádek se přehrávač přesune na dané místo, takže pochybnou pasáž uslyšíte během pár sekund a epizodou nemusíte posouvat sem a tam. Před přepisem nastavte správný mluvený jazyk a jména a čísla kontrolujte společně se zvukem.
Pokud na přesnosti záleží v práci, například u citací v článku nebo ve studii, podívejte se na stránky pro novináře a výzkumníky a na průvodce přepisem podcastu. Jak ověřené údaje správně citovat, najdete v článku jak citovat podcast.
Shrnutí
- Přesnost určuje hlavně váš zvuk.
- Změřte ji: tři jednominutové vzorky, spočítejte chyby, vydělte počtem slov.
- Jména, čísla, negace a citace před zveřejněním vždy zkontrolujte poslechem.
Často kladené otázky
Jak přesný je AI přepis podcastu?
U srozumitelné řeči jednoho nebo dvou mluvčích přepíšou dnešní nástroje správně drtivou většinu slov. Přesnost klesá u hudby v pozadí, skákání do řeči, výrazných přízvuků a nahrávek pořízených telefonem. Skutečné číslo ale znáte až díky vlastnímu měření na epizodě, viz kontrola na vzorku výše.
Co je word error rate?
Word error rate (WER) je podíl slov, která jsou oproti správnému znění špatně, chybí nebo přebývají. WER 5 % znamená zhruba 5 chyb na každých 100 slov. Všechna slova se počítají stejně, takže metrika nezohledňuje, že špatné jméno vadí víc než špatné „že“.
Proč se nejčastěji chybuje u jmen a čísel?
Vzácná jména, názvy značek a čísla se z kontextu předvídají špatně, model se tak nemá o co opřít. Zároveň jsou to slova, kterým čtenář věří nejvíc, proto kontrolní seznam výše začíná právě jimi.
Můžu přesnost zlepšit ještě před přepisem?
Ano. Pokud to jde, nahrávejte každého mluvčího na samostatný mikrofon, hudbu pod řečí držte potichu a mluvený jazyk nastavte ručně, nespoléhejte na automatickou detekci. Kvalitnější zvuk pomůže víc než jakékoli nastavení.
Musím přepis ještě pročíst?
Ano, pokud jde o cokoli veřejného. AI text berte jako rychlý první koncept. Jména, čísla a citace zkontrolujte poslechem a před zveřejněním je opravte. Podcast To Transcript drží časové značky u každého řádku, takže můžete skočit na přesnou vteřinu a poslechnout si ji. Co který plán obsahuje, najdete na stránce ceník, a průvodce přepisem podcastu vás provede jednotlivými kroky.
