„Nečekáme, až nám uživatel napíše.“ Jak s týmem lékařů učíme AI rozeznat chyby
V čem spočívá tvoje role?
Když se řekne AI developer, většina lidí asi nebude úplně vědět, co si pod tímto pojmem představit. Jak bys laikovi vysvětlil, co vlastně děláš?
Učím AI, jak psát lékařské zprávy. To sice sám neumím, ale naštěstí máme lékaře, kteří mi vysvětlí, co dělá správně a co špatně. Pak taky měřím, jak dobře jí to jde, a navrhuju, jak by měla v aplikaci fungovat. K tomu trocha prompt engineeringu, trocha klasického programování. „AI Developer” se taky dá číst jako „AI v roli vývojáře”, což je čím dál tím pravdivější. Někdy mám pocit, že moje práce je hlavně kontrolovat, jestli AI udělala práci správně, a pak jí slušně vynadat, když ne.
Je psaní promptů spíše technická záležitost, nebo musíš být tak trochu psycholog a vědět, jak na AI mluvit?
Kamarád má mimořádně nadané dítě. Umí třeba přečíst meziměstské zastávkové jízdní řády, čímž mě už intelektuálně překonalo. Jeho táta, když s ním mluví, občas úplně zapomene, že je to děcko, protože má spoustu rozumu. Ale pak přijdou situace, kdy se věk projeví. Třeba když zatvrzele odmítá jídlo, které ani neochutnalo. S AI je to podobné. Je neskutečně schopná, člověk ji začne brát jako kolegu, humanizuje ji. A pak zjistí, že jí chybí úplně základní ukotvení v realitě. Třeba že u ženy nás nezajímá, že nemá zvětšenou prostatu, přestože je to pravda. Nemyslím, že na psaní promptů je třeba být psycholog, spíš je to někdy zkouška trpělivosti.
Vzpomeneš si na svůj první den v Auris One? Jak se tvůj pracovní den od té doby změnil?
První den? Shledání po letech se staronovými kolegy, seznamování s Ninou a spousta zápalu pustit se do něčeho, co pomůže lékařům věnovat se víc pacientům než papírům. Ale taky nejistota, nevěděl jsem, jestli to vůbec půjde. Dneska máme lékaře, kteří Auris denně používají, takže už víme, že to funguje. Máme produkt, užitečnou zpětnou vazbu a jasnou představu, kam Auris dále rozvíjet.
O magii mluvení s AI
Můžeš uvést příklad, kdy AI nechtěla udělat to, co jsi po ní chtěl? Jak se taková situace řeší?
Spíš opačný problém. AI chce pomoct až moc. Řeknete jí: „Pokud v záznamu není zmínka o alergii, napiš, že alergie nebyla zjištěna.” Ona to udělá. A pak, pro jistotu, přidá pět odstavců o tom, co by pacient měl dělat, kdyby alergii náhodou měl. Případně doporučí návštěvu alergologa. Případně celý seznam alergenů, kterým by se měl teoreticky vyhýbat. Chce být užitečná. Až příliš.
Feedback a jak se aplikace učí
Když nám uživatel napíše, že z Auris vypadl jiný výsledek, než by chtěl, jak se to řeší?
Nečekáme, až nám uživatel napíše. Máme skupinu lékařů, kteří Auris testují v praxi. Když udělají jakoukoliv úpravu ve výsledné zprávě, přidají komentář, proč tu změnu udělali. My potom každou takovou změnu procházíme s našimi lékaři, kteří nám dovysvětlí, jak to uživatel myslel, protože ne vždycky je to na první pohled jasné. A pak ji přetvoříme na takzvaný „eval”, hodnoticí funkci, která na vygenerované zprávě pozná, jestli vyžaduje tento typ úpravy, nebo je v tomto ohledu v pořádku. Už máme stovky takových evalů. Je to jako sbírka všech způsobů, jak se AI může splést.
Je těžké balancovat mezi tím, co chceme my, a tím, co si vymýšlí samotná AI?
AI má sklony ke kreativitě tam, kde ji nikdo nežádá. Lékařská dokumentace není místo pro uměleckou licenci. Ani pro domýšlení, co by pacient asi mohl mít, kdyby měl jiné příznaky. Takže ano, je to balancování. Na jedné straně chcete, aby byla chytrá a rozuměla kontextu. Na druhé straně chcete, aby přesně dodržovala pravidla a nic si nepřidávala. Je to trochu jako pracovat s velmi nadšeným kolegou, který má skvělé nápady, ale občas zapomene, že některé věci se prostě dělají podle postupu.
Máš nějaký konkrétní příklad vylepšení z poslední doby, které vzniklo čistě na základě zpětné vazby od uživatelů?
Jeden lékař nám napsal, že Auris píše moc dlouhé věty. Prý to působí neprofesionálně. Tak jsme se na to podívali a zjistili, že má pravdu. Auris měla tendenci cpát do jedné věty tři různé informace, oddělené čárkami a pomlčkami. Vypadalo to jako právnický dokument. Teď kontrolujeme průměrnou délku věty a Auris píše úsečněji. Ten lékař byl spokojený. My jsme byli spokojení. Auris pravděpodobně taky, ale to se těžko ověřuje.
Co se do kódu nevešlo
Stalo se ti někdy, že tě výsledek, který ti AI vyplivla, upřímně rozesmál?
To se děje celkem často a snažím se o tyhle perly podělit s kolegy. Jednou třeba Auris zařadila „koupání v rybníce” do osobní anamnézy. Myslím, že to není chyba, je to taky svým způsobem diagnóza.
Používáš AI i ty sám v soukromí, nebo toho máš po celém dni v práci plné zuby?
Filozofické debaty. Když chci probrat něco, s čím bych otravoval kamarády, otravuji místo toho AI. Ona si nestěžuje. A pak vibe coding: řeknu AI, co chci naprogramovat, a ona to naprogramuje za mě. Funguje to překvapivě dobře. Cítím se pak trochu zbytečný, ale aspoň mám čas na ty filozofické debaty.
Kam se podle tebe v Auris One posuneme za rok?
Auris bude generovat zprávy, které 90 % lékařů ušetří 90 % psaní. Bude samozřejmou součástí ordinace, něco, bez čeho si lékař práci nedokáže představit. Cíl je, aby lékař trávil čas s pacientem, ne s klávesnicí. Zatím to vypadá, že jsme na dobré cestě.
