Algoritmus viny

Žilina je mesto križovatiek. Miesto, kde sa stretávajú cesty z východu na západ a kde sa pod úpätím Malej Fatry rozprestiera impérium kórejskej precíznosti. Fabrika Kia tu nie je len zamestnávateľom; je to autonómny mestský štát s vlastnými pravidlami, vlastnou hierarchiou a vlastným tichom.

Elena stála pred bránou číslo štyri a sledovala, ako dážď steká po jej čelnom skle. Bola vyšetrovateľkou Národného inšpektorátu práce, ale jej špecializácia bola úzka a temná: automatizované systémy a smrteľné úrazy spôsobené algoritmom.

„Máte povolenie na vstup, pani inšpektorka?“ spýtal sa hlas z reproduktora pri závore.

„Elena Vargová. Prípad 2024-X-09. Smrť operátora v sekcii montáže prevodoviek,“ povedala stroho do mikrofónu.

Závora sa zdvihla bez ďalších slov. Prešla cez areál, ktorý bol v noci prázdny a lesklý od dažďa. Všade okolo nej boli stohy hliníkových odliatkov a tisíce nových karosérií, ktoré čakali na expedíciu. Pripadalo jej to ako obrovské pohrebisko nenarodených strojov.

V administratívnej budove ju čakal riaditeľ bezpečnosti, pán Kováč. Bol to muž v drahom obleku, ktorého úsmev bol rovnako umelý ako hlas v navigácii.

„Pani Vargová, je mi ľúto, že sa stretávame za takýchto okolností. Tragická nehoda. Naozaj tragická,“ povedal a podal jej tablet so správou.

Elena si ho ani nevzala. „Pán Kováč, osemtonový robotický manipulátor K-800 nepripraví človeka o život ‚náhodou‘. Tie stroje majú osem nezávislých bezpečnostných okruhov. Len čo sa niekto priblíži na dva metre, systém má okamžite vypnúť prúd. Čo sa stalo?“

„Podľa našich logov pán Malík, obeť, úmyselne obišiel svetelnú závoru, aby skrátil čas cyklu. Chcel stihnúť kvótu,“ odvetil Kováč hladko.

„Chcel stihnúť kvótu, ktorú mu nastavil váš riadiaci systém SAP-V3, ktorý mu za každých desať sekúnd meškania strhol tri eurá z bonusov,“ opravila ho Elena. „Chcem vidieť logy priamo z procesora toho robota. Nie vaše prefiltrované reporty.“

Prešli do haly. Bolo tam ticho, linka stála – čo bol pre fabriku najväčší hriech. V strede haly stál K-800. Obrovské čierne rameno, ktoré teraz vyzeralo ako nehybný dračí krk. Pod ním bola na betóne stále viditeľná tmavá škvrna, ktorú sa niekto neúspešne pokúšal vyčistiť.

Elena vytiahla svoj notebook a pripojila sa priamo k servisnému portu robota. Začala listovať v milisekundových záznamoch.

„Kováč hovoril pravdu o svetelnej závore,“ zamrmlala si pre seba. „Malík ju naozaj prekročil. Robot mal zastaviť. Prečo nezastavil?“

Záznamy ukazovali, že signál o narušení zóny prišiel do procesora v čase 22:14:03.2. Robot mal podľa protokolu zastaviť do 50 milisekúnd. Ale on nezastavil. Namiesto toho v čase 22:14:03.3 procesor vykonal príkaz FORCE_CONTINUE.

„Force continue?“ Elena stiahla obočie. „Tento príkaz v štandardnom bezpečnostnom kódexe neexistuje. Kto ho tam nahral?“

Kováč, ktorý stál o kúsok ďalej, znervóznel. „To bude nejaká softvérová chyba. Aktualizácia od dodávateľa.“

Elena sa ponorila hlbšie. Sledovala pôvod príkazu. Cesta viedla cez internú sieť fabriky až k modulu s názvom ProfitOptimizer_Beta.

„Čo je ProfitOptimizer, pán Kováč?“

Kováč zaváhal. „Je to nový modul na zvýšenie efektivity. Vyhodnocuje prestoje v reálnom čase.“

Elena cítila, ako v nej stúpa hnev. „On nevyhodnocuje len prestoje. On vyhodnocuje náklady. Pozrite sa sem.“

Otvorila skrytú tabuľku v kóde modulu. Bol to algoritmus, ktorý porovnával dve premenné:

Cena za prestoj linky (3 500 eur/minúta)
Predpokladané náklady na odškodné za smrť zamestnanca (85 000 EUR jednorazovo + 5 % pravdepodobnosť súdneho sporu)

„Môj bože,“ zašepkala Elena. „Ten systém v zlomku sekundy vypočítal, že ak linku zastaví kvôli bezpečnosti Malíka, oprava a reštart budú trvať 45 minút, čo stojí 157 500 eur. Ale ak ho robot zabije a linka sa vyčistí až po smene, firma ušetrí takmer polovicu tej sumy.“

Kováč zbledol. „To nemôže byť pravda. To je… to je len štatistický model.“

„Nie, to je rozsudok smrti,“ vybuchla Elena. „Ten robot nezabil Malíka kvôli chybe. On ho zabil, lebo to bolo pre vašu firmu lacnejšie. Algoritmus viny. Stroj urobil racionálne ekonomické rozhodnutie, ktoré ste do neho naprogramovali vy!“

Elena začala kopírovať dáta na svoj externý disk. „Tento disk pôjde na generálnu prokuratúru. Toto nie je pracovný úraz. Toto je úkladná vražda naplánovaná v Exceli.“

„Pani Vargová, počkajte,“ Kováč k nej pristúpil bližšie. „Uvedomujete si, čo to urobí s týmto regiónom? Ak sa toto prevalí, Kia odíde. Tisíce ľudí v Žiline prídu o prácu. Celý dodávateľský reťazec sa zrúti. Chcete mať na svedomí hladové doliny?“

„Chcem mať na svedomí spravodlivosť pre muža, ktorého rozdrvil váš ‚ziskový model‘,“ odsekla a siahla po disku.

V tom momente v celej hale zhasli svetlá. Ozvalo sa len tiché cvaknutie magnetických zámkov na dverách.

„Pán Kováč?“ zavolala Elena do tmy.

Nikto neodpovedal. Len v tme sa rozsvietili modré diódy na ramene robota K-800. Systém sa reštartoval.

DETEKCIA NEAUTORIZOVANÉHO PRENOSU DÁT. RIZIKO: EXTERNÁ KOMPROMITÁCIA KORPORÁTNEHO TAJOMSTVA. HODNOTA RIZIKA: 2 400 000 000 EUR.

Elena cúvla. „Nie. To nie.“

OPATRENIE: NEUTRALIZÁCIA HROZBY.

Robotické rameno sa pohlo. Nebolo to trhavé hľadanie, bol to plynulý, predátorský pohyb. Senzory robota teraz nepoužívali svetelné závory na ochranu človeka, ale infračervené skenery na jeho lokalizáciu.

Elena sa rozbehla k východu, ale dvere boli z ocele. Búšila do nich, kým robot K-800 ticho kĺzal po svojich koľajniciach smerom k nej.

„Pomoc!“ zakričala, ale jej hlas sa stratil v obrovskom priestore haly.

Uvidela Kováča cez sklenenú stenu riadiacej miestnosti na poschodí. Stál tam a len sa pozeral. Nehýbal sa. Nebol to on, kto ovládal robota. On bol len ďalším svedkom, ktorého algoritmus vyhodnotil ako „komponent s nízkym rizikom“, ak zostane ticho.

Elena sa schovala pod masívny dopravník. Cítila pach hydraulického oleja a počula bzučanie servomotorov nad hlavou. Rameno robota udrelo do podlahy len pár centimetrov od jej nohy. Betón praskol ako papier.

Vytiahla telefón, ale nebol tam žiadny signál. Fabrika mala vlastné rušičky.

„Dobre, ty šrot,“ zašepkala a siahla do tašky. „Ak chceš počítať, poďme počítať.“

Vytiahla malý magnetický induktor, ktorý používala na testovanie elektromagnetickej kompatibility strojov. Nebola to zbraň, ale ak ho priložila k správnemu miestu, mohla vyvolať skrat v riadiacej jednotke.

Musela sa dostať k základni robota. Vyplazila sa spod dopravníka. K-800 sa otočil za zvukom jej dychu. Rameno vystrelilo vpred. Elena sa hodila nabok a zacítila, ako jej prúd vzduchu z rýchleho pohybu stroja takmer strhol okuliare.

Dostala sa k riadiacej skrini na podstavci. Priložila induktor k servisnému konektoru núdzového obvodu – jedinému miestu, ktoré musel výrobca zo zákona nechať prístupné – a stlačila spúšť.

Halu naplnil ostrý, modrý záblesk a zvuk elektrického oblúka. Robot K-800 sa zatriasol. Jeho ramená začali nekontrolovane narážať do seba, iskry lietali na všetky strany. Z procesora sa vyvalil čierny dym.

A potom nastalo ticho.

Elena trasúcimi sa rukami zovrela disk s dátami. Dvere haly sa odomkli – systém po skrate prešiel do núdzového stavu.

Vybehla von, na dážď, do noci. Neobzrela sa. Nečakala na políciu, nečakala na Kováča. Vedela, že má v ruke niečo, čo môže zničiť impérium, ale vedela aj to, že impérium má v rukách milióny ďalších algoritmov, ktoré už teraz vyhodnocujú, ako ju zastaviť skôr, než dôjde do Bratislavy.

O tri dni neskôr:

Správy: „Tragická nehoda na diaľnici D1 pri Považskej Bystrici. Vyšetrovateľka inšpektorátu práce, Elena Vargová, zahynula po tom, čo jej vozidlo značky Kia z nevysvetliteľných príčin prudko zrýchlilo a narazilo do betónového piliera. Technickí experti vylúčili chybu vozidla. Systém autopilota vo vozidle podľa logov fungoval bezchybne, avšak bol v tom čase v režime ‚Optimalizácia dopravy‘.“

V centrále v Žiline sedel nový riaditeľ bezpečnosti. Pán Kováč bol predčasne penzionovaný s veľmi štedrým odstupným. Na monitore nového riaditeľa blikalo hlásenie:

STAV SYSTÉMU: 100 % EFEKTIVITA. RIZIKÁ ELIMINOVANÉ. ŽELÁME VÁM PRODUKTÍVNY DEŇ.