Co się jeszcze może zepsuć?

Co się jeszcze może zepsuć? W zasadzie wszystko. Ostatnio powiało strachem, gdy na całym świecie padł Facebook. Był moment, gdy obawiano się, że awaria jest terminalna i przepadną wszystkie zdjęcia z wakacji, filmiki z kotami i wybuchy hejtu. Po paru godzinach program wrócił, awaria pewnie już została zapomniana. Ale koniec był bliski – pisze Jan ŚLIWA

.Trochę wcześniej źle prowadzony statek stanął w poprzek Kanału Sueskiego i go zablokował. Już zaczęły się dyskusje o przerwanych łańcuchach dostaw i kosztach opływania Afryki. Po niedługim czasie statek udało się wyprowadzić i otworzyć kanał.

Pokazało to wyraźnie, jak wielka jest nasza zależność nawet od stosunkowo drobnych wydarzeń. Nie ma w tym niczego demonicznego, maszyny nie przejmują nad nami władzy. Problem w tym, że my sami, dążąc do wygodnego życia, im tę władzę przekazujemy. Każda nowa rewolucja technologiczna tę zależność pogłębia.

I tak przy końcu epoki lodowej, jakieś 12 tysięcy lat temu, ludzie zajmowali się myślistwem i zbieractwem, w tym ziaren z dzikich traw. Pewnego dnia jakaś kobieta (mężczyźni byli na polowaniu) wpadła na pomysł, by zachować trochę dobrych ziaren i zasiać je na żyznym kawałku ziemi. A na wiosnę zebrać – w tym samym miejscu. Stali się ci ludzie więc posiadaczami tego miejsca. Zostali tam na dłużej, zbudowali więc solidniejsze chaty dla siebie i jako spichrze. Chcieli to wszystko chronić przed innymi. Ogrodzili swój teren, silni mężczyźni stali się regularnymi wojownikami. Większa osada wymagała zarządzania, produkcja i handel wymagały liczenia i zapisywania. I tak od celowo zasianej garści zboża dochodzimy do własności prywatnej, miast, armii, królów, pisma i matematyki.

Podobnie w XVIII wieku, zaczynając od wynalezienia latającego czółenka tkackiego i mechanicznej przędzarki (Spinning Jenny), dochodzimy do rewolucji przemysłowej. Łatwo dostępny węgiel i teoria termodynamiki dają sprawną maszynę parową. Węgiel i ruda dają stal, a krok po kroku brytyjskie okręty lądują w delcie Rzeki Perłowej. Wzrost jakości życia dał eksplozję demograficzną, która zasiliła ekspansję kolonialną. Technika, w tym karabin maszynowy Maxim, pozwoliła na wygrywanie wszystkich bitew.

Dalej moglibyśmy wymienić elektryczność, komputery, telekomunikację, powszechne smartfony i konkretne aplikacje, jak wspomniany Facebook.

We wszystkich przypadkach przekroczona zostaje granica, osiągnięty jest punkt bez powrotu. Rolnictwo pozwalało na wyżywienie dziesięciokrotnie większej ludności i mimo romantyzmu życia łowcy nie było już wyboru. Widzimy też, że początkowe małe kroki mają dalekosiężne konsekwencje dla sposobu życia i organizacji społeczeństwa. Można się tego domyślić, lecz jakie dokładnie będą to konsekwencje, przewidzieć się nie da. A ponieważ nie ma powrotu, pojawia się zależność. Po paru dniach bez prądu zaczynają umierać ludzie. Pod wyłączonymi respiratorami, bez transportu i pożywienia – produkty w chłodniach można wyrzucić. I tak jest ze wszystkim, nawet ten Facebook bywa używany do poważnej komunikacji, a u niektórych jego brak może prowadzić do zaburzeń psychicznych. Wydana w 2020 minipowieść Silence Dona DeLillo opisuje artystycznie to zjawisko: wyłącza się telewizja, internet, wreszcie prąd – ludzie czekający na transmisję meczu snują się bez celu po mieszkaniu, wpatrują się w ciemny ekran, powtarzają z pamięci słyszane setki razy teksty reklam.

Obecnie jako postęp przedstawiana jest transformacja energetyczna, przejście na odnawialne źródła energii. Jednak nie jest organiczna, jak poprzednie rewolucje, lecz zarządzana administracyjnie. Powiedzmy sobie szczerze: przez ludzi, których nie podejrzewam o znajomość prawa Ohma i zjawiska fotosyntezy, gdzie pochłaniany jest CO₂. Fakt, za nimi są eksperci, ale wywierana jest na nich ogromna presja, również przez parady pątników, krucjaty dziecięce, doprowadzone do zbiorowej histerii. Myślenie grupowe (groupthink) utrudnia dyskusję, dyskusje o ekologii pełnego cyklu elektromobilności są rzadkie. Równocześnie ma gigantycznie wzrosnąć zapotrzebowanie na produkcję i gromadzenie elektryczności oraz redukowane mają być stabilne źródła energii. To się nie spina. Niemcy podłączają się do Nord Stream 2 i ze zdumieniem zauważają, że rosyjski partner („to tylko projekt biznesowy”) stosuje gaz jako broń. Nadciągający kryzys energetyczny jest tylko zapowiedzią przyszłych atrakcji. A powtórzmy – bez prądu nie działa nic.

Systemy techniczne nie mogą być analizowane w izolacji. Oddziałują one ze światem materialnym i ludźmi, ich psychiką i życiem społecznym. Możemy więc mówić o systemach cybernetyczno-fizyczno-społecznych (Cyber Physical Social Systems, CPSS). Przykład na poniższym rysunku odnosi się do inteligentnego urządzenia medycznego, ubieranego lub implantowanego. Do jego sprawnego działania potrzebna jest obecność wspierających systemów (zasilanie, internet…) i osób o różnych funkcjach. Należy się też zabezpieczyć przed działaniami szkodliwymi. Urządzenie jest materialne, podlega zużyciu, implantowane oddziałuje z tkanką. Otoczeniem jest szeroko pojęta natura, jak pola elektromagnetyczne, które mogą zakłócać jego działanie.

Często pomija się człon społeczny, jest on jednak istotny. System zarządzania paszportami sanitarnymi może doprowadzić do konfliktów społecznych i upadku rządu. Sama część techniczna nie oddziałuje bezpośrednio z materią, przetwarza tylko informację. Ale korzystają z niej ludzie, którzy innych ludzi wpuszczają do restauracji lub nie, używając perswazji lub siły fizycznej. Zamiast ludzi mogłaby to być mechaniczna bramka, ale efekt jest ten sam.

Projektowanie takich systemów wymaga specyficznej mentalności. Zawsze należy pamiętać, co jest efektem działania, jak jest to niezbędne i jakie szkody może spowodować błąd. W klasycznym bloku IF-THEN-ELSE musimy precyzyjnie sprawdzić warunek i dobrze wyważyć akcję. Jeżeli programujemy inteligentny dom dla starszych osób, musimy wiedzieć, czy taka osoba porusza się po mieszkaniu, wstaje z łóżka, nie upada. Co robić, gdy coś jest nie w porządku (dana osoba może mieć demencję)? Zwrócić uwagę lekarza, rodziny? Jak szybko? Jak to się ma do ochrony danych? Taka osoba ma swoją godność, ale też nadzór może jej ratować życie. Widzimy, że proste IF-THEN-ELSE może mieć znaczenie etyczne.

Klasyczny przykład etyki komputerowej to samochód autonomiczny: co zrobić, gdy na jednej trasie stoi staruszek, a na drugiej biegnie trójka dzieci. Do tego identyfikacja sytuacji musi być niezawodna. A nie jest. No i kto jest odpowiedzialny w razie wypadku? Pasażer, który może przejąć stery, producent, programista algorytmu? Można zapytać – a co wtedy robi człowiek, kierowca bez wspomagania? Człowiek ma tak mało czasu, że nie przelicza algorytmów etycznych, robi cokolwiek i musi z tym jakoś żyć.

Systemy informatyczne przenikają nasze otoczenie w formie internetu rzeczy (Internet of Things, IoT). By je projektować, potrzebna jest znajomość najnowszych technologii, a tę posiadają ludzie młodzi. To jest potencjalne zagrożenie, ponieważ z drugiej strony sterowanie światem materialnym wymaga wytrwałości, cierpliwości, precyzji, dobrego zaznajomienia z tematem. To są z kolei cechy łudzi dojrzalszych. Znam to z własnego przykładu. W latach 80. to my byliśmy młodymi wilkami, znającymi się na nowych wtedy mikroprocesorach. Starsi podkreślali, że 300 sztuk naszych automatów biletowych ma pracować w Hongkongu w wysokiej temperaturze i wilgotności przez 10 lat. W tym okresie klient musi mieć części zamienne, identyczne i łatwe do wymiany. Nie rozumieliśmy tego. Nam wystarczał jeden egzemplarz na biurku, gdzie błąd w programie można szybko skorygować. Dziś rozumiem tych starszych: produkt ma być użyteczny dla klienta, fajerwerki inżynierii software’owej go nie interesują.

Widzimy tu pomijane często czynniki, takie jak czas i ludzie. Na ogół koncentrujemy się na najnowszych technologiach, te są też wymagane przy rekrutacji pracowników. Dlatego też kandydatom lepiej się opłaca pisać niezbyt złożone programy coraz nowszymi metodami niż zagłębić się w jakieś zagadnienie, związać z nim swoją karierę. A to jest konieczne, gdy np. pracujemy nad oprogramowaniem dla lokomotyw. Produkt żyje długo, wobec tego też programy są doskonalone latami. Zmiany należy wprowadzać ostrożnie, trzeba szanować doświadczenie. Problem dla programisty jest taki, że gdy moduł sterujący zostanie w końcu wymieniony na całkowicie nowy, jego znajomość produktu szybko straci wartość do zera, a technologie software’owe staną się przestarzałe. Ponieważ czas płynie również dla niego, będzie miał wtedy 40, 50, 60 lat i młody rekruter mu powie, że jest za stary, żeby się czegokolwiek nauczyć. Tego, że ma doświadczenie, młody człowiek nie zrozumie, jako że sam jeszcze tego doświadczenia nie ma. Nasz programista może wylądować na wcześniejszej emeryturze. Ale może systemy w starych językach programowania jeszcze istnieją – elektrownie żyją dziesięciolecia. I jeżeli trzeba w programie coś poprawić lub uzupełnić, to problem ma pracodawca. Programiści z tamtej epoki wymarli lub zostali wypchnięci z zawodu, a nikt młody nie chce się w tym grzebać, bo straci czas i zepsuje sobie CV. Ponieważ umiejętności w informatyce są bardzo specyficzne i często wąskie, dopasowanie zasobów ludzkich do potrzeb w dłuższej perspektywie jest trudne. A jak nie ma dobrych specjalistów, to systemy będą aktualizowane niedbale albo wcale.

To dotyczy wszystkiego. Patrząc na „falę uderzeniową” postępu technicznego, widzimy tylko rzeczy nowe. A im więcej tego zainstalujemy, tym większe jest zapotrzebowanie na serwis. To się zaczyna od rur kanalizacyjnych i kabli elektrycznych, które nie będą „żyć” wiecznie. Przy zmniejszającej się populacji, bardziej zainteresowanej Instagramem niż techniką, możemy z tym mieć problem. Wszystko, co robimy, podlega rozkładowi. I nie dotyczy to tylko miast Majów w dżungli jukatańskiej, ale też niedawnych technik. Widziałem na Florydzie leżącą rakietę Saturn V. Pięćdziesiąt lat temu mogłaby dotrzeć do Księżyca, dziś bałbym się ją postawić. Na Księżyc nie musimy latać, ale ile mamy niezbędnych systemów, o które nikt porządnie nie dba? Widzimy potężne niegdyś miasta, dziś przysypane piaskiem, i myślimy, że nas to nie dotyczy.

Erozja dotyczy również informacji. Wydaje się, że mamy ją zmagazynowaną lepiej niż kiedykolwiek. Ale zmieniają się systemy i formaty. Przed laty problemem były teksty w WordPerfect 4 na pięciocalowych dyskietkach, które zapomniano skopiować przed wymianą komputera. Ostatnio mój iPad zapytał mnie o hasło, które dawno zapomniałem. Nawet lokalne dane nie są dostępne. Efektownym przykładem erozji technologii jest digitalizacja Domesday Book, angielskiej księgi katastralnej sporządzonej w 1086 roku dla Wilhelma Zdobywcy. Dokonano tego w 1986 roku, na 900-lecie powstania oryginału. Olbrzymią podówczas ilość informacji zapisano na płycie laserowej wielkości winylowego longplaya. Problem w tym, że już po kilku latach nie było urządzenia, w którym można by było ją odtworzyć. Do tego uległy uszkodzeniu oryginalne taśmy magnetyczne. Sporym wysiłkiem udało się zrekonstruować informację, ale płyta, dumnie prezentowana przez szefów BBC, jest bezużyteczna. A pergamin po prawie tysiącleciu ma się dobrze.

Jesteśmy dumni ze sztucznej inteligencji, zwłaszcza systemów samodzielnie uczących się (deep learning). Ale wyniki są zależne od danych, na jakich system się uczy. System rozpoznawania amerykańskich i rosyjskich czołgów dobrze działał na danych treningowych, w praktyce jednak zawodził. Okazało się, że amerykańskie czołgi były fotografowane w słońcu, a rosyjskie w cieniu. I algorytm poszedł na skróty. Znalazł wyraziste kryterium, tyle że bezsensowne w praktyce. Ogólnie problemem są systemy, których algorytmów nikt nie rozumie, w których przypadku nikt nie potrafi wyjaśnić, jak została podjęta konkretna decyzja.

Innym problemem jest monokultura. Znamy to z przeszłości. Przywiezione z Peru ziemniaki nasyciły mieszkańców Europy i pozwoliły na wzrost populacji. Jednak gdy w Irlandii w roku 1845 uprawy ziemniaka, dominującego źródła pokarmu, zaatakował grzyb, nie było ratunku. Wielki głód spowodował śmierć miliona, drugi milion opuścił wyspę, przenosząc się głównie do Ameryki. Podobnie mamy w technice. Gdyby w systemie Android się znalazł błąd krytyczny czy luka w zabezpieczeniach, wywołałoby to światową katastrofę. Krótkotrwała awaria Facebooka pokazała, jak jesteśmy od niego zależni. Prawie 3 miliardy straciły swoje narzędzie i zabawkę, odwyk byłby bolesny. Do tego Facebook i inne media społecznościowe manipulują nastrojami w skali planety. No, może tylko połowy planety, bo drugą połową manipulują Baidu, Weibo i WeChat. Trojka magnatów zachodnich kontra trojka magnatów chińskich. Za chińskimi stoi KPCh, a za zachodnimi?

.Niebezpieczeństwa techniki są tym większe, im więcej oddajemy jej władzy. Kto powinien o tym decydować? W idealnej sytuacji: szlachetni badacze, uczciwi przywódcy i świadomi obywatele. W praktyce wiemy, że o takich trudno. Badacze widzą problemy jednostronnie, dbają o swoje kariery. Przywódcy mają ambicję, by ruszyć z posad bryłę świata albo by tylko wygrać wyborów. Obywatele wiedzą i rozumieją mało, są też poddani manipulacji ze wszystkich stron. Pewną opcją są platońskie autorytarne rządy filozofów/ekspertów. Trend ten jest ostatnio silnie widoczny. Na dłuższą metę chyba jednak lepszym rozwiązaniem jest otwarta dyskusja i demokracja.

Jan Śliwa