Od pikseli do funkcji opisujących fizykę

Publikacja w „Nature Machine Intelligence” nie przedstawia jednego nowego modelu. Julius Berner, Miguel Liu-Schiaffini i współautorzy usystematyzowali zasady przekształcania istniejących architektur w operatory neuronowe. Koncepcję Fourier Neural Operator zespół Anima Anandkumar przedstawił już w 2020 r.

.Popularne architektury uczenia głębokiego operują na skończonych reprezentacjach danych, takich jak ciągi tokenów lub tablice pikseli. Wiele zjawisk fizycznych ma jednak charakter ciągły: temperatura, ciśnienie czy prędkość płynu zmieniają się w przestrzeni i czasie, również pomiędzy punktami pomiarowymi. Ma to szczególne znaczenie w przypadku atmosfery, choć poszczególne modele prognozowania pogody służą różnym horyzontom czasowym.

Operator neuronowy ma uczyć się nie pojedynczej relacji między dwiema tablicami, lecz odwzorowania prowadzącego od funkcji wejściowej do funkcji wyjściowej. Nadal wykonuje obliczenia na próbkach rozmieszczonych na siatce lub chmurze punktów, ale jego parametry mają opisywać to samo odwzorowanie niezależnie od rozdzielczości.

Autorzy przedstawili przepis na przekształcanie m.in. sieci w pełni połączonych, konwolucyjnych, grafowych, transformerów oraz architektur typu encoder–decoder. Operacje zależne od indeksów są zastępowane rozwiązaniami uwzględniającymi współrzędne i wagi wykorzystywane do numerycznego przybliżania całek.

Dokładność przy rozdzielczości spoza treningu

.Wśród testów znalazły się symulacje oparte na równaniach Naviera–Stokesa, opisujących przepływ płynów, oraz przepływ przez ośrodek porowaty. Modele FNO i OFORMER, trenowane na siatce 128 × 128, zachowywały dokładność po przejściu do rozdzielczości 64 × 64 i 256 × 256. U-Net i Vision Transformer, których operacje były związane z rozdzielczością treningową, traciły dokładność po jej zmianie.

Nie oznacza to, że system otrzymał nowe pomiary ani że zawsze prawidłowo odtworzy szczegóły pomiędzy punktami. Wynik pokazuje natomiast, że te same wyuczone parametry można zastosować do innego podziału badanej przestrzeni. Podobny cel – przyspieszanie rozwiązywania cząstkowych równań różniczkowych – realizuje opisywany wcześniej system DIMON.

Framework nie jest gotowym systemem pogodowym

.Operatory neuronowe mogą znaleźć zastosowanie w prognozowaniu pogody, mechanice płynów, materiałoznawstwie czy modelowaniu plazmy. W odrębnej wcześniejszej pracy Fourier Neural Operator przyspieszył przewidywanie dynamiki plazmy o sześć rzędów wielkości względem tradycyjnego solvera numerycznego w opisanym eksperymencie. Sieci uwzględniające prawa fizyki są również badane przy modelowaniu atmosfer egzoplanet.

Nowa publikacja nie przedstawia jednak gotowego systemu prognozowania pogody. Autorzy wskazują dalsze problemy: kontrolę błędu dyskretyzacji, obsługę złożonych geometrii i adaptacyjnych siatek oraz koszt mechanizmu uwagi przy wysokich rozdzielczościach. Framework pozostaje więc zestawem zasad projektowych sprawdzonym na benchmarkach, a nie uniwersalnym modelem świata fizycznego.

Szymon Ślubowski