Sztuczna inteligencja wciąż ma problemy z wykrywaniem kraterów księżycowych
Analiza ośmiu katalogów kraterów księżycowych stworzonych przez sztuczną inteligencję wykazała, że po zastosowaniu rygorystycznych standardów naukowych większość z nich wypadła znacznie gorzej, niż sugerowały wcześniejsze oceny.
Katalogi kraterów pomagają badać historię Układu Słonecznego
W ramach nowego badania naukowcy z Southwest Research Institute porównali osiem katalogów kraterów księżycowych wygenerowanych przez sztuczną inteligencję. Okazało się, że po ocenie według tych samych standardów naukowych, które obowiązują badaczy, uzyskują one znacznie słabsze wyniki. Katalogi tego rodzaju stanowią kompleksowy zapis kraterów uderzeniowych na powierzchniach ciał niebieskich. Zawierają dokładne informacje o ich położeniu, wymiarach i cechach fizycznych, pomagając naukowcom odtwarzać historię geologiczną Układu Słonecznego i jego obiektów. Badanie zostało opublikowane w czasopiśmie „The Planetary Science Journal”.
Dlaczego kratery są tak ważne dla naukowców
Kratery uderzeniowe są dominującą formą geologiczną na Księżycu i wielu innych ciałach stałych. Astronomowie określają wiek powierzchni planet poprzez zliczanie tego rodzaju formacji. Ponieważ niewielkie asteroidy uderzają z mniej więcej stałą częstotliwością, powierzchnie z większą liczbą kraterów są starsze od tych, na których jest ich mniej. Mierząc ich rozmiary i zagęszczenie oraz wiedząc, jak często powstają, badacze mogą oszacować wiek powierzchni obiektów w całym Układzie Słonecznym.
Sztuczna inteligencja miała usprawnić tworzenie katalogów
Dlatego też katalogi kraterów są wykorzystywane do odtwarzania historii geologicznej i badania ewolucji powierzchni planet. Ich automatyczne wykrywanie z wykorzystaniem sztucznej inteligencji i uczenia maszynowego mogłoby zaoszczędzić naukowcom lata żmudnej pracy wykonywanej ręcznie i pomóc rozwiązywać problemy, które w przeciwnym razie zajęłyby niezwykle dużo czasu.
„Sztuczna inteligencja ma ogromny potencjał, aby pomagać w wykonywaniu powtarzalnych i czasochłonnych zadań naukowych, zwłaszcza przy gromadzeniu danych. Nasza analiza pokazuje jednak, że astronomowie nie powinni zakładać, iż katalog kraterów wygenerowany przez AI jest gotowy do wykorzystania w badaniach naukowych wyłącznie na podstawie opublikowanych wskaźników” – mówi Stuart J. Robbins z Southwest Research Institute.
AI oceniona według tych samych standardów co naukowcy
W nowej analizie badacze skupili się na ośmiu globalnych lub obejmujących duże obszary Księżyca katalogach kraterów utworzonych metodami automatycznymi. Porównali każdą z baz danych z obszernym, ręcznie opracowanym zbiorem informacji na temat tych struktur, którego stworzenie zajęło wiele lat. Do wszystkich katalogów stworzonych przez sztuczną inteligencję zastosowano identyczne kryteria dopasowania.
Nawet niewielkie błędy mogą zmienić wyniki badań
Astronomowie ustalili, że wyniki w dużym stopniu zależą od tego, kiedy dwa kratery uznaje się za ten sam obiekt. Aby dane mogły być przydatne w wielu badaniach z zakresu nauk planetarnych, wykryte formacje muszą znajdować się we właściwym miejscu i mieć prawidłowo określone rozmiary. Niektóre powszechnie stosowane metody oceny w analizie obrazów mogą wskazywać, że automatyczne wykrywanie działa poprawnie, nawet jeśli położenie lub rozmiar krateru zostały określone błędnie z punktu widzenia badań naukowych.
„Katalogi kraterów to nie jest przypadkowa lista okrągłych śladów na powierzchni. Jeśli krater zostanie przesunięty, zduplikowany lub ma nieprawidłowo określony rozmiar, może to wpłynąć na wyniki badań opartych na tych danych. Na przykład, jeśli powierzchnia o modelowym wieku miliona lat wymaga określonej liczby kraterów, a AI przypadkowo je zduplikuje, modelowy wiek tej powierzchni nagle się podwoi” – podkreśla Stuart J. Robbins.
Rygorystyczna ocena ujawniła ograniczenia
Naukowcy zastosowali bardziej rygorystyczne kryteria, oparte na zgodności ocen uzyskiwanych przez badaczy ręcznie identyfikujących kratery. Okazało się, że niemal wszystkie bazy danych wypadły gorzej, niż sugerowały wcześniej opublikowane wyniki. W niektórych przypadkach różnice przekraczały dziesięciokrotność. Badanie wykazało również, że pojedynczy zbiorczy wskaźnik może ukrywać istotne niedoskonałości danych. Niektóre bazy osiągały dobre wyniki dla kraterów o określonych średnicach, ale znacznie słabsze dla pozostałych.
„Rozmiar kraterów ma znaczenie. Jeden zbiorczy wynik nie mówi wszystkiego. Analiza kraterów o różnych rozmiarach może pokazać, że katalog sprawdza się w jednych badaniach, ale w innych jest już niewiarygodny” – mówi Stuart J. Robbins.
Lepsze standardy są kluczowe dla rozwoju AI
Badacze podkreślili, że wyniki badania nie są argumentem przeciwko wykorzystywaniu sztucznej inteligencji w naukach planetarnych. Jednak praca pokazuje, że kolejnym niezbędnym krokiem musi być ujednolicenie metod oceny, obejmujące przejrzyste raportowanie kryteriów dopasowania oraz niezależną weryfikację. Dzięki temu katalogi wygenerowane przez sztuczną inteligencję będzie można właściwie wykorzystywać w analizach naukowych.
„Sztuczna inteligencja może w przyszłości całkowicie odmienić tworzenie katalogów kraterów i zrewolucjonizować sposób pozyskiwania danych naukowych, potencjalnie oszczędzając lata pracy. Na razie badacze nie powinni traktować jej jako rozwiązania wszystkich problemów. Musimy zrozumieć, jak działają te narzędzia, jakie są ich ograniczenia i czy ich skuteczność jest wystarczająca, aby mogły wspierać prowadzone badania naukowe” – podsumowuje Stuart J. Robbins.
Emil Gołoś
