Badanie Be My AI pokazuje problem długich odpowiedzi modeli językowych

Badacze University of Maryland przeanalizowali korzystanie z Be My AI. Długie opisy generowane przez sztuczną inteligencję utrudniały części niewidomych użytkowników uzyskanie potrzebnych informacji.

.Be My AI to udostępniona w 2023 r. funkcja aplikacji Be My Eyes. Wykorzystuje analizę obrazu, w celu opisywania zdjęcia i odpowiadania na pytania dotyczące ich zawartości.

Badanie objęło doświadczenia 11 osób, które określiły się jako niewidome. Po spotkaniu w laboratorium korzystały z aplikacji przez 10 dni, a następnie omawiały swoje doświadczenia z badaczami. Zespół przeanalizował 418 interakcji z narzędziem, pochodzących zarówno z części laboratoryjnej, jak i codziennego użytkowania. Pracę przedstawiono na konferencji ACM CHI 2026.

Długi opis przed konkretną odpowiedzią

.W codziennych interakcjach mediana liczby słów po stronie użytkownika wynosiła 10, a po stronie aplikacji 160. Najdłuższe rozmowy dochodziły do 21 tur. Dla osoby odsłuchującej odpowiedzi oznaczało to konieczność dotarcia do potrzebnego szczegółu wśród wielu innych informacji, które w potocznym języku określamy jako „lanie wody”.

W badanej wersji Be My AI po przesłaniu zdjęcia najpierw pojawiał się ogólny opis sceny. Pytanie można było zadać dopiero później. Ponad połowa uczestników uznała daną kolejność za poważne ograniczenie. Jedna z badanych chciała jedynie znaleźć klucze, ale otrzymała również niepotrzebne informacje o otoczeniu.

Współautorka pracy Hernisa Kacorri zwraca uwagę, że poprawa jakości opisów nie musi przekładać się na bardziej użyteczne odpowiedzi, jeżeli system nie uwzględnia celu użytkownika.

Użytkownicy doprecyzowywali cel i dzielili zadania

.Badacze przedstawili uczestnikom techniki formułowania poleceń dla modeli AI. Obserwowali też sposoby, które badani rozwijali samodzielnie.

Pomagało wyjaśnienie, do czego potrzebna jest informacja. Jedna z uczestniczek przesłała zdjęcie kuchni i poprosiła o sugestie dotyczące remontu. Inna, oceniając ciasto chlebowe, pytała osobno o jego wielkość, powierzchnię, pęcherzyki powietrza i mąkę. W jej ocenie pozwalało to dokładniej sprawdzić szczegóły, choć wydłużało rozmowę.

Autorzy podkreślają, że rozbudowane strategie zadawania pytań są sposobem obchodzenia istniejących ograniczeń. Uzyskanie przydatnej odpowiedzi nie powinno zależeć przede wszystkim od umiejętności konstruowania poleceń.

Wnioski dotyczą konkretnego etapu rozwoju aplikacji

.Badanie objęło niewielką grupę i jedną aplikację. W używanym narzędziu preferencje użytkowników nie były zachowywane między rozmowami, dlatego dostosowania trzeba było ponawiać.

Wśród postulatów dla projektantów technologii wspierających osoby niewidome znalazły się kontrola szczegółowości odpowiedzi, wskazówki ułatwiające kadrowanie zdjęć oraz lepsze dopasowanie informacji do zadania.

Szymon Ślubowski