Sterowanie gestami w samochodach

Samochodowe sterowanie gestami interpretuje ruch dłoni lub ciała jako polecenie bez konieczności dotykania tradycyjnego elementu sterującego. Może ograniczyć potrzebę sięgania lub wzrokowego celowania przy niewielkim zestawie poleceń, ale tylko wtedy, gdy gest jest łatwy do odkrycia, niezawodnie rozpoznawany i wywołuje jednoznaczną informację zwrotną.

Jak działa sterowanie gestami

Systemy rozpoznawania gestów w kabinie mogą korzystać z czujnika podczerwieni, kamery dwuwymiarowej lub głębi, radaru albo połączenia kilku czujników. Oprogramowanie wykrywa dłoń, śledzi jej ruch, klasyfikuje wzorzec i przypisuje wynik do polecenia.

Typowe rodzaje interakcji obejmują:

pojedynczy gest wykonywany w powietrzu, na przykład przesunięcie lub obrót;
wskazanie obszaru ekranu lub fizycznego przedmiotu;
utrzymanie dłoni w określonej pozycji przez ustalony czas;
gest połączony ze spojrzeniem, mową lub elementem sterującym na kierownicy;
wykrywanie zbliżenia, które ujawnia elementy sterujące jeszcze przed dotknięciem.

Strefa rozpoznawania ma znaczenie. Gest działający tylko na jednej wysokości lub w jednej odległości może zmuszać użytkownika do szukania niewidocznego celu. System powinien wskazywać, kiedy dłoń znalazła się w aktywnej strefie i kiedy polecenie zostało rozpoznane.

Odpowiednie zadania

Sterowanie gestami jest najbardziej wiarygodne przy kilku odwracalnych działaniach o niewielkich konsekwencjach:

regulowaniu głośności;
odrzucaniu połączenia lub powiadomienia;
poruszaniu się po krótkiej liście multimediów;
wyświetlaniu informacji kontekstowych;
obsłudze funkcji pasażera, gdy fizyczny element sterujący znajduje się poza zasięgiem.

To słaby jedyny interfejs dla świateł awaryjnych, wyboru biegu, wycieraczek lub innej czynności, która musi zadziałać natychmiast i przewidywalnie. Polecenie związane z bezpieczeństwem, ochroną, płatnością lub dostępem wymaga bardziej jednoznacznej ścieżki potwierdzenia.

Najlepszy zestaw gestów wykorzystuje ruchy, które łatwo zapamiętać, wykonać niewielkim wysiłkiem i odróżnić od zwykłej gestykulacji podczas rozmowy lub ruchów wykonywanych w trakcie jazdy. Gest nie powinien opierać się na znaczeniu właściwym tylko jednej kulturze, jeśli nie zostanie jasno objaśniony.

Łatwość odkrywania i informacja zwrotna

Fizyczny element sterujący ujawnia swoje położenie. Gest wykonywany w powietrzu tego nie robi. System potrzebuje więc sposobu na nauczenie dostępnych poleceń bez wymagania, aby kierowca studiował instrukcję podczas jazdy.

W miarę możliwości informacja zwrotna powinna wykorzystywać kilka zmysłów:

subtelna wskazówka wzrokowa może pokazywać aktywną strefę lub zinterpretowany gest;
krótki dźwięk może potwierdzić przyjęcie bez kolejnego spojrzenia;
haptyka bezdotykowa może dodać wrażenie granicy lub ukończenia;
natychmiastowa możliwość cofnięcia pozwala naprawić fałszywą aktywację.

Badania nad wielomodalną informacją zwrotną dla samochodowych gestów wykonywanych w powietrzu analizowały wpływ sygnałów wzrokowych, dźwiękowych i dotykowych na interakcję podczas symulowanej jazdy. Wyniki zależą od zadania, realizacji i projektu badania; przemawiają za oceną całej pętli informacji zwrotnej zamiast założenia, że sterowanie bezdotykowe z natury mało rozprasza. Shakeri et al. — Multimodal feedback for in-car mid-air gesture interaction

Rodzaje błędów

Systemy gestów mierzą się z charakterystycznymi błędami:

fałszywa aktywacja: zwykły ruch dłoni zostaje zinterpretowany jako polecenie;
brak aktywacji: zamierzony ruch wypada poza strefą wykrywania;
błąd klasyfikacji: ruch zostaje wykryty, lecz przypisany do niewłaściwego polecenia;
błąd trybu: ten sam gest oznacza coś innego na innym ekranie lub w innym kontekście;
zasłonięcie: ubranie, kierownica, inna osoba lub przedmiot blokuje czujnik;
błąd informacji zwrotnej: polecenie zostaje wykonane niezauważenie przez użytkownika albo wydaje się nieskuteczne mimo zarejestrowania.

Światło słoneczne, ciemność, rękawiczki, rękawy, układ kabiny, ruch pasażerów i dominująca ręka mogą wpływać na konkretną konstrukcję czujnika. Istotna jest zmierzona skuteczność w seryjnej kabinie, a nie nominalna technologia wykrywania.

Co dowody mogą wykazać, a czego nie

W ogólnodostępnym badaniu z 2022 roku opracowano definiowany przez użytkowników zestaw gestów wykonywanych w powietrzu do sterowania multimediami, a jego prototyp porównano z obsługą dotykową w eksperymencie z okulografią w symulatorze jazdy. Prototyp obniżył miary rozproszenia wzrokowego przy wybranych zadaniach, ale nie dowodzi to, że każdy system gestów, każde polecenie lub każde rzeczywiste warunki drogowe przyniosą taki sam rezultat. Zhang et al. — Mid-air gestures for in-vehicle media control

ISO 15005 przedstawia szersze zasady zarządzania dialogiem podczas interakcji z pojazdem w ruchu. Zastosowanie tych zasad do gestów oznacza zachowanie sekwencji zgodnej z zadaniem prowadzenia, jasne wskazywanie stanu systemu, obsługę przerwania i unikanie zbędnych kroków. ISO 15005:2017 — Dialogue management principles

Sterowanie gestami należy porównywać z najlepszą alternatywą dla tego samego zadania. Pokrętło może przewyższać zarówno gest, jak i dotyk przy częstej regulacji głośności. Głos może być lepszy do wskazania celu podróży. Ekran może lepiej nadawać się do zmiany skali mapy. Gest zasługuje na swoje miejsce tylko wtedy, gdy zmniejsza łączny koszt interakcji.

Co powinni sprawdzić kupujący

Czy obsługiwane gesty można odkryć bez czytania długiej instrukcji?
Czy system pokazuje, gdzie zaczyna się strefa wykrywania?
Czy rozpoznanie i wykonanie są potwierdzane bez długiego spoglądania?
Czy zwykłe ruchy dłoni mogą wywołać polecenie?
Czy ten sam gest zachowuje to samo znaczenie w różnych kontekstach?
Jak system działa w bezpośrednim słońcu i ciemności?
Czy kierowca i pasażer mogą z niego korzystać bez sterowania niewłaściwą strefą?
Czy każde ważne działanie gestem jest dostępne również poprzez inny element sterujący?
Czy błędne działanie można natychmiast anulować lub cofnąć?
Czy funkcja nadal oszczędza wysiłek, gdy przestaje być nowością?

Dobry interfejs gestowy jest skromny. Oferuje kilka łatwych do zapamiętania skrótów, pozostaje bezczynny podczas zwykłych ruchów i nigdy nie każe użytkownikowi zastanawiać się, czy samochód zauważył polecenie.