Microsoft wird Patent für Interaktion über Alltagsgegenstände erteilt

Ein neuartiger Vorschlag zur Interaktion mit Datenbrillen wurde durch Microsoft patentiert. Dabei werden Alltagsgegenstände einbezogen, um die gewünschten Aktionen des Nutzers zu erkennen.

Je nach Art einer Datenbrille gibt es unterschiedliche Möglichkeiten, um mit der jeweiligen Software auf der Datenbrille zu interagieren. Bei einfacheren Datenbrillen ist man meist auf die wenigen Buttons oder ein Touchpad angewiesen. Das erfordert feinfühlige Bedienung und diese Methode ist nicht für Grobmotoriker oder Handschuhbedienung geeignet. Komplexere Datenbrillen können über zusätzliche Sensoren die Umwelt, und damit auch den Nutzer, erfassen – Stichwort Gestenerkennung. Dafür ist allerdings auch mehr Rechenleistung oder spezialisierte Prozessortechnologie notwendig.

Mit dem an Microsoft erteilten US-Patent mit der Nummer 9443354 soll jetzt die genannte Gestenerkennung erweitert werden. Voraussetzung dafür ist, dass nicht nur die Gesten des Nutzers sondern auch dessen Umwelt in die Interaktion einbezogen wird. Das Ziel besteht darin, nicht nur die Handgesten eines Nutzers, sondern zum Beispiel auch Alltagsgegenstände im Blickfeld zu erfassen. Die Kombination aus der Geste und dem Alltagsgegenstand kann dann in ein Kommando für die Interaktion mit der Datenbrillen-Software umgesetzt werden. Das zugehörige Bild zur Patentbeschreibung vermittelt einen Eindruck von den Anwendungsmöglichkeiten, an die Microsoft bei der Entwicklung gedacht hat. Die Dinge die sich auf einem Schreibtisch oder im normalen Zimmer befinden können Interaktionen unterstützen.

Denkt man nun an industrielle Einsatzzenarien lässt sich die Idee auch Übertragen, ohne dass Alltagsgegenstände im eigentlichen Sinne eingesetzt werden. Man könnte sich beispielsweise ein Szenario bei der Montage eines Produktes vorstellen. Mitarbeiter müssen teilweise verschiedene Arbeitsschritte ausführen, die unterschiedliche Werkzeuge erfordern. Noch dazu werden bei jedem Arbeitsschritt unterschiedliche Materialien einbezogen. Bei produzierenden Unternehmen werden diese Informationen üblicherweise in einem Arbeitsplan mit Verbindung zu Stücklisten erfasst.

Basierend auf dem Arbeitsplan und der Stückliste kann nun der Mitarbeiter mit der Datenbrille interagieren. Hat der Mitarbeiter ein Werkzeug in der Hand und bewegt es nun in Bezug auf das Material, vielleicht noch im Umfeld einer bestimmten Maschine, dann könnte die Datenbrille erkennen, welche Aktivität der Mitarbeiter ausführt. Dementsprechend können dann die benötigten Zusatzinformationen angezeigt werden. Konkret kann man sich beispielsweise die folgenden Szenarien für das Anzeigen von passenden Informationen über die Datenbrille vorstellen:

• Anzeige der Länge eines zu messenden Teils wenn mit dem Messschieber geprüft wird
• Anzeige des Drehmoments beim Festziehen mit einem Mutternschlüssel
• Positionen für die Nacharbeit an Teilen oder Baugruppen anzeigen

Der Mitarbeiter könnte dadurch wirklich freihändig (im englischen eigentlich passender mit hands-free bezeichnet) arbeiten. Die passenden Informationen müssten nicht mehr über Gesten oder hakelige Buttons ausgewählt werden.

Für Microsoft liegt der Fokus bei dieser Erfindung auf der Erweiterungen der HoloLens. Die HoloLens verfügt bereits heute über die wesentlichen Komponenten, um dieses Patent Wirklichkeit werden zu lassen. Mit den Tiefensensoren können Gesten erkannt werden. Die Kamera kann die Objekte im Blickfeld des Nutzers sehen. Die Lagesensoren können die Position des Nutzers in Bezug auf das Objekt erkennen.

Ganz unkritisch ist der Einsatz in industriellen Szenarien allerdings nicht zu sehen. So könnten Lichtverhältnisse möglicherweise das korrekte Erkennen der Objekte oder Werkzeuge erschweren. Auch das Erkennen von Materialien mit sehr großer Variantenvielfalt und geringer jeweiliger Differenz der Materialien könnte schwierig sein. Eine Herausforderung, der man sich in den kommenden Jahren relativ einfach stellen kann, ist die Geschwindigkeit bei der Erkennung. Für heutige Datenbrillentechnik ist das Szenario rechentechnisch recht sportlich, was sich in künftigen Generationen der Datenbrillen sicher aufgrund der allseits steigenden Rechenleistung ändert.

Schließlich ist aber in jedem Anwendungsfall individuell zu prüfen, ob das Konzept eingesetzt werden kann. Und auch Geheimhaltungsanforderungen der Unternehmen und Anforderungen des Betriebsrats an das Nicht-Aufzeichnen von personenbezogenen Daten müssen noch genau geprüft werden.

Anmerkung: Das dargestellte Foto ist eine Montage, um das Prinzip der Idee zu verdeutlichen.

Bildquellen: USPTO, Robert Couse-Baker / Flickr (CC BY 2.0)