Deep Gestures : a human-machine drawing conversation

Diese Masterarbeit erforscht die Möglichkeiten, die sich aus der Konvergenz neuartiger Techniken des maschinellen Lernens und etablierter Technologien der numerischen Fabrikation ergeben, indem sie sich auf Anwendungen im Kontext der frühen Phasen des Designprozesses konzentriert.

 

Durch die experimentelle Auseinandersetzung mit der Fertigung und Programmierung einer interaktiven Zeichenmaschine in ihren Hardware- und Softwarekomponenten bietet diese Forschung eine alternative Interpretation der Praxis des Skizzierens und der intuitiven Darstellung von Ideen im zweidimensionalen Raum.

 

In Abkehr vom Konzept des Computers als dem passiven Empfänger von vorgefassten kreativen Impulsen wird die Maschine hier als aktives Instrument verstanden, das in der Lage ist, externe Eingaben wahrzunehmen und zu verarbeiten. Da die Maschine an der Entfaltung des kreativen Prozesses teilnimmt, wird die Rolle des Designers/Nutzers zwangsläufig neu definiert.

 

Derzeit konzentrieren sich Anwendungen des maschinellen Lernens im kreativen Bereich meist auf die Verarbeitung von pixel-basierten Bildern oder Texten. Im Rahmen dieser Arbeit wird das Potenzial eines Hierarchischen Generativen Netzes für die Erstellung von Vektordateien im SVG-Format (DeepSVG) untersucht. Im Gegensatz zur Bilderstellung im Rasterformat öffnet die Vektordarstellung die Tür zur digitalen Produktion, da ihre Eigenschaften eine direkte Übersetzung in Maschinencode und CNC-Operationen ermöglichen.

 

Der Kern der Arbeit besteht aus einer Reihe von Experimenten zur Untersuchung der Benutzer-Maschine-Interaktion für einen einfachen, Feedback-basierten Designprozess. Die physische Zeichnung eines Benutzers wird mit Hilfe von Computer-Vision-Techniken (durch Abrufen des topologischen

 

Skeletts) in ein neuronales Netz eingespeist. Das trainierte Netzwerk generiert neue Inhalte durch Interpolation der Benutzereingabe mit einem ausgewählten Element aus einer großen Bibliothek von Vektorsymbolen, dem SVG-Icons8-Datensatz. Die maschinell erzeugten Bilder werden vom Benutzer gefiltert, der eine einzige Lösung auswählt, die dann mit einem speziell angefertigten Stiftplotter in den physischen Raum gedruckt wird. Durch diesen ergebnisoffenen Interaktionsprozess kann der Benutzer weitere gezeichnete Antworten erstellen, die ihrerseits immer wieder neue und unerwartete Inhalte generiert, bis der Prozess nach benutzerdefinierten Kriterien gestoppt wird.

 

Anstatt ein spezifisches Designproblem zu lösen, wird eine experimentelle Anwendung für maschinelles Lernen entworfen und erforscht. Das Hauptziel dieser Arbeit ist nicht die Suche nach einer einzigen optimalen Lösung, sondern die kreative Erforschung der Entfaltung eines hybriden Prozesses der Zusammenarbeit.