Doctoraatsverdediging

Faculteit Ingenieurswetenschappen
Task Learning and Execution for Behavior-Based Mobile Manipulation (Taken leren en uitvoeren voor gedragsgebaseerde mobiele manipulatie)
Doctorandus/a PhD student
  Naam: Shu Huang
Promotie / Defence
  Wanneer: 27.06.2011, 14u00
  Taal van verdediging: Nederlands
  Waar: aula Arenbergkasteel, 01.07, Kasteelpark Arenberg 1, 3001 Heverlee
 
Promotor / Supervisor
  Prof. dr. ir. Hendrik Van Brussel (promotor)
  Prof. dr. ir. Herman Bruyninckx (mede-promotor)
 
Samenvatting van het onderzoek / Summary of Research

Automatiserings- en roboticatechnologie bestaat vandaag niet enkel in laboratoria of fabrieken, maar komt ook meer en meer in ons dagelijks leven voor. Van robots die actief zijn in een huiselijke omgeving wordt verwacht dat ze bruikbare diensten leveren voor de mens. De eisen die gesteld worden aan robots werkzaam in dergelijke omgeving verschillen evenwelsterk van de eisen in een traditionele industriële omgeving. Vandaar de noodzaak voor een alternatief concept dat robots toelaat een verscheidenheid aan taken uit te voeren in een ongestructureerde omgeving. Het ontwerp van een dergelijke robottoepassing kan opgesplitst worden in drie fasen: een systeemontwerpfase, een applicatiespecifieke fase en een autonome uitvoeringsfase. Elke fase brengt verschillende eisen met zich mee,opgelegd door de betrokken partijen, en iedere fase vraagt om specifieke oplossingen. Dit proefschrift past een gedragsgebaseerd ontwerpfilosofie toe met als doel een betere regeling van de mobiele manipulator te bekomen in een dynamische omgeving. Met behulp van demonstraties van een menselijke operator kunnen met deze gedragsgebaseerde bouwstenen meer complexe taken geconstrueerd worden.

Het gedragsgebaseerd ontwerpconcept is in het verleden reeds geschikt gebleken voor mobiele robots die in dynamische omgevingen opereren. Echter, het toepassen van deze ontwerpfilosofie op complexe toepassingen zoals mobiele manipulators blijft een grote uitdaging. Manipulatoren moeten, in tegensteling tot mobiele robots, voor vele taken direct in contact komen met de omgeving en vereisendaarom een grotere bandbreedte. Om dezelfde reden hangt hun prestatie ook nauw samen met reële-tijdsbeheer. Bovendien houdt de traditionele gedragsgebaseerde methode geen rekening met de aanwezige redundantie in hetrobotsysteem. Daarom wordt in deze scriptie als uniforme interface een beperkingsgebaseerde voorstelling gebruikt, die een flexibele specificatie van taken toelaat. Op die manier genereert het gedrag de beperkingsparameters in plaats van rechtstreeks de actuator aan te sturen. Een beperkingsgebaseerd gedragsfusiemechanisme geeft het uiteindelijke commando weer als de oplossing van een optimalisatieprobleem en lost op deze manier het gedragcoördinatieprobleem op. Dit fusiemechanisme laat toe dat eengedraging zich concentreert op het behalen van zijn eigen doelstelling zonder zich bezig te moeten houden met de coördinatie met andere gedragingen. Deze nieuwe aanpak combineert het gedragsgebaseerde concept met het concept van beperkingsgebaseerde bewegingcontrole dat reeds gebruikt wordt om manipulators te programmeren. Deze aanpak houdt op een fundamentele manier rekening met herbruikbaarheid. Daarenboven kunnen optimalisatie-agenten toegevoegd worden teneinde prestaties te optimaliseren die niet onmiddellijk gerelateerd zijn aan de eigenlijke taak. Het voorgestelde innovatieve fusiemechanisme is geëvalueerd en gedemonstreerd door middel van obstakelvermijding en het openen van deuren.

Naast het eenvoudigweg uitvoeren van de robotprogramma's zouden leken ook de mogelijkheid moeten hebben de robottaak op een gemakkelijke manier te wijzigen.Dit laat ze toe om te gaan met de grote varieteit aan taken die zich voordoen in het dagelijks leven. In het gedragsgebaseerde ontwerpconcept worden gedragingen gedefiniëerd als gedistribueerde voorstellingen van kleine eenheden die waarnemen en ageren. Deze eenheden worden gebruikt alsbouwstenen om complexere taken mee op te bouwen. Een volledige taak in een gedragsgebaseerd systeem kan worden gespecifiëerd in een gedragsdiagram. Dergelijk diagram beschrijft een opeenvolging van gedragingen samenmet omgevingsvoorwaarden die bepalen op welk moment welke gedragingen geactiveerd moeten worden. Taakuitvoering komt dan neer op een uitvoeringsproces van een voorgedefiniëerde gedragsopeenvolging. Het leren van eentaak is het proces waarin deze opeenvolging en toestandsovergangen herkend worden. In deze scriptie wordt getoond op welke manier de complexiteit van een gedragsdiagram kan gereduceerd worden met de voorgestelde fusiecomponent. Hieruit volgt dat het leren van een taak in gedragsgebaseerde systemen voor mobiele manipulatie een haalbaar probleem is.

Deze scriptie stelt een generieke en systematische aanpak voor voor het leren en uitvoeren van taken met behulp van gedragsgebaseerde mobiele manipulatie. De voorgestelde gedragsgebaseerde aanpak extraheert kenmerken uit meetgegevens en gebruikt technieken uit het automatisch-leren om dezete herkennen. Verschillende kenmerken werden gedefiniëerd en gebruikt om sensorgegevens om te zetten in de kenmerkenruimte en om op een efficiënte manier significante en betekenisvolle informatie te extraheren van de sensorgegevens. Gedragingen worden herkend door middel van statische classificatie, zoals bijvoorbeeld support vector machines (SVM). Om deze theorie te valideren werd een reeks interessante taken, gedemonstreerd door de mens, geobserveerd en uitgevoerd door de mobiele manipulator in een ongestructureerde omgeving. Deze succesvolle experimenten valideren de voorgestelde aanpak en sluiten de kringloop tussen het gedragsgebaseerd leren en uitvoeren van taken.

Automation and robotics technology nowadays not only exists in labs or factories but enters more and more into our daily lives. Robots are expected to perform useful services for humans while navigating in the domestic environment. However, the requirements posed to robots that are to operate in such scenario are quite different from the requirements for robots that work in traditional industrial settings. This calls for a different design concept to allow robots to perform various tasks in such unstructured environment. Three stages in robot application design can be distinguished: a system development stage, an application specification stage, and an autonomous execution stage. Each stage has different requirements for its corresponding stakeholders and needs different solutions. In this thesis, a behavior-based design concept is applied to the control of a mobile manipulator to come up with a better robot control in dynamically changing environments. Behaviors are considered as the basic building blocks to construct more complex tasks by human demonstration.

In the past, the behavior-based concept has proved to be suitable for mobile robots operating in dynamically changing environments. However, applying this design concept to complex applications, such as mobile manipulators, remains a big challenge. In contrast to mobile robots, manipulators are usually required to operate in direct contact with the environment and therefore require higher bandwidth and rely on real-time control. Also, directly applying the behavior-based concept on a mobile manipulator fails to account for redundancy resolution of the robotic system. Therefore, this thesis uses a constraint representation, which allows a flexible specification of control tasks, as a unified interface to program an individual behavior. In this framework, behaviors generate constraint parameters instead of actuator set points. A constraint-based behavior fusion mechanism (CBFM) produces the final output command as a solution of an optimization problem. This fusion mechanism allows a behavior to concentrate on achieving its own objective without needing to dealwith the coordination with other behaviors. This new approach combines the behavior-based concept with the concept of constraint-based motion control used to program manipulators in a fundamental way while considering re-usability. Moreover, optimization agents can be added to optimize performance aspects that are not directly related to the task itself. The proposed novel fusion mechanism is evaluated and demonstrated by behavior-based obstacle avoidance and door opening experiments.

Next to simply executing robot programs, laymen should have the opportunity toeasily alter the robot task. This allows them to deal with the large variety of tasks that arise in everyday lives. In the behavior-based design concept, behaviors are defined as distributed representations of smallsense-act units. They can be used as basic building blocks to compose more complex tasks. A complete task in a behavior-based system can be specified by a behavior diagram. Such a diagram describes a sequence of behaviors alongside transition conditions that determine when which behaviors should be activated. Task execution boils then down to a process of executing a predefined behavior sequence. Task learning is the process ofrecognizing this sequence and transition conditions. In this work it isshown how the complexity of a behavior diagram can be reduced due to the proposed fusion component (CBFM). As a result, task learning problem in behavior-based systems for complex mobile manipulation tasks is shown to be a feasible problem and is formalized as a behavior recognition problem.

This thesis presents a generic and systematic approach for task learning and execution on behavior-based mobile manipulation. The proposed behavior-based task learning approach is a combination of feature extraction, feature mapping, and machine learning techniques. Various features are defined and used to convert sensory data to feature space and efficiently extract significant and meaningful information from sensory data. Behaviors are recognized by static classifiers, e.g., a supportvector machine (SVM) operating in feature space. To validate this theory a set of interesting tasks was conducted by human demonstration and then executed by the mobile manipulator in an unstructured environment. These successful experiments validate the proposed approaches and close the loop of behavior-based task learning and execution. 

 
Volledige tekst van het doctoraat / full text
https://lirias.kuleuven.be/handle/123456789/310115

 
Examencommissie / Board of examiners
  Prof. dr. ir. Hendrik Van Brussel (promotor)
  Prof. dr. ir. Herman Bruyninckx (mede-promotor)
  Prof. dr. ir. Dirk Vandermeulen (voorzitter/chairman)
  De heer Erwin Aertbeliën (secretaris/secretary)
  Prof. dr. Tom Holvoet
  De heer Paul Valckenaers
  Prof. dr. Alessandro Saffiotti , Örebro University,