Refine
Has Fulltext
- yes (3) (remove)
Document Type
- Postprint (2)
- Doctoral Thesis (1)
Is part of the Bibliography
- yes (3)
Keywords
- production control (3) (remove)
Institute
- Fachgruppe Betriebswirtschaftslehre (3) (remove)
In nowadays production, fluctuations in demand, shortening product life-cycles, and highly configurable products require an adaptive and robust control approach to maintain competitiveness. This approach must not only optimise desired production objectives but also cope with unforeseen machine failures, rush orders, and changes in short-term demand. Previous control approaches were often implemented using a single operations layer and a standalone deep learning approach, which may not adequately address the complex organisational demands of modern manufacturing systems. To address this challenge, we propose a hyper-heuristics control model within a semi-heterarchical production system, in which multiple manufacturing and distribution agents are spread across pre-defined modules. The agents employ a deep reinforcement learning algorithm to learn a policy for selecting low-level heuristics in a situation-specific manner, thereby leveraging system performance and adaptability. We tested our approach in simulation and transferred it to a hybrid production environment. By that, we were able to demonstrate its multi-objective optimisation capabilities compared to conventional approaches in terms of mean throughput time, tardiness, and processing of prioritised orders in a multi-layered production system. The modular design is promising in reducing the overall system complexity and facilitates a quick and seamless integration into other scenarios.
Moderne Technologien befähigen die beteiligten Akteure eines Produktionsprozesses die Informationsaufnahme, Entscheidungsfindung und -ausführung selbstständig auszuführen. Hierarchische Kontrollbeziehungen werden aufgelöst und die Entscheidungsfindung auf eine Vielzahl von Akteuren verteilt. Positive Folgen sind unter anderem die Nutzung lokaler Kompetenzen und ein schnelles Handeln vor Ort ohne (zeit-)aufwändige prozessübergreifende Planungsläufe durch eine zentrale Steuerungsinstanz. Die Bewertung der Dezentralität des Prozesses hilft beim Vergleich verschiedener Steuerungsstrategien und trägt so zur Beherrschung komplexerer Produktionsprozesse bei.
Obwohl die Kommunikationsstruktur der an der Entscheidungsfindung beteiligten Akteure zunehmend an Bedeutung gewinnt, existiert keine Methode, welche diese als Grundlage für die Operationalisierung der Dezentralität verwendet. Hier setzt diese Arbeit an. Es wird ein dreistufiges Bewertungsmodell entwickelt, dass die Dezentralität eines Produktionsprozesses auf Basis der Kommunikations- und Entscheidungsstruktur der am Prozess beteiligten, autonomen Akteure ermittelt.
Aufbauend auf einer Definition von Dezentralität von Produktionsprozessen werden Anforderungen an eine Kennzahl erhoben und - auf Basis der Kommunikationsstruktur - eine die strukturelle Autonomie der Akteure bestimmenden Kenngröße der sozialen Netzwerkanalyse ermittelt. Die Notwendigkeit der zusätzlichen Berücksichtigung der Entscheidungsstruktur wird basierend auf der Möglichkeit der Integration von Entscheidungsfindung und -ausführung begründet.
Die Differenzierung beider Faktoren bildet die Grundlage für die Klassifikation der Akteure; die Multiplikation beider Werte resultiert in dem die Autonomie eines Akteurs beschreibenden Kennwert tatsächliche Autonomie, welcher das Ergebnis der ersten Stufe des Modells darstellt. Homogene Akteurswerte charakterisieren eine hohe Dezentralität des Prozessschrittes, welcher Betrachtungsobjekt der zweiten Stufe ist. Durch einen Vergleich der vorhandenen mit der maximal möglichen Dezentralität der Prozessschritte wird auf der dritten Stufe der Autonomie Index ermittelt, welcher die Dezentralität des Prozesses operationalisiert.
Das erstellte Bewertungsmodell wird anhand einer Simulationsstudie im Zentrum Industrie 4.0 validiert. Dafür wird das Modell auf zwei Simulationsexperimente - einmal mit einer zentralen und einmal mit einer dezentralen Steuerung - angewendet und die Ergebnisse verglichen. Zusätzlich wird es auf einen umfangreichen Produktionsprozess aus der Praxis angewendet.
Increasingly fast development cycles and individualized products pose major challenges for today's smart production systems in times of industry 4.0. The systems must be flexible and continuously adapt to changing conditions while still guaranteeing high throughputs and robustness against external disruptions. Deep reinforcement learning (RL) algorithms, which already reached impressive success with Google DeepMind's AlphaGo, are increasingly transferred to production systems to meet related requirements. Unlike supervised and unsupervised machine learning techniques, deep RL algorithms learn based on recently collected sensorand process-data in direct interaction with the environment and are able to perform decisions in real-time. As such, deep RL algorithms seem promising given their potential to provide decision support in complex environments, as production systems, and simultaneously adapt to changing circumstances. While different use-cases for deep RL emerged, a structured overview and integration of findings on their application are missing. To address this gap, this contribution provides a systematic literature review of existing deep RL applications in the field of production planning and control as well as production logistics. From a performance perspective, it became evident that deep RL can beat heuristics significantly in their overall performance and provides superior solutions to various industrial use-cases. Nevertheless, safety and reliability concerns must be overcome before the widespread use of deep RL is possible which presumes more intensive testing of deep RL in real world applications besides the already ongoing intensive simulations.