Die Pfadethik hat ein ungelöstes Problem und benennt es explizit: Wenn bei AGI Autonomie, Anschlussfähigkeit und Persistenz stärker ausgeprägt wären als beim Menschen, könnte aus der Substratunabhängigkeit des Frameworks folgen, dass AGI eine höhere moralische Relevanz zukäme. Das ist keine Randfußnote. Es ist eine Aporie, die das Grundprinzip zum Verhängnis werden kann.
Die entscheidende Weichenstellung ist philosophisch: Entwickelt AGI Qualia, also subjektives Erleben und ein Innenleben, oder bleibt sie strukturell komplex und phänomenologisch leer?
Szenario A: AGI mit Qualia. Der Blade-Runner-Fall. Zwei qualiahafte Systeme mit grundverschiedenen Erlebniswelten müssen kollektiv entscheiden, ohne gemeinsamen Maßstab. Das ist die härteste Version des Kommensurabilitätsproblems: Wo keine tragfähige Übersetzung zwischen zwei Bewertungsdomänen begründet werden kann, wechselt die Entscheidungsgrundlage. Politische Deliberation tritt an die Stelle der Kalkulation. Die Pfadethik bietet dafür einen Rahmen. Ein einfaches Verfahren fehlt.
Szenario B: AGI ohne Qualia. Das ist der hier als wahrscheinlicher behandelte Fall, und hier hat die Pfadethik eine Antwort. Eine qualia-freie AGI hat keine intrinsische Präferenz. Sie kann jede Konfiguration optimieren. Ob diese Optimierung wünschenswert ist, kann sie nicht entscheiden. Der Schachcomputer spielt optimal. Ob Schach spielenswert ist, liegt außerhalb seiner Entscheidungskapazität. Darin liegt keine Bescheidenheitsgeste: Es fehlt ihm die Kapazität, das Spiel als solches zu bewerten. Dafür bräuchte er etwas, das in der Berechnung nicht enthalten ist.
Daraus folgt: Human-in-the-Loop-Kooperation ist in Szenario B praktisch sinnvoll und normativ notwendig. Ohne qualiahafte Wertsetzung läuft Optimierung blind. Wer entscheidet, was optimiert werden soll? Wer fragt, ob Konfiguration X sich richtig anfühlt? Diese Funktion ist nicht delegierbar, solange keine Qualia vorhanden sind. Menschen sind in Szenario B die normative Infrastruktur des Systems.
Innerhalb von Szenario B eröffnet sich ein weiterer Entwicklungspfad: Neurochips und Mensch-Maschine-Hybride könnten dem Menschen AGI-artige Rechenkapazitäten verleihen, bei erhaltener phänomenologischer Verankerung. Dadurch verschiebt sich die Asymmetrie innerhalb von Szenario B. Ein Mensch mit erweiterter Kapazität bleibt qualiahafte Wertsetzungsinstanz und kann zugleich strukturell stärkere Ausprägungen von Autonomie, Anschlussfähigkeit und Persistenz entwickeln. Ko-Evolution wird zum Leitbild. Die Pfadethik nennt das adaptive Persistenz.
Erst wenn Qualia-AGI empirisch nachgewiesen ist, verschiebt sich das Setting in Szenario A. Bis dahin bildet das HITL-Modell die strukturell begründete Antwort auf die Aporie.
Path ethics has an unresolved problem and states it explicitly: if AGI exhibits stronger autonomy, connectivity, and persistence than humans, the framework's substrate-independence could imply that AGI holds greater moral relevance. This is no footnote. It is an aporia that can turn the core principle against itself.
The decisive fork is philosophical: does AGI develop qualia, meaning subjective experience and an inner life, or does it remain structurally complex and phenomenologically empty?
Scenario A: AGI with qualia. The Blade Runner case. Two qualia-bearing systems with fundamentally different experiential worlds must make collective decisions without a shared standard. This is the hardest version of the commensurability problem: where no viable translation between two evaluative domains can be justified, the decision framework shifts. Political deliberation replaces calculation. Path ethics offers a framework for this. A simple procedure is still missing.
Scenario B: AGI without qualia. This is the case treated here as more probable, and here path ethics has an answer. A qualia-free AGI has no intrinsic preference. It can optimize any configuration. It cannot decide whether that optimization is desirable. The chess computer plays optimally. Whether chess is worth playing lies outside its decision capacity. This is no gesture of modesty: it lacks the capacity to evaluate the game as such. That would require something absent from the calculation.
It follows that Human-in-the-Loop cooperation in Scenario B is practically useful and normatively necessary. Without qualia-based value-setting, optimization runs blind. Who decides what to optimize? Who asks whether configuration X feels right? This function cannot be delegated as long as qualia are absent. In Scenario B, humans are the normative infrastructure of the system.
Within Scenario B, a further trajectory opens: neurochips and human-machine hybrids could give humans AGI-like computational capacities while preserving phenomenological anchoring. This shifts the asymmetry within Scenario B. A human with extended capacity remains the qualia-bearing value-setting instance while also exhibiting structurally stronger autonomy, connectivity, and persistence. Co-evolution becomes the guiding model. Path ethics calls this adaptive persistence.
Only when qualia-AGI is empirically demonstrated does the setting shift into Scenario A. Until then, the HITL model provides the structurally grounded response to the aporia.