169.Not for the Sake of Happiness (Alone) -171.The Hidden Complexity of Wishes

169.Not for the Sake of Happiness (Alone)

Meine Nützlichkeitsfunktion lässt sich nicht auf Glück allein reduzieren. In anderen Worten: Ich würde nicht in Nozick’s “Erfahrungsmaschine” steigen. Glaube ich zumindest.

Menschliche Werte und Wünsche sind pluralistischer Natur, sie lassen sich nicht auf eine Dimension reduzieren.

170. Leaky Generalizations

Jede Regel hat eine Ausnahme. Und selbt diese Regel hat eine Ausnahme: Die fundamentalsten Gesetze des Universums.

171.The Hidden Complexity of Wishes

Sehr wichtiger Post.

Angenommen deine Mutter stirbt bei der Explosion eines Hauses. Glücklicherweise steht ein Dschini bereit, der die letzen 5 Minuten der Vergangenheit verändern kann, und der dir so (fast) alle Wünsche erfüllen kann. Du wünscht dir “Lass meine Mutter nicht in dem Haus verbrennen”. Also dreht er die Zeit zurück, und die Explosion katapultiert deine Mutter 100 Meter weiter gegen eine Wand, wo sie sofort stirbt. Nächster Wunsch: “Lass meine Mutter nicht sterben”. 3 Feuerwehrmänner retten deine Mutter, kommen dabei aber selbst um. Nächster Wunsch: “Lass meine Mutter und auch keine Feuerwehrmänner, ja eigentlich niemanden im Umkreis von 1km sterben”. Deine Mutter erleidet schwerste Verbrennungen. Nächster Wunsch. Deine Mutter erleidet keine Verbrennungen, niemand stirbt, aber sie erleidet ein Trauma, und ist für den Rest ihres Lebens total depressiv. Nächster Wunsch: “Meine Mutter soll glücklich bis an ihr Lebensende sein”. Deine Mutter verliert ihr gesamtes Gedächtnis, und auch ihren Verstand, verweilt aber sehr glücklich für den Rest ihres Lebens in einer mentalen Anstalt. Usw.

Wenn der Dschini nicht genau weiß, was du wirklich willst, dann ist es überaus gefährlich, sich von ihm Wünsche erfüllen zu lassen. Er muss eigentlich deine Werte zu hunderprozent teilen, sonst wird er immer nach anderen Kriterien auswählen, als du es willst. Das hat offensichtliche Konsequenzen für AI.

Leave a Reply