396. The Design Space of Minds

396. The Design Space of Minds

Wenn Leute anfangen darüber zu philosophieren, wie sich KIs wohl verhalten werden, kommt mir schon das kalte Kotzen.

Der Raum aller möglichen Bewusstseinsformen ist wirklich beschissen riesig.Er ist in der Tat so riesig, dass zwei mögliche KIs sich mehr voneinander unterscheiden, als du und  E.coli , denn Menschen und Bakterien haben einige biologische Mechanismen gemeinsam, wie z.B. die APT-Synthase.

Hier ist eine gute Visualisierung des Bewusstseins-Raums:

Es gibt also fast keine Eigenschaften, die auf alle möglichen Bewusstseinsformen zutreffen, und für jede mögliche Eigenschaft, wird es fast immer eine bestimmte Bewusstseinsform geben, die jene Eigenschaft besitzt.

Frage dich also nicht, wie KIs sich wohl verhalten werden. Du fragst dich ja auch nicht, wie du dich mit einem ‘Lebewesen’ wohl vertragen wirst.

Es kommt auf die Art der KI, bzw. des Lebewesens an: FAIs sind ziemlich nett, Paperclippers weniger. Mit deiner Mutter wirst du dich wahrscheinlich gut verstehen, mit einem Piranha weniger.

Natürlich gibt es wieder einige Probleme mit dem Post, hier ein genialer Kommentar von Will Newsome, in dem sich Brillianz und kryptische Analogien vermengen, eben typisch Will:

Reading it makes me feel annoyed, because Eliezer seems to ignore convergence in the mindspace of increasingly general intelligences. All optimization processes have to approximate something like Bayesian decision theory, and there does seem to be a coherent universal vector in human preferencespace that gets absorbed into individual humans (instead of just being implicit in the overall structure of humane values). Egalitarianism, altruism, curiosity, et cetera are to some extent convergent features of minds. The universal AI drives are the most obvious example, but we might underestimate to what extent sexual selection, game theoretically-derived moral sentiments, et cetera are convergent, especially in the limit as intelligence/wisdom/knowledge approaches a singularity. I wonder if the Babyeater equivalent of a Buddha would give up babyeating the same way that a human Buddha gives up romantic love. I suspect that Buddhahood or something close is the only real attractor in mindspace that could be construed as reflectively consistent given the vector humanity seems to be on. We should enjoy the suffering and confusion while we can.

Leave a Reply