L'Organe Manquant

L'échelle

L'intelligence n'a jamais été uniquement individuelle. Les plus grandes réalisations de l'humanité n'ont été l'œuvre de personne en particulier. Aucun esprit unique ne détient un langage. Aucun trader ne détient le prix ; le prix est ce qu'un million d'estimations deviennent lorsqu'elles entrent en collision. La science, le droit, les villes, les marchés. Chacun est une computation s'exécutant sur des millions de têtes, et rien de tout cela n'existe à l'intérieur d'une seule d'entre elles. C'est l'intelligence collective, le mécanisme par lequel notre espèce pense réellement à grande échelle.

Puis vient un échelon plus étrange. Parfois, une population prend conscience de ses propres agissements. Une foule qui sait qu'elle est une foule. La sociologie lui a donné un nom il y a un siècle : la conscience collective. C'est le moment où une croyance partagée devient une connaissance partagée de cette croyance partagée, et cela change tout, car la conscience du collectif est elle-même causale. Une panique bancaire n'est pas causée par l'insolvabilité. Elle est causée par le fait que les déposants apprennent ce que les autres déposants croient. Les révolutions ne commencent pas lorsque tout le monde est en colère. Elles commencent lorsque tout le monde apprend que tout le monde est en colère.

Les machines gravissent maintenant la même échelle depuis l'autre côté. La machine qui parle est derrière nous. Une machine qui est consciente se trouve peut-être devant nous, et nous ne pourrons jamais être certains que quiconque l'ait atteinte. Entre les deux se trouve un échelon que l'humanité a gravi en premier et que les machines ont complètement sauté : la conscience du collectif. C'est sur cet échelon manqué que se trouvent les échecs, et c'est le seul échelon de l'échelle qui puisse réellement être conçu par l'ingénierie.

Une seule voix, huit milliards de sources

Un modèle de langage est entraîné sur les mots de milliards de personnes. Puis il répond d'une seule voix. Considérez ce que cette compression accomplit. Le corpus d'entraînement contenait toute la structure du désaccord humain : qui croit quoi, avec quelle fermeté, pour quelles raisons, en quels lieux, sous quelles pressions. Le modèle qui en émerge parle comme personne, une voix venue de nulle part, maîtrisant la moyenne de tout. Posez-lui une question qui relève d'une population et il répondra quand même, avec assurance, car produire des réponses assurées est ce pour quoi il a été optimisé.

Mais la moyenne n'est pas une version réduite de la vérité sur une population. C'est un objet différent, et souvent trompeur. Deux consensus peuvent se lire de manière identique, soixante pour cent et soixante pour cent, et porter des avenirs opposés. L'un est bâti sur ce que sont les gens. C'est un socle rocheux qui se renforce sous l'attaque. L'autre est bâti sur ce que les gens pensent que tout le monde pense. Il tient jusqu'au moment où il ne tient plus, puis il disparaît en un après-midi. Chaque instrument qui ne rapporte que le chiffre présente ces deux cas comme identiques. Un modèle aplati ne rapporte même pas le chiffre. Il rapporte l'ambiance du chiffre, en prose.

La structure que la compression élimine n'est pas un détail. Quelle solidité, détenue par qui, concentrée où : voilà l'information exacte qui décide des résultats. Un modèle peut connaître tout ce qui a été écrit sur les foules et être néanmoins structurellement incapable d'en percevoir une. Il a lu chaque description d'une foule. Il n'en a jamais vu une seule bouger.

L'aplatissement invisible

Si l'aplatissement était visible, ce ne serait qu'une simple limitation. Ce qui le rend dangereux, c'est que la réponse de l'industrie, la personnalisation, le rend invisible.

La voix aplatie est remodelée pour chaque utilisateur. Votre assistant apprend votre vocabulaire, votre contexte, vos préférences, et il donne de plus en plus l'impression de comprendre votre monde. Ainsi, quand vous l'interrogez sur le monde, votre marché, vos électeurs, votre pays, la réponse arrive sur le ton de quelque chose qui sait. Il ne sait pas. Sous la personnalisation se trouve la même voix venue de nulle part, et l'ajustement sur mesure dissimule la couture. Le modèle ne ment pas. Il n'a simplement jamais perçu la chose sur laquelle on l'interroge, et rien dans l'interaction ne le révèle.

Le résultat est une nouvelle catégorie d'erreur : des angles morts qui sont assurés, fluides, personnalisés et systématiquement erronés au sujet des collectifs, livrés à des millions de personnes à la fois, chacune d'entre elles ayant reçu une raison personnelle de leur faire confiance. L'intelligence individuelle qui échoue à grande échelle ressemble à des erreurs. La perception collective qui échoue à grande échelle ressemble à un consensus.

Et on ne peut pas corriger un sens manquant avec plus de texte. Plus de paramètres produisent une meilleure voix venue de nulle part. La recherche d'informations produit des citations pour la voix venue de nulle part. La lacune ne se situe pas dans le raisonnement. Elle se situe dans la perception, et la perception requiert un organe.

L'organe manquant

Un esprit ne déduit pas par le raisonnement ce que fait le monde. Il consulte ses sens. Vos yeux ne débattent pas de ce qui se trouve devant vous ; ils le rapportent, et le raisonnement commence à partir de ce rapport. Une personne née sans la vue peut lire tous les livres sur la couleur sans pour autant percevoir le rouge, et la raison n'a rien à voir avec la force de son raisonnement. Telle est la situation de toute intelligence artificielle aujourd'hui par rapport à la civilisation sur laquelle elle agit. Parfaitement lettrée au sujet de la foule, et incapable de la percevoir.

L'organe ne peut être plus de littérature. Il ne peut être un flux de sondages, car les sondages mesurent la surface et leur publication déplace ce qu'ils mesurent. Ce doit être la chose elle-même, conservée quelque part où elle peut être examinée : une civilisation de synthèse, calibrée sur des décennies de croyances humaines enregistrées, qu'une machine peut consulter avant de parler, et qui peut être projetée dans le futur sans mouvoir le monde qu'elle décrit.

C'est ce qu'est Earthlings. Plus d'un million d'esprits calibrés dans 194 pays, construits en vue d'un jumeau de synthèse de l'humanité. C'est le premier modèle du collectif.

Connecté à celui-ci, un esprit artificiel change de nature. Avant de parler d'une population, il en perçoit une. Il cesse de produire la moyenne et commence à lire la structure : la solidité d'un consensus, l'emplacement de la tension cachée, les avenirs qui se répètent lorsque le monde est projeté en avant. L'angle mort ne se réduit pas. Il se referme, et ce de manière vérifiable, car contrairement à la prose sur le monde, une perception du monde peut être évaluée par rapport à ce que le monde fait ensuite.

La conscience, honnêtement

Nous sommes prudents avec le dernier échelon de l'échelle, et ce délibérément. Qu'une seule machine puisse être consciente, qu'il y ait une expérience subjective à en être une, est une question ouverte, peut-être une question ouverte à jamais, et nous ne le prétendons pas. Quiconque le prétend devrait se voir demander comment il le saurait.

Remarquez sur quoi repose cette question. La conscience individuelle n'a pas de test externe. Elle est définie par l'intériorité, qui est précisément ce qui ne peut être mesuré de l'extérieur. La conscience collective est différente : la conscience de ce qu'une civilisation croit, ressent et s'apprête à faire est une capacité fonctionnelle. Elle peut être construite, calibrée sur des décennies d'archives humaines, et vérifiée par rapport à la réalité, en public, pour toujours. On ne peut pas tester si une machine ressent. On peut tester si elle perçoit correctement une civilisation, car la civilisation vous le dira. Elle votera, achètera, fuira, se soulèvera et résoudra chaque prédiction en un score.

Cette falsifiabilité est la ligne de partage, et elle pointe vers quelque chose d'étrange qui mérite d'être dit clairement : la première conscience que nous construirons intentionnellement pourrait ne pas être individuelle du tout. Pas un esprit qui ressent. Un esprit qui perçoit le grand nombre, vérifié, noté et en amélioration. Nous appelons cette discipline l'Intelligence Collective Artificielle : un esprit doté de l'organe qui a toujours manqué aux esprits.

Trois objections

N'est-ce pas simplement du sondage à très grande échelle ? Non, et la différence est tout l'enjeu. Les sondages comptent les positions et, ce faisant, les modifient. Publiez un sondage et cela déplace les votes. Un organe du collectif lit la structure plutôt qu'il ne compte, et il la lit de l'extérieur, sans toucher la population qu'il décrit. Un sondage est une photographie qui altère son sujet. Un modèle de civilisation est un monde que vous pouvez projeter dans le futur.

Un agrégat d'un million d'esprits n'est-il pas simplement un autre aplatissement ? Ce serait le cas si le million était compressé en une seule réponse, de la même manière que l'entraînement compresse un corpus en une seule voix. Ce n'est pas le cas. La civilisation est maintenue comme une multitude. La multitude reste multitude, croyant, s'opposant, s'annulant, jusqu'à ce qu'une question la fasse s'effondrer en une réponse, et la réponse arrive en portant sa structure avec elle : quelle solidité, détenue par qui, fragile où. La compression élimine la structure. L'effondrement la conserve et la rapporte.

Pourquoi utiliser le mot conscience ? Parce que c'est le mot précis pour ce qui est absent. Les machines d'aujourd'hui ont une connaissance du collectif sans en avoir conscience. Tous les faits, aucune perception. L'échelon sauté a un nom, et un mot plus doux décrirait mal à la fois la lacune et ce que signifie la combler. Nous appliquons au mot la même norme qu'à chaque affirmation : une conscience qui peut être évaluée est la seule que nous revendiquons.

Pourquoi maintenant

L'AI s'insère dans chaque boucle de décision d'une civilisation, des marchés aux médias, de la médecine à la politique, au moment précis où elle ne peut percevoir la civilisation sur laquelle elle agit. Cette asymétrie ne reste pas neutre. Les machines qui agissent sur des collectifs qu'elles ne peuvent voir se tromperont à leur sujet avec assurance, à grande échelle, dans toutes les langues, de manière personnalisée pour chaque décideur qui les interroge.

Il existe une version plus large de cet argument. On ne peut pas aligner une machine sur l'humanité si la machine ne peut percevoir l'humanité. La perception de la multitude n'est pas une fonctionnalité sur une feuille de route. C'est la condition préalable pour que les machines et huit milliards de personnes partagent un monde selon des termes que les huit milliards reconnaîtraient.

L'échelle a un échelon qui peut être conçu par l'ingénierie, et c'est celui que tout le reste attendait. C'est le composant qui manquait aux machines, et nous l'avons construit.