En préalable à ce billet, l’énoncé de mon intérêt constant pour la psychanalyse (freudienne et même lacanienne) et les mathématiques : on comprendra donc que je me sois rué, dès que je l’ai vu en librairie, sur le livre à deux voix, celles d’Alain Connes (le célèbre mathématicien) et de Patrick Gauthier-Lafaye (psychanalyste), A l’ombre de Grothendieck et de Lacan, qui propose un « topos de l’inconscient ». Je l’ai lu avec un grand bonheur même si certains de ses passages me sont restés un peu obscurs.

Je n’ai guère de doute sur le fait que l’Inconscient nous dirige, au moins dans les grandes étapes qui constituent notre vie et notamment dans nos amours, notre vie sexuelle, nos rapports avec nos enfants, et plus généralement avec les êtres vivants. Des séquences de cure analytique m’ont beaucoup apporté en certains moments qui me semblaient être des caps difficiles à franchir, où des nœuds surgissaient dans mon existence, qu’il me fallait dénouer d’une façon ou d’une autre. Les séances de psychanalyse m’ont aidé. J’ai raconté ici les péripéties de ma dernière tentative de suivre une analyse, hélas terminée par la mort de l’analyste (mais l’analysant se porte bien, merci!). J’entends la psychanalyse au sens freudien (et lacanien) et non dans ses échappées spiritualistes à la Jung, car son intérêt majeur me semble être qu’un idéal scientifique y est poursuivi : il s’agit de ramener des phénomènes en apparence inexplicables à des schémas dotés de rationalité, même si l’interprétation des rêves semble déjouer toute logique – mais on peut construire un discours sur un rêve, ce qui est un moyen d’instaurer une rationalité, ledit discours n’est évidemment pas « prouvable », ni même reproductible mais il induit une cohérence locale qui peut aider le sujet à percevoir certains aspects de sa personnalité qu’il n’avait pas perçus jusqu’ici. Je ne dis pas que Freud et Lacan ont réussi dans cette tentative, mais au moins ils ont essayé, montrant une bonne volonté louable là où bien d’autres se complaisaient dans la magie et l’irrationalisme. Que l’Inconscient nous dirige reste une formule, tout comme l’est qu’il soit structuré « comme un langage », encore faut-il explorer ce qu’on doit comprendre par là. La notion de topos ouvre une voie d’approfondissement féconde car elle permet de penser comment des phénomènes observables en surface (nos comportements dans la vie, pour faire bref) peuvent être influencés voire déterminés par des accidents ou des traumatismes qui demeurent in-sus du sujet tant qu’il ne va pas plus loin en analyse (et encore).

Qu’est-ce que l’Inconscient ? Les mathématiques peuvent-elles en rendre compte ? Que serait l’Inconscient, alors, en termes mathématiques ? La réponse vient d’Alain Connes : un topos, dont le concept est issu des travaux du génial mathématicien Alexandre Grothendieck. Ma première observation ici sera que, si cela est vrai, alors nous ouvrons un espace de continuité qui existerait entre les structures inconscientes et les mathématiques. Est-ce à dire que les objets mathématiques, conçus comme des entités réelles (à la manière platonicienne) rencontreraient quelque part notre pensée inconsciente ? Peut-être bien. Nous retrouverions là les intuitions déjà exposées dans le livre sur les yanomamis (cf. le mathématicien et le chaman) où l’on suggérait des analogies entre les objets mathématiques auxquels seul le mathématicien avait accès par une concentration et un travail particuliers, et les figures captées par le chaman, puisque que peuvent bien être ces figures si ce ne sont justement des visions inconscientes de la même nature que le rêve ? Nous avons à l’époque rejeté le côté trop analogique de cette pensée, mais lorsqu’il s’agit du rapport entre psychanalyse et mathématiques, les choses deviennent plus sérieuses, en tout cas vraiment articulables, à cause des années de travail et de réflexion transcrites tant par les uns que par les autres. Aujourd’hui, un mathématicien et un psychanalyste peuvent dialoguer d’égal à égal, au sein d’une même culture, et il sort de ce dialogue des pépites qui nous intriguent. Mais venons-en au fait.

Grothendieck vers la fin de sa vie, Alain Connes, et Jacques Lacan

Un topos est une catégorie avec un objet classifiant. Ah, voilà la belle histoire… et qu’est-ce que cela fait ? La théorie des catégories est une théorie mathématique due principalement à des chercheurs des années soixante comme Saunders McLane, Samuel Eilenberg, William Lawvere etc. Elle a, en un sens, supplanté la théorie des ensembles. Alors que cette dernière était censée donner les fondements ultimes des mathématiques (c’est du moins ce qu’affirmait le groupe Bourbaki dans les années trente à soixante du XXème siècle), on pouvait encore trouver plus « ultime », c’est-à-dire un type d’architecture où la théorie des ensembles s’inscrivait, mais comme cas particulier dans une théorie plus générale. Pour le dire brièvement, alors que la théorie des ensembles part d’objets statiques, qui sont des points et des ensembles, reliés entre eux par la relation d’appartenance, de sorte que deux « objets » particuliers appelés « ensembles » sont égaux si et seulement s’ils sont composés des mêmes éléments (extensionnalité), la théorie des catégories met en place à la fois des objets (représentables comme des points) et des morphismes entre ces objets (représentables comme des flèches allant de l’un à l’autre), autrement dit intègre un aspect dynamique (car les morphismes sont comme des transformations). Ce qu’on impose simplement à ces flèches, c’est qu’elles soient composables entre elles et que parmi elles, pour chaque objet il y ait une flèche jouant le rôle d’une identité (ces notions, de composabilité et d’identité, peuvent être définies au moyen d’équations rigoureuses, sans obligatoirement passer par les notions ensemblistes). Les catégories se distinguent entre elles par les types d’objets et de morphismes qu’elles renferment. Par exemple, la théorie des ensembles est une catégorie : les objets sont les ensembles, les morphismes sont les applications d’un ensemble vers un autre. Les identités sont les applications identiques d’un ensemble vers lui-même (pour tout a dans A, i(a) = a). Mais les groupes aussi forment une catégorie : les objets sont les groupes, les morphismes sont les applications d’un groupe vers un autre qui respectent en plus une condition de correspondance entre les structures : si * est l’opération sur G, et si *’ est l’opération sur G’, on doit avoir pour un morphisme f : f(a * b) = f(a) *’ f(b). et ainsi de suite, on peut fabriquer la catégorie des espaces topologiques, des monoïdes, des structures d’ordre etc.

Un topos est une catégorie avec, en plus, un objet classifiant. L’objet classifiant, c’est un truc formidable : il permet de dire par exemple, dans le cas des ensembles si on est dans A ou si on est dans son complémentaire. Donner un ensemble E inclus dans un univers U est équivalent à donner une fonction de U vers l’ensemble particulier {0, 1}, appelée fonction indicatrice (l’ensemble est alors celui des points dont l’image est 1, ou, dit autrement, l’image réciproque par f de {1}). On comprend donc que cet ensemble à deux éléments, {0, 1}, joue un rôle important, on dira que c’est un « objet classifiant ». On dira que l’objet classifiant pour les ensembles, est cet ensemble. Je dis « l’objet classifiant » et non pas « un » car ils sont tous isomorphes, ce qui fait qu’on peut les identifier. Là est ce qui est pour certains logiciens un handicap pour la théorie des catégories : tous les objets y sont définis à un isomorphisme près. Il y a vraiment un idéalisme intrinsèque de la théorie : on identifie des objets qui se comportent de la même façon, on ignore une identité plus terre à terre, physique, matérielle (c’est le reproche essentiel fait par Jean-Yves Girard à la théorie des catégories, il y voit un « essentialisme » là où, lui, prêche pour un « existentialisme »). Mais passons…

Alain Connes donne des exemples de catégories avec objet classifiant où celui-ci ne peut en aucun cas être ce simple objet à deux valeurs : voilà déjà une manière de « généraliser » le concept d’ensemble, ou de s’en abstraire, voire… de s’en débarrasser. Parmi ces exemples, celui de la catégorie des objets (X, s) où X est un ensemble et s une application de X vers lui-même, qu’on nomme une « évolution ». Les morphismes de cette catégorie doivent être des applications de X vers Y compatibles avec ces évolutions. Un tel morphisme, f, doit donc être tel que f(s(x)) = t(f(x)) où t est l’évolution sur Y (cela dit que l’image par le morphisme f de ce que devient x après un pas d’évolution s est justement ce que devient l’image de f(x) en un pas dans Y). L’objet classifiant B de cette catégorie est associé à un morphisme (comme c’était le cas de l’objet {0, 1} qui était associé à l’application de E dans {0, 1} qui est son indicatrice), qui doit donc avoir cette propriété lui aussi. Mais si on essaie B = {0, 1}, ça ne marche pas : on ne voit pas d’évolution dans {0, 1} qui jouerait ce rôle (par évolution, le faux risquerait de devenir vrai!). B est en réalité un ensemble isomorphe à (N, t) où N est l’ensemble des entiers, y compris ∞, et t est une application de N dans N, qui à chaque entier associe son prédécesseur, de sorte que si f(x) = 0, alors x est « vrai », mais si f(x) = n > 0, alors en quelques pas (p), on pourra avoir f(s^p(x)) = 0, ce qui s’interpréterait comme… « x est à une distance p du vrai » ! L’application « canonique », g, celle qui joue le rôle d’indicatrice pour un sous-objet Y est alors l’application de (X, s) dans (B, t) qui, à tout x dans X, associe le plus petit entier n = g(x) tel qu’en appliquant n fois s à x, on arrive dans Y. On voit ce qui se passe : le 0 restera 0 (le vrai), mais ∞ aussi : si x est envoyé sur lui, aucune itération de l’évolution s ne le fera parvenir jusqu’à 0 ! Autrement dit, il est l’équivalent du « faux » (et on est bien dans la situation où du faux on ne saurait passer au vrai!). Quant aux valeurs intermédiaires… ce sont tous les degrés de la vérité ! De plus, on doit prendre pour négation l’opération qui à tout entier fini associe l’infini, et à l’infini 0, mais alors la négation de la négation n’est plus identique à l’affirmation ! Autrement dit, ce topos est loin d’être classique. Personnellement, je ne crois pas beaucoup aux degrés de vérité définis par des entiers, je ne vois pas bien comment on peut décider en parlant d’une proposition, qu’elle est à une distance n de la vérité ! On voit certes ce que peut signifier être proche de la vérité (voire en être à deux doigts!) mais ce sont là des expressions métaphoriques du langage courant. L’exemple fourni par Connes est intéressant parce qu’il nous montre comment on peut jongler de manière indéfinie avec la notion de topos pour se retrouver dans des situations étonnantes, dont le cas classique (du vrai et du faux avec une négation involutive) n’est qu’un cas particulier, choisi de façon arbitraire, mais cet exemple demeure ce que les théoriciens appellent un « toy-example ».

On peut faire beaucoup plus, et en quelque sorte, en taille réelle, en empruntant la notion de faisceau qui généralise celle de famille d’ensembles, une « famille d’ensembles » étant un ensemble d’ensembles indexés par un indice t {E_t, t 𝜖 T}. t joue un rôle de paramètre : on peut imaginer que c’est le temps, mais on peut imaginer bien plus aussi, et en ce cas, l’espace T peut être assez mystérieux, au point qu’on veuille l’étudier de près. Comme dans le cas des évolutions, l’ensemble des faisceaux liés à un même espace T constitue un topos. Et on a cette propriété particulièrement utile qu’il est équivalent d’étudier ce topos et d’étudier directement l’espace T. Ce qu’il y a d’extraordinaire ici est que, dans le cas de l’étude du topos, on étudie les E_t qui sont des ensembles ordinaires. Autrement dit, l’étude des ensembles ordinaires E_t renseigne complètement sur l’espace T qui, pourtant, est l’espace déterminant ! Mais est-ce que T est un simple ensemble, sans autre spécification ? Non, si je l’appelle T ce n’est pas pour rien : T est un espace topologique. La topologie est la plus belle discipline mathématique qu’il m’ait été donné de connaître, en tout cas elle est la plus proche de l’esthétique puisqu’à la base elle étudie des surfaces et qu’elle est fondée sur les notions d’ouvert et de voisinage (pour moi, un tableau abstrait donne une magnifique image de ce qu’est une topologie!). Une famille d’ouverts donnée définit une topologie. Intuitivement, les ouverts sont des sous-espaces qui généralisent la notion d’intervalle ouvert dans l’ensemble des réels, autrement dit un ensemble continu de points qui exclut leurs limites (ou leurs bornes) à gauche et à droite, ce qu’on note dans les cours de mathématiques élémentaires : ]a, b[ (ensemble de tous les nombres réels x tels que x > a et x < b). Un voisinage d’un point x₀ est un ouvert contenant x₀ (ce qui entraîne qu’on peut toujours trouver d’autres points x aussi proche que l’on veut de x₀, ce qui n’est pas le cas par exemple dans un ensemble contenant ses bornes comme [a, b] où x₀ pourrait être a ou b : si c’est a, à gauche de a on ne trouve rien dans l’ensemble, si c’est b, à droite de b, on ne trouve rien non plus). L’idée d’un faisceau est qu’il existe toujours autour de t un voisinage sur lequel E_t continue d’exister tel quel, autrement dit, on a une garantie relative de stabilité, on ne bascule pas brutalement dans l’Autre.

Alain Connes a l’idée d’aller rechercher un texte d’Hippolyte Taine (De l’intelligence, 1870) pour donner une image de la manière dont on peut voir un topos dans le sujet qui nous occupe, autrement dit la métaphore de la scène et des coulisses :

On peut comparer l’esprit d’un homme à un théâtre d’une profondeur indéfinie, dont la rampe est très étroite, mais dont la scène va s’élargissant à partir de la rampe. Devant cette rampe éclairée, il n’y a guère la place que pour un seul acteur. Il y arrive, gesticule un instant, se retire ; un autre apparaît, puis un autre […] Au-delà de ces groupes, dans les coulisses et l’arrière-fond lointain se trouvent une multitude de formes obscures qu’un appel soudain amène parfois sur la scène ou même sous les feux de la rampe, et des évolutions inconnues s’opèrent incessamment dans cette fourmilière d’acteur […]

et il enchaîne, avec son ami psychanalyste sur cette idée : « cette subtile façon d’analyser un espace en le rejetant dans les coulisses d’une scène sur laquelle l’ordinaire advient, mais dépend secrètement d’un aléa incontrôlable, ressemble de manière frappante à la situation du psychanalyste exerçant son métier ; cette attention au prétendu détail, à l’accident, à la surprise due à l’équivoque née d’un mot pourtant exprimé dans la continuité du sens conscient que veut faire entendre le patient etc. Nous en sommes alors arrivés à conjecturer l’existence, pour chaque individu, d’un topos qui joue le rôle de deus ex machina gouvernant secrètement, dans les coulisses, les subtiles nuances qui font de chacun de nous un être unique. De là à l’appeler « l’inconscient » cela ne pourra se justifier qu’en testant pas à pas l’adéquation entre la richesse surprenante de la théorie des topos avec les traits connus de l’inconscient révélés par la pratique de la psychanalyse ».