Premier maillon, le coup de bluff : Nombres de la forme 2²ⁿ + 1

« C’est ce que trouve qui m’apporte ce que je cherche. » Pierre Soulages
« En plein cœur de toute difficulté se cache une possibilité. » Albert Einstein

(1/4) : Fermat sur le Divan

(2/4) : Premier maillon, le coup de bluff

(3/4) : Dernier problème

(4/4) : La légende urbaine

Nos mathématiciens s’accordent à dire que Fermat connaissait la méthode qui montre si les nombres de la forme 2²ⁿ + 1 (nombres de Fermat) sont premiers ou non. En l'occurrence ils ne le sont pas. Une des explications que donne ses commentateurs les plus illusionnés sur ce que pensait Fermat à propos de sa fausse conjecture, est qu'il avait dû faire une erreur de calcul (...), mais qu’il n’avait pas vérifié son assertion (...), alors que la vérification se fait immédiatement (...). Pendant quasiment un tiers de sa vie, il a pressé tous ses correspondants, chacun à leur tour, de venir l'aider (...). Une période de 19 ans, assurément n'était pas suffisante pour permettre à ce génie des mathématiques de vérifier un calcul très simple qui ne prend que quelques minutes pour le cas F₅ . Une jolie démonstration peut se lire sur le site blogdemaths. Michael Mahoney, un professeur d'histoire et d'histoire des sciences, estimait que Fermat se serait assuré de la validité de la conjecture seulement jusqu’à F₄, et en aurait déduit qu'elle devait être toujours valide sans même vérifier le cas F₅. On est émerveillé de voir avec quelle facilité des personnes instruites peuvent parfois écrire d'éminentes balourdises.

En utilisant les nombres de la forme 74k+1 Fermat inventa une méthode très ingénieuse pour prouver que 2³⁷ – 1 (soit 137 438 953 471) est divisible par 223. En utilisant le même argument, avec les diviseurs de la forme 64k+1 cette fois, il pouvait montrer en 4 courtes divisons que F₅ est divisible par (64×10) + 1 (soit 641), donc qu'il n'est pas premier, donc que la conjecture est fausse. Fermat écrit sans cesse qu'il n'a pas la preuve de cette proposition. D'ailleurs il ne la joint pas à ses 48 Observations en rapport avec l’Arithmetica de 1621 que son fils transcrira sur l'Arithmetica de 1670 (« où toutes ces propositions, à mesure qu’on s’en est occupé, ont été trouvées rigoureusement exactes »). Cette décision de Samauel conforte notre thèse qui soutient qu'il l'a toujours sue fausse. Mentionnons aussi une lettre de Fermat à Mersenne (datée du 7 Avril 1643) dans laquelle on peut lire :
« Vous me demandez si le nombre 100 895 598 169 est premier ou non, et une méthode pour découvrir, dans l’espace d’un jour, s’il est premier ou composé. À cette question, je réponds que ce nombre est composé et se fait du produit de ces deux : 898 423 et 112 303, qui sont premiers. » Les méthodes que proposera plus tard Gauss (1777-1855) dans ses Disquitiones arithmeticae pour décomposer un nombre composé en ses facteurs premiers n'auraient pu résoudre le problème proposé par Mersenne.

Dans son livre Un théorème de Fermat et ses lecteurs, Catherine Goldstein étudie particulièrement l’Observation XLV traitant du Théorème de Fermat sur les triangles rectangles : sa formulation, les lectures qu'en ont fait les différents commentateurs, etc.. Cette preuve montre l’impossibilité, comme en passant, du cas n=4. Au cours du temps les mathématiciens ont fait différentes lectures de ce théorème. C.G. y fait sa propre lecture qui a l’avantage de répondre « à toutes objections soulevées jusqu’à présent ». À la page 148, note 4, elle note que « des lettres importantes pour les recherches sur les nombres ne figurent pas dans les VARIA OPERA MATHEMATICA^[6] (publiées par son fils en 1679), comme la lettre de Carcavi de 1659 » (où figure la fausse conjecture sur les nombres de Fermat). C'est la formulation d'un passage de cette lettre qui a fait dire à de nombreux commentateurs que Fermat avait dû se tromper sur cette conjecture (et donc... aussi, sur son fameux théorème) (...). Concernant cette fausse conjecture et ses diverses formulations, ce sont au total 5 lettres qui sont absentes des Varia opera (“Œuvres mathématiques diverses”), un recueil de mémoires et de correspondances de Fermat). Une seule de ces lettres en rapport direct y est mentionnée. Voici les lettres absentes :

1) à Frénicle de Bessy en août (?) 1640, où figurent ces mots, dont le contexte dans lequel Fermat les écrit n’a jamais été étudié (voir infra) par les commentateurs : « [...] mais j’ai exclu si grande quantité de diviseurs par démonstrations infaillibles [...] » Fermat cherche à stimuler Frénicle.

2) à Mersenne, Noël 1640, : « Si je puis une fois tenir la raison fondamentale que 3, 5, 17, etc. sont nombres premiers, il me semble que je trouverai de très belles choses en cette matière, car j’ai déjà trouvé des choses merveilleuses dont je vous ferai part, après que j’aurai eu votre réponse et celle de M. Frenicle. » On peut penser que c'est moins de son ami le père Marin Mersenne que de Frenicle (avec lequel Fermat aurait souhaité ferrailler dans la plus grande courtoisie) que Fermat donne l'impression qu'il pourrait attendre une réponse (somme toute ardue pour l'époque). L'appât tendu par Fermat était alléchant, mais d'après ce que l'on sait Frénicle n'a pas répondu et Fermat n'aura pas à faire part des choses merveilleuses qu'il a déjà trouvées. Cette absence de réponse sera pour lui un bon prétexte pour garder par devers lui ces choses merveilleuses. Ses habiletés, son don de psychologue, on le voit dans toute sa correspondance, sont confondants.

3) à Pascal, le 29 août 1654 : « et je vous avoue que je n’ai pu encore la trouver pleinement ; je ne vous la proposerais pas pour la chercher, si j’en étais venu à bout. Cette proposition sert à l’invention des nombres qui sont à leurs parties aliquotes en raison donnée, sur quoi j’ai fait des découvertes considérables. Nous en parlerons une autre fois. » Un nouvel appât tendu, plus discret cette fois, au grand Blaise Pascal, dont Fermat sait certainement qu'il est déjà bien éloigné de ces considérations.

4) à Digby pour John Wallis, le 19 juin 1658 : « Il reste à trouver une démonstration de cette proposition, certainement belle mais aussi très vraie. » (Lettre XCVI dans Œuvres de Fermat, t. 2, p. 402-405. Ces affirmations répétées à propos de sa prétendue certitude sur les nombres de la forme 2²ⁿ + 1 feront le régal, dans leur ignorance, de ses détracteurs.

5) à Carcavi, en août 1659, dans une lettre bilan à destination du jeune Huygens, qui avait de tout autres centres d'intérêt... La formulation de cette conjecture est très inhabituelle chez Fermat :

« J’ay ensuite considéré certaines questions [qui, bien que] négatives, ne restent pas de recevoir très grande difficulté, la méthode pour y pratiquer la descente étant tout à fait diverse des précédentes, comme il sera aisé d’éprouver. Telles sont les suivantes :

– Il n'y a aucun cube divisible en deux cubes.
– Il n'y a qu'un seul quarré en entiers qui, augmenté du binaire, fasse un cube. Le dit quarré est 25.
– Il n'y a que deux quarrés en entiers, lesquels, augmentés de 4, fassent un cube. Les dits quarrés sont 4 et 121.
– Toutes les puissances quarrées de 2, augmentées de l'unité, sont nombres premiers.

Cette dernière question est d’une très subtile et très ingénieuse recherche et, bien qu'elle soit conçue affirmativement, elle est négative, puisque dire qu'un nombre est premier, c'est dire qu'il ne peut être divisé par aucun nombre. » (Voir la lettre complète).

Cette formulation à l'attention de Huygens, qui a prêté à confusion et fait un peu polémique, deviendra après sa mort la plus célèbre de ses remarques sur les nombres de Fermat. Huygens était un jeune mathématicien de 30 ans, le seul qui aurait pu encore le suivre, mais il ne donna pas suite. La formulation de ce dernier ballon d'essai était pourtant fort excitante.

• Dans ces lettres il demande du secours (!) à ses six principaux correspondants. L'un après l'autre il les teste, les stimule, les encourage à le suivre dans ses travaux (quelle motivation pour eux, venir à l'aide du grand Fermat !). Mais aucun ne répondra.
• Cette fois Fermat a ‘’considéré” certaines ‘’questions”. Il n'emploie plus, comme il l'a toujours fait, l'expression «propositions négatives». La nouvelle formulation question(s) négative(s) n'est d'ailleurs pas très correcte, une question, formellement, est toujours une interrogation. La formulation de tout le paragraphe, et à la fin l'allusion aux nombres premiers “qui ne peuvent être divisés par aucun autre nombre”, lui permettent d'introduire le terme «négative». Fermat, philologue, l'utilise dans une lettre testament, une lettre bilan. Insinue-t-il alors qu'à cette question, la réponse est négative ? C'est notre thèse.
• La formulation de Fermat : « Cette dernière question est d’une très subtile et très ingénieuse recherche […] » est admirable. Cette question qu'il nous pose à nous lecteurs, il en majore encore l’intelligence en ajoutant sans raison apparente à l'adjectif «subtile» son synonyme «ingénieuse», qui fait doublon. Continuons donc à lui faire confiance en faisant preuve nous aussi de finesse, de créativité, et « considérons la question ». La formulation du paragraphe peut avoir un double sens : la recherche qu'il évoque c'est peut-être aussi et surtout, outre l'aspect mathématique, une recherche de subtilités dans ce qu'il écrit. On aura avantage à comprendre ainsi le début de la phrase : « Cette dernière question est d’une très subtile et très ingénieuse recherche dans sa formulation […] ». L'agencement singulier des mots dans l'entièreté du paragraphe est d'une subtilité remarquable.
• Comme nous l'avons vu cette proposition est absente des observations transcrites par son fils sur l'Arithmetica de 1670, toutes prouvées exactes par la suite, et elle est aussi absente des Varia opera.
• Les 3 premières ‘’questions‘’ ayant une reçu réponse positive, les détracteurs seront enclins et motivés à croire qu'il a cru avoir démontré que la dernière avait elle aussi une réponse positive. Pourtant il a bien écrit “négative”.
• Notons que la lettre à Mersenne de juin (?) 1640 (voir infra) où Fermat utilise une méthode similaire, avec les diviseurs de la forme 74k+1, son fils l’omet elle aussi des Varia. Ce sont donc 6 lettres importantes en rapport avec la fausse conjecture que Samuel n'inclut pas dans les Varia.
• Nous disons que ces 5 lettres, dès la première, sont un énorme coup de bluff. Non seulement Fermat veut nous montrer à quel point il aurait souhaité trouver des partenaires qui l'accompagnent dans ses recherches arithmétiques (y croyait-il vraiment ?), mais toutes ces lettres absentes des Varia, ainsi que la sixième qui y figure (voir infra) ont une autre utilité, elles préparent le terrain en donnant au lecteur naïf l’impression que, finalement, Fermat n'est pas un mathématicien sérieux. Dans cette lettre à Carcavi, alors qu’il a certainement de gros doutes quant à une réponse de Huygens, il laisse à la postérité un premier message mémorable qui se veut ambigu et fera effectivement beaucoup jaser. Il n'a cessé de jouer avec nous, le jeu a commencé en 1640 et ne cessera de s’intensifier. Le point culminant sera évidemment sa fameuse observation sur le théorème qu’il se garde bien de publier de son vivant. Un clin d’œil magnifique venu 30 ans plus tard de l’au-delà grâce à son fils Samuel pour d’éventuels lecteurs attentionnés.

D'un autre immense savant, une très jolie formulation : « Parfois, commentant sur quelques impressions souvent confuses, au sujet peut-être de tel et tel passage particulièrement obscur et déroutant, j’arrivais au fil de la plume à pénétrer plus avant dans le sens d’un texte qui avait semblé hermétique. […] Au fil des jours et des semaines, je me suis aperçu que le simple fait de recopier in extenso tel passage du texte que je scrutais, modifiait de façon surprenante ma relation à ce passage, dans le sens d’une ouverture à une compréhension de son sens véritable. » Alexandre GROTHENDIECK, Récoltes et semailles, p. 428.

Ainsi que : « Je crois même que l'apparition soudaine d’un tel sentiment [d’évidence] est plus ou moins commune à tout travail de découverte, aux moments où celui-ci soudain débouche sur une compréhension nouvelle, grande ou petite. J’en ai fait l’expérience encore et encore tout au long de ma vie de mathématicien. Et ce sont les choses les plus cruciales, les plus fondamentales, au moment où elles sont enfin saisies, qui sont celles qui frappent le plus par leur caractère d’évidence ; celles dont on se dit après coup qu’elles “crevaient les yeux” – au point qu’on se trouve stupéfait que soi-même ni personne n’y ait songé avant et depuis longtemps. Ce même étonnement, je l’ai rencontré à nouveau, et tout autant, dans le travail de méditation – ce travail à la découverte de soi-même qui est venu, peu à peu, à se confondre quasiment avec le travail sur mes rêves. [...] Les gens ont tendance à ne pas y faire attention, à ce sentiment d’évidence qui accompagne si souvent l’acte de création et l’apparition de ce qui est nouveau. Souvent même on refoule la connaissance de ce qui peut sembler, en termes des idées reçues, un étrange paradoxe. » Alexandre GROTHENDIECK, La Clef des songes, p 24.

Pour Fermat l'arithmétique est à la fois une passion, un art, un travail et un jeu. Il s'est fort plu par exemple à travailler sur les carrés magiques, allant jusqu'à réaliser un rectangle magique de plus de 400 cases. Il utilise beaucoup le latin (toujours, dans les 48 observations), dont la rigueur et la concision correspondent parfaitement aux exigences des mathématiques. Or, déroger aux règles précises de cette langue permet de jouer avec les mots. L'usage de « l’ellipse énigmatique ou du cryptage » (Ludivine Goupillaud) en est l'exemple le plus remarquable. Dans cette lettre bilan il opère un glissement du latin vers le français et pour la première et unique fois il utilise le procédé du cryptage dans un texte sibyllin écrit en français. Si donc on veut bien lire entre les lignes : « Pour comprendre les tenants et aboutissants de cette lettre bilan il ne vous suffira pas d’en faire la lecture objective, vous devrez aussi la soumettre à une analyse rigoureuse car elle est le fruit d’une très ingénieuse recherche. À votre tour vous devrez vous astreindre à une très subtile recherche. »

Ses détracteurs en déformant son propos douteront toujours de ses compétences et feront de cette lettre un argument majeur pour dire qu'il avait présenté son plus grand théorème comme vrai sans en avoir trouvé la preuve. La plupart auront aussi recours à des paralogismes ou des sophismes. Ses partisans se réjouiront en découvrant les subtilités de cette lettre bilan, qui si elles ne sont pas aussi déterminantes que le cryptage de sa plus célèbre observation (voir infra) sont elles aussi sublimes.

Quand Samuel publie les Varia opera après la mort de son père, comme il l'a fait pour les Observations, mais cette fois-ci 9 ans plus tard, il n'y insère qu'une lettre évoquant cette fausse conjecture, celle adressée à Monsieur de ****. On est quasiment assuré qu’il s’agit encore de Frénicle de Bessy.:

6) 18 octobre 1640 : « Mais je vous avoue tout net (car par avance je vous avertis que, comme je ne suis pas capable de m'attribuer plus que je ne sais, je dis avec la même franchise ce que je ne sais pas) que je n'ai pu encore démontrer l’exclusion de tous diviseurs en cette belle proposition que je vous avais envoyée et que vous m’avez confirmée, touchant les nombres 3, 5, 17, 257, 65537, etc. Car, bien que je réduise l’exclusion à la plupart des nombres et que j’aie même des raisons probables pour le reste, je n’ai pu encore démontrer nécessairement la vérité de cette proposition, de laquelle pourtant je ne doute non plus à cette heure que je le faisais auparavant. Si vous en avez la preuve assurée, vous m’obligerez de me la communiquer ; car, après cela, rien ne m’arrêtera en ces matières. » Cette affirmation n'est-elle pas là surtout pour aiguiser la curiosité de Frénicle, le stimuler ? Tant il est vrai que si ce dernier avait pu trouver le contre-exemple F_5, Fermat aurait eu le partenaire idéal, leurs échanges futurs auraient pu faire l'objet de joutes et d'échanges qui auraient considérablement enrichi l'historiographie. S'il ne parle plus de ‘’démonstrations infaillibles‘’, il n'y va pas de main morte. Pourtant, deux mois seulement après sa première lettre à Frénicle, il semble vouloir un peu le rassurer sur la difficulté.

Samuel de Fermat a donc omis, en particulier dans les Varia, toutes les formulations sur cette conjecture (dont celle qui a soulevé la controverse) sauf celle avec une formulation claire, ne prêtant pas à confusion, et dans un document officiel, puisque c'est un ouvrage publié où figurent ces mots de son père : « [...] car par avance je vous avertis que, comme je ne suis pas capable de m'attribuer plus que je ne sais, je dis avec la même franchise ce que je ne sais pas. » (Ndlr : il ne peut montrer que cette proposition est vraie puisqu'il la sait fausse : ce n'est même plus un mensonge).

Le choix de Samuel précisément pour cette lettre où son père dit être toujours honnête à n'en pas douter veut nous faire comprendre qu'il faudra prendre au sérieux l'observation de Fermat sur son grand théorème. Ses commentateurs ne se sont pas interrogés sur la raison de ce choix. On pardonnera facilement à une basse-cour trop excitée – la ponte fut en rapport – pour réfléchir sereinement. Les optimistes se diront que cet étroit labyrinthe où les balises ne cessent de se laisser découvrir en s'ajoutant les unes aux autres quand on avance dans un chemin hérissé de pièges pour nous guider vers le but de la randonnée, n'a pas été construit par hasard. Nous sommes certain quant à nous que Pierre de Fermat, qui institua Clément-Samuel comme seul héritier en 1660, l'a très précisément informé de ce qu'il aurait à faire pour parachever le grand œuvre.

On peut lire dans l'ouvrage Fermat par Tannery, p.199 qu'il avait utilisé l'argument des nombres de la forme 74k+1 :

7) Lettre à Mersenne, Juin (?) 1640. « Au reste vous ou moi avons équivoqué de quelques caractères au nombre que j’avais cru parfait, ce que vous connaîtrez aisément, puisque je vous baillais 137 438 953 471^{Note 1} pour son radical, lequel j’ai depuis pourtant trouvé, par l’Abbregé tiré de la 3ème proposition, être divisible par 223 ; ce que j’ai connu à la seconde division que j’ai faite, car l’exposant dudit radical étant 37, duquel le double est 74, j’ai commencé mes divisions par 149, plus grand de l’unité que le double de 74 ; puis, continuant par 223, plus grand que l’unité que le triple de 74, j’ai trouvé que ledit radical est multiple de 223.
De ces Abbregez j’en vois déjà naître un grand nombre d’autres, Et mi par di vedere un gran lume^{Note 2}.
Je vous entretiendrai un jour de mon progrès, si M. Frénicle ne vient au secours et n’abbrege par ce moyen ma recherche des Abbregez. En tout cas je vous conjure de faire en sorte que Mr de Roberval joigne son travail au mien, puisque je me trouve pressé de beaucoup d’occupations qui ne me laissent que fort peu de temps à vaquer à ces choses. Je suis (etc.) »

Note 1. Nombre de Mersenne non premier M37.
Note 2. Traduction de l'occitan : « Et il me semble voir une grande lumière. »

Au vu de ces quelques lettres comme dans toute sa correspondance on remarque deux choses qu'on pourrait trouver contradictoires.

• Fermat ne cesse de s'émerveiller, à juste titre, de ses plus belles trouvailles. Il vante tellement leur importance que certains de ses correspondants on fait de lui un vantard.
• Il n'a jamais recherché la gloire. Le seul ouvrage qu'il ait publié l'a été sous le pseudonyme M.P.E.A.S., dont on a longtemps ignoré la signification (voir infra).

Le premier point s'explique aisément : comme on le voit dans ses écrits, il s'attache à faire progresser la science et souhaiterait que les savants collaborent entre eux.
Le deuxième point s'explique encore plus aisément :

• C'est l'honnête homme par excellence, reconnu d'une grande modestie par ceux qui ont su l'apprécier. Descartes très jaloux, et quelques autres qui ne purent rivaliser étaient d'un avis opposé.
• Eût-il recherché la gloire qu'elle aurait nui à sa tranquillité, l'époque est politiquement troublée et se mettre en avant aurait nui à sa carrière de magistrat.

Une fois admise l'analyse ci-dessous exposée sur la question d'une fausse conjecture, l'argument des contempteurs (« il s'est déjà trompé une fois ») perd tout son sens. Reste à étudier la problématique du théorème par une analyse poussée de son observation.