IUFM de Versailles et Université Paris-Sud
le 21 août 97
IX° Ecole d'été de
Didactique des Mathématiques
Rigueur et formalisme(s) Je voudrais d'abord que les choses soient claires : n'étant ni didacticien, ni historien, ni philosophe, il ne faut pas compter sur moi pour placer ce débat sur les liens entre rigueur et formalisme à un niveau trop théorique. Ce que je peux apporter ici c'est essentiellement mon expérience de mathématicien et d'enseignant et les réflexions que l'une et l'autre m'inspirent. En particulier, je n'évoquerai pas ici le formalisme au sens hilbertien. J'utiliserai donc le mot formalisme en un sens plus vague (plus proche de formalisation peut-être) mais qui, je l'espère, se précisera au long de ce texte. En tous cas je pense plutôt ce mot avec un article indéfini (un formalisme au sens où il y a, par exemple, deux formalismes possibles en analyse: celui des e-h et celui de l'analyse non standard).
A. Du côté de la recherche
Je discute ici des rapports entre rigueur et formalisme dans l'élaboration des mathématiques en donnant pour cela quelques exemples précis pris dans mon domaine (la géométrie algébrique), tant historiques qu'issus de ma pratique personnelle.
1/ Quelques exemples historiques
Les exemples choisis concernent la géométrie algébrique énumérative. Il s'agit de la partie de la géométrie qui vise à déterminer combien il y a d'objets vérifiant certaines conditions. Le problème le plus ancien remonte sans doute à Apollonius (environ 200 avant J.-C.) : combien y a-t-il dans le plan de cercles tangents à 3 cercles donnés ?
a) Les problèmes
Dans ce domaine, comme dans bien d'autres, les problèmes sont à la source de la plupart des recherches. En voici trois dans notre cadre :
* Le théorème de Bézout :
combien deux courbes planes algébriques C, C' de degrés d, d' ont-elles de points d'intersection ?* Le problème des 4 droites :
dans l'espace, combien y-a-t'il de droites rencontrant 4 droites données ?* Le problème de Chasles :
dans le plan, combien de coniques sont tangentes à 5 coniques données ?Bien entendu, pour que ces problèmes aient un sens (c'est-à-dire un nombre fini de solutions) il faut prendre quelques précautions. Ainsi, par exemple, dans le problème de Bézout il faut supposer que les courbes n'ont pas de composante commune (si on prend C = D1»D2 et C'= D1»D'2 l'intersection contient la droite D1 qui est infinie, bien que les courbes soient toutes deux de degré 2). Dans le cas des 4 droites il faut supposer (entre autres) que trois des droites ne sont pas coplanaires ou que les 4 droites ne sont pas dans la même famille de droites d'une quadrique. On résume ce type d'hypothèses en disant que "les données sont en position générale".
De plus, pour que le résultat soit suffisamment parlant et unifié (par exemple dans le cas de Bézout, pour avoir la réponse attendue dd') il faut travailler en projectif (pour ne pas oublier les points à l'infini), sur les complexes (pour ne pas oublier les points imaginaires) et avec une notion précise de multiplicité (pour ne pas oublier les points doubles).
b) Un principe de démonstration
L'étape suivante est d'élaborer un principe de démonstration. Un tel principe est une tentative d'explication du réel mathématique, son énoncé devant permettre, comme dans les sciences expérimentales, de comprendre et d'annoncer les résultats. Ici, il s'agit de ce qu'on appelle le principe de conservation du nombre qui consiste à dire que si, dans une situation particulière, on trouve un nombre fini de solutions (non multiples) alors ce nombre vaut aussi dans le cas général.
Ce principe permet, en tous cas, de donner une réponse aux deux premiers exemples ci-dessus :
* Pour Bézout on prend d droites parallèles à l'axe des x et d' droites parallèles à l'axe des y et on trouve dd' qui doit donc valoir pour le cas de deux courbes générales.
* Dans le cas des 4 droites on considère le cas particulier où D1 et D2 sont concourantes en x (donc toutes deux dans un plan P) et D3, D4 concourantes en y (donc toutes deux dans un plan Q). On montre alors facilement que, dans ce cas, il y a exactement deux droites qui rencontrent les Di, à savoir xy et P«Q. Le principe dit que ce nombre 2 vaut encore dans le cas général.
c) La rigueur, pourquoi ?
On se rend bien compte de la puissance d'un principe comme celui évoqué ci-dessus et on sent bien qu'il va pouvoir s'appliquer à bien d'autres situations, mais il est clair qu'en l'état ce principe n'est pas une démonstration rigoureuse. Or, la rigueur en mathématiques est indispensable pour une raison toute simple : elle seule permet d'être sûr des résultats établis (*). Il y a beaucoup d'exemples historiques qui montrent que, sans cette rigueur, on peut aboutir à n'importe quoi.
C'est ce qui s'est passé dans le cas de notre troisième exemple (rappelons qu'il s'agit de savoir combien de coniques du plan projectif sont tangentesà 5 coniques C1, Š, C5 données).
Une première réponse à ce problème a été fournie par Steiner en 1848. Il partait de la remarque que les coniques du plan dépendent de 5 paramètres (en fait 6 homogènes : l'équation d'une conique est ax2+by2+cxy+dx+ey+f = 0) et qu'on montre facilement que les coniques tangentes à une conique C donnée forment une hypersurface Q dans l'espace des coniques, définie par une équation de degré 6 en a, b, Š, f (c'est une question de discriminant). En appliquant une généralisation du théorème de Bézout on trouve que l'intersection des cinq hypersurfaces Qi (correspondant aux cinq coniques Ci, i = 1, Š, 5) est de cardinal 65 = 7776.
En fait, ce calcul (qui n'était sans doute guère plus formalisé que ce que je viens de dire) est erroné. La raison est simple, c'est que le théorème de Bézout est effectivement valable dans ce cadre, mais, à condition de travailler dans l'espace projectif de dimension 5 de toutes les coniques, y compris les impropres. Or, parmi les coniques écrites comme ci-dessus il y a les droites doubles, comme ax2 = 0, et celles-ci sont toujours "tangentes" aux 5 coniques (la multiplicité d'intersection d'une droite double et d'une conique est „ 2 en tout point), de sorte que, comme l'intersection des 5 hypersurfaces Qi est infinie puisqu'elle contient toutes les droites doubles, le nombre 65 n'a aucun sens géométrique (comme ci-dessus le nombre 4 pour l'intersection de D1»D2 et D1»D'2 (**).
L'erreur de Steiner a été relevée par de Jonquières et Chasles (1866). Ce dernier a utilisé une autre méthode et donné la réponse (correcte cette fois) : il y a 3264 coniques tangentes à 5 coniques données. La méthode de Chasles, vue avec nos yeux de mathématiciens du vingtième siècle, est fondamentalement correcte mais, faute d'un formalisme adéquat, ne pouvait être rendue vraiment rigoureuse à l'époque.
d) La formalisation : une réponse au souci de rigueur
Revenons au principe de conservation du nombre. Face à ce fait indéniable que, tel qu'il est énoncé ci-dessus, ce n'est pas vraiment une démonstration, il y a deux solutions. On peut évidemment jeter ce principe comme non fondé et chercher autre chose, mais c'est dommage car cette "démonstration" est simple et élégante (et elle semble bien donner les bons résultats !). On peut aussi essayer de rendre rigoureux ce principe en mettant en place un formalisme adapté. On pourrait presque parler ici de formalisme associé à une démonstration (cf. aussi ci-dessous l'exemple des conjectures de Weil). Dans le cas présent le formalisme est ce qu'on appelle la théorie de l'intersection. Il est clair en effet que le problème de Bézout est un problème d'intersection, mais les autres aussi : on cherche l'intersection des variétés (de droites, de coniques) vérifiant simultanément certaines propriétés. Ce formalisme, très grossièrement, consiste à définir une certaine relation d'équivalence (dite équivalence rationnelle) sur les sous-variétés d'un espace projectif (par exemple, pour les courbes on aura C ª C' si et seulement si C et C' ont même degré) puis d'établir que cette notion se comporte bien vis à vis de l'intersection (c'est cela qui est difficile) en montrant par exemple des propriétés du genre : si on a X ª X' et Y ª Y' on a X.X' = Y.Y' (en notant X.X' le nombre de points d'intersection de X et X').
En réalité, dans le cas de Bézout, mettre en place le formalisme n'est pas plus facile que de prouver directement le théorème, mais l'avantage de cet effort est de donner lieu à de multiples généralisations et de permettre de traiter ensemble toute une vaste classe de problèmes.
Ce formalisme adapté aux questions de géométrie énumérative a été mis en place à la fin du XIX-ème siècle, notamment par Schubert qui a inventé le calcul qui porte son nom et qui permet de traiter un grand nombre de tels problèmes énumératifs. Cependant, il subsistait, dans les méthodes de Schubert, beaucoup de lacunes touchant à la rigueur, à tel point que Hilbert en a fait le quinzième de ses fameux problèmes :
"Etablir rigoureusement et avec une détermination exacte des limites de validité les nombres géométriques que Schubert a déterminés sur la base du principe dit de position spéciale, (ou de conservation du nombre), par les moyens du calcul énumératif qu'il a développé."
En fait, il faudra attendre jusqu'à une date récente et l'introduction de la théorie des schémas par Grothendieck, pour que l'on puisse traiter rigoureusement (i.e. en étant sûr du résultat !) ce type de problèmes énumératifs (cf. [F], [K1], [KL]).
2/ Quelques exemples actuels
Je vais essayer de traiter maintenant du lien rigueur-formalisme dans les mathématiques d'aujourd'hui, toujours dans le domaine de la géométrie algébrique.
Je voudrais insister, tout d'abord, sur le fait que la démonstration est loin d'être la seule activité du mathématicien. Elle est précédée par une phase que l'on peut qualifier d'expérimentale, faite de tâtonnements, de calculs, de considération d'exemples, d'où vont émerger les conjectures permettant de comprendre la situation en formulant des énoncés. Ces conjectures, si elles sont sérieuses, sont le plus souvent assorties d'arguments en leur faveur qui vont devenir des ébauches de démonstrations. La démonstration proprement dite ne viendra qu'après cette phase préliminaire que je considère pour ma part comme la plus importante et, en tous cas, la plus intéressante.
a) Une preuve rigoureuse, c'est quoi ?
Il n'est pas si simple de définir ce qu'est une démonstration rigoureuse et d'être assuré qu'une preuve l'est effectivement, et ce, même aujourd'hui où les formalismes sont assez bien établis.Cela est dû, essentiellement, à la très grande complexité des mathématiques au moment de leur élaboration. Cette complexité peut parfois être partiellement superflue, le mathématicien, comme l'élève, ne trouvant pas toujours dès le début le niveau de simplification adéquat. Malgré le soin qu'on apporte aux preuves, celles-ci peuvent donc demeurer incertaines et demander un temps de décantation (cf. Fermat-Wiles).
Pour l'anecdote je citerai une expérience personnelle récente : nous avions cru prouver qu'un certain objet (le schéma de Hilbert Hd,g des courbes de degré d et genre g) n'était "presque" jamais connexe. La démonstration était écrite, soumise à une revue prestigieuse, contrôlée par un rapporteur, acceptée sans problème ! Pourtant, en faisant des calculs (assez compliqués) sur un exemple précis nous avons trouvé un contre-exemple. Il nous a fallu quelques jours pour admettre notre erreur et quelque temps encore pour comprendre où était la faute dans la démonstration (***).
Une question non triviale est donc : quand est-on vraiment sûr qu'un résultat est correct ? Je propose ici deux éléments de réponse (issus de mon expérience de chercheur). Le premier est empirique et psychologique : à force de voir fonctionner ce résultat dans des dizaines d'exemples différents, de situations distinctes, on finit par être vraiment, intimement, convaincu de son exactitude. Le second est plus sérieux : un résultat est définitivement établi lorsque l'on a suffisamment progressé (soi-même ou la communauté) pour qu'il devienne "trivial", c'est-à-dire soit revu, en général par d'autres voies, plus simples ou plus conceptuelles, de manière totalement convaincante. Par expérience, j'explique ce phénomène en disant qu'on ne comprend jamais vraiment la première démonstration qu'on a été capable de produire.
b) Rigueur et formalisme : un essai de classification
Il y a un grand nombre de problèmes en géométrie algébrique où, faute du formalisme adéquat, la solution apportée autrefois n'était pas satisfaisante. Il y a plusieurs cas de figure toutefois :
1) Une solution est donnée, avec trois cas :
a) le résultat est faux (cf. Steiner et les coniques ou encore la preuve que les variétés unirationnelles sont rationnelles et bien d'autres). Dans ce cas, le défaut de rigueur trouve sa sanction naturelle, à savoir l'erreur, et celle-ci est corrigée lorsqu'on dispose des outils (et des définitions) convenables ;
b) la preuve est insuffisante ou incorrecte mais le résultat est juste (c'est par exemple le cas de la détermination par Halphen en 1882 des degré et genre possibles pour les courbes gauches, la démonstration, non triviale, de Gruson et Peskine cent ans plus tard (!) n'a fait que confirmer le résultat d'Halphen) ;
c) on ne sait toujours pas si le résultat est correct (cf. le problème de Severi jusqu'en 1986, ou d'autres).
2) Une conjecture est fournie, avec une stratégie de preuve que l'absence du formalisme convenable empêche de mener à bien. L'exemple type de cela est fourni par les conjectures de Weil. En effet, Weil, dès 1948, avait indiqué la ligne générale d'une preuve de ses conjectures qui reposait sur l'existence d'un formalisme cohomologique qui n'existait pas à l'époque et que Grothendieck a mis en place dans les 20 ans qui ont suivi, permettant à Deligne de prouver les conjectures en 1973.
3) Il est important de noter qu'il y a souvent, au début, un problème au niveau de la définition des objets étudiés. Un exemple très frappant de ce type de problème est la notion de famille de courbes, dont les anciens avaient une idée intuitive trop floue et qui n'a pu être formalisée que dans les années 1950-60 à l'aide de la notion de platitude (J.-P.Serre). C'est un cas où l'absence de formalisme empêche de comprendre la situation (i.e. de formuler une conjecture) faute des notions ad hoc (exemple : les schémas de Hilbert non réduits).
Il me semble, pour ce que je peux connaître de l'histoire, que dans la plupart des cas, la motivation de l'introduction d'un formalisme nouveau n'a pas été le souci d'une plus grande rigueur mais bien plutôt la nécessité de cet outil nouveau pour traiter des problèmes plus difficiles ou comprendre des situations plus complexes, et la rigueur est venue, en quelque sorte, en prime.
c) Conclusion
Je résume ici mon opinion sur le lien rigueur-formalisme en trois phrases :
a) la rigueur n'est pas gratuite : son objectif est d'être sûr des résultats ;
b) la rigueur absolue (?) n'est possible qu'en présence d'un formalisme suffisant ;
c) l'introduction d'un formalisme est, en général, justifiée par des progrès à accomplir plutôt que par le souci de rigueur.
B. Du côté de l'enseignement
Ce qui suit est essentiellement du domaine de l'opinion, opinion appuyée sur une longue expérience de l'enseignement et notamment de la formation des maîtres.
Le point fondamental qui me semble faire la distinction avec la situation de la recherche c'est que, dans l'enseignement, la nécessité d'une rigueur "absolue", et partant, d'une formalisation totale, est moins impérative que dans la recherche, dans la mesure où on est, en général, assuré de la validité des résultats qu'on enseigne : ils ont été prouvés (rigoureusement) par les mathématiciens (souvent depuis longtemps). La question est donc plus déontologique et didactique : peut-on (et doit-on) enseigner aux élèves des résultats qu'on ne peut leur prouver
Ma réponse à cette question est oui sans hésiter, on peut et on doit, mais cela mérite quelques explications.
1) On peut admettre, à tous les niveaux de l'enseignement, des résultats dont la preuve n'est pas à la portée technique des élèves mais qui éclairent la situation (exemples : les théorèmes de D'Alembert ou de Cauchy-Lipschitz en DEUG ou encore celui de Lebesgue en taupe). Bien entendu il faut le dire explicitement, expliquer pourquoi on l'admet, éventuellement donner des indications de preuve si c'est possible. Dans le secondaire cette position est systématiquement adoptée (sans doute trop actuellement et sans chercher suffisamment à donner des justifications). Malgré tout, il me semble clair par exemple qu'on peut, au lycée, faire vraiment de l'analyse sans pour autant avoir les définitions formelles de limite en e-h.
2) Il me semble important aussi de proposer des démonstrations même si on n'est pas en mesure de les faire avec toute la rigueur nécessaire, à condition, là encore, de mettre sur la table ce qu'on admet, et, de se limiter, si possible, à des points suffisamment intuitifs. J'ai envie de parler de démonstrations locales pour désigner ce type de preuves. L'exemple de lim(sin x)/x (cf. le texte de Marc Rogalski) me semble un bon exemple (même s'il est un peu délicat). Un autre exemple (qui ne semble pas être fait systématiquement au lycée) est de donner la démonstration du fait que l'aire sous la courbe est une primitive de la fonction en admettant là encore quelques faits intuitifs sur les aires (l'existence, l'additivité et l'aire du rectangle, toutes choses qui peuvent être, bien entendu, prouvées rigoureusement, cf. Lebesgue (la mesure des grandeurs) et qu'on peut expliquer sommairement en faisant du découpage-recollement).
3) Dans le même ordre d'idées il me semble qu'il fait partie du travail des mathématiciens, autant que faire se peut, de donner des justifications mathématiques, même incomplètes, aux raisonnements des physiciens (je pense au calcul des moments d'inertie, ou aux lois exponentielles). De la même manière, lorsqu'on propose des exercices qui donnent des modélisations de phénomènes, il me semble important d'en discuter la validité et de signaler, éventuellement, d'autres modélisations plus compliquées, même si on ne peut les traiter correctement (je pense à l'équation logistique). Vu l'état de l'opinion à l'égard de notre discipline, il est important de montrer que lorsqu'un modèle mène à des absurdités c'est le modèle qui est en cause et non les mathématiques.
4) Une question plus difficile est de savoir ce qu'on doit faire quand on ne dispose pas du tout de moyens de justification au niveau proposé : c'est le cas pour les problèmes de longueurs de courbes ou d'aires de surfaces de l'espace au lycée, ou encore des phénomènes chaotiques que l'on rencontre sur des suites un+1 = f(un) même très simples. Même dans ce cas il me semble intéressant de donner une première approche, très intuitive, des phénomènes qui posent problème et des arguments sous-jacents, cf. encore Lebesgue. On est alors assez loin des canons usuels de la rigueur.
5) Là où il faut absolument maintenir la rigueur, à mon avis, c'est dans la tête des professeurs. Ils doivent être capables de repérer les pièges tendus par les programmes et notamment les cercles vicieux. C'est quelquefois assez subtil, voir les démonstrations de la limite de (sin x)/x à partir la dérivée de cos x (ou l'inverse !), ou encore entre les démonstrations de l'inégalité des accroissements finis à l'aide du théorème : dérivée positive implique fonction croissante (que l'on montre, le plus souvent, à l'aide du théorème des accroissements finis !). Bien entendu, comme nombre de résultats sont admis, ces difficultés ne sont guère perceptibles par les élèves, mais le professeur, lui, doit être capable de tenir la maison, c'est-à-dire d'avoir dans sa tête une ligne de démonstration sans faille, de façon à pouvoir proposer aux élèves des preuves, partielles certes, mais cohérentes. Il faut reconnaître que ce n'est pas toujours facile dans l'état actuel des programmes, notamment en géométrie, et je suis de ceux qui regrettent les cas d'égalité des triangles d'antan.
En résumé, si je devais proposer une doctrine (mais je ne vois vraiment pas à quel titre !), elle serait en trois points :
1) Il faut démontrer malgré tout, même si on ne peut le faire en toute rigueur.
2) Dans ce cas on peut admettre (mais il faut dire explicitement ce qu'on admet et choisir les choses les plus intuitives).
3) Enfin, il faut veiller à la cohérence de l'ensemble.
Notes
(*) Mon opinion est que cette raison est la seule qui fonde cette exigence de rigueur. Pour ma part, si j'étais certain de ne pas me tromper lorsque je propose une conjecture, je me passerais volontiers de démonstrations. Ce n'est - hélas - pas le cas, cf. ci-dessous ! Back
(**) En fait, plutôt que d'appliquer le théorème de Bézout, c'est-à-dire, cf. § d), la théorie de l'intersection dans Ž5 il faut utiliser la théorie de l'intersection dans un autre espace obtenu à partir de Ž5 en "éclatant" la sous-variété des droites doubles, cf. par exemple [K2]. Back.
(***) Je signale que, passant d'un extrême à l'autre, nous cherchons maintenant à montrer que le schéma de Hilbert est toujours connexe. BackRéférences
[F] W. Fulton, Intersection theory, Springer Verlag, 1984.
[K1] S.L. Kleiman, Problem 15. Rigorous foundations of Schubert's enumerative calculus, Amer. Math. Soc. Symposium on Hilbert's problems.(1974) De Kalb.
[K2] S.L. Kleiman, Chasles's enumerative theory of conics : a historical introduction, Studies in algebraic geometry, Math. Assoc. Amer. Stud.Math. 20, 1980, p. 117-138.
[KL] S.L. Kleiman, D. Laksov, Schubert calculus, Am. Math. Monthly, 79,1972, p. 1061-1082.