Faut-il optimiser ses prompts en fonction de chaque modèle d’IA ?
À l’arrivée de ChatGPT, nous avons vu fleurir sur le web et les réseaux sociaux une quantité de conseils sur l’art subtil de la formulation des prompts. On a vu également émerger une multitude d’outils et de bibliothèques de prompts prêts à l’emploi, souvent payants, adaptés à divers secteurs et types de questions (cf. FOCUS IA : maîtriser et gérer ses prompts - BASES no421- Janvier 2024). Cette révolution IA a même donné naissance à un nouveau métier : le prompt engineering, qui semble se professionnaliser de plus en plus.
Rappelons au passage qu’un prompt (ensemble d’instructions ou encore d’invites) est adressé à un modèle de langage (LLM) via une interface utilisateur, qui peut prendre la forme d’un chatbot (interface conversationnelle) pour générer des réponses ou des contenus spécifiques. Par exemple, Open AI a développé le modèle GPT (avec ses déjà nombreuses versions) et a mis à disposition des utilisateurs le chatbot ChatGPT.
La question de l’universalité des prompts
Ces conseils et outils se concentrent principalement autour de ChatGPT, ce qui ne surprend pas au regard de la large et rapide démocratisation de l’IA générative qu’OpenAI a su orchestrer : il était urgent de fournir un « mode d’emploi » pour utiliser efficacement ce chatbot.
Cependant, une question fondamentale demeure : peut-on utiliser les mêmes prompts pour tous les modèles d’IA établis sur le marché (outre GPT : Gemini, Claude, Mistral, Llama principalement) ? Par exemple, Claude répond-il de manière aussi satisfaisante à un prompt conçu pour ChatGPT ?
Cette interrogation est d’autant plus naturelle que chaque modèle d’IA possède ses propres spécificités et capacités d’« intelligence générative » distinctes, fruit d’investissements colossaux et d’approches de développement différents. Cette diversité suggère qu’une stratégie de prompts sur mesure pour chaque modèle pourrait s’avérer efficace pour exploiter pleinement les forces de chaque modèle et de contourner éventuellement ses biais ou limitations.
Lorsqu’on utilise fréquemment l’IA générative, on comprend intuitivement que la qualité des réponses est liée à l’optimisation des prompts et que « défricher le raisonnement » du modèle peut aider. En effet, le raisonnement du modèle n’est pas uniquement statistique, et une compréhension approfondie de ses capacités peut améliorer l’efficacité des interactions.
Les défis de l’optimisation des prompts
Ils sont nombreux. Comment dialoguer et développer son interaction avec le modèle d’IA choisi alors que l’on ne sait pas vraiment quel est son profil et son « bagage culturel » initial ? Avec quelles données et langues a-t-il été « nourri » ? Les entreprises sont notoirement réticentes à divulguer les détails de leurs corpus d’entraînement pour des raisons de propriété intellectuelle et de concurrence.
Il faut admettre qu’il est difficile, même à partir de recherches dans la littérature spécialisée, de progresser au-delà d’un certain niveau de généralité dans l’optimisation des prompts. On reste souvent à un niveau expérimental.
Ainsi, notre approche issue de notre expérience personnelle sera pragmatique.
Distinguer les cas d’usage
Distinguons tout d’abord deux types de cas d’usage, autour desquels nous axerons ces recommandations.
Pour des questions portant sur une « simple » demande de connaissance, il est possible de rester sur un niveau de requêtage simple, en s’exprimant clairement, mais sans besoin de structurer le prompt. On sera plutôt dans une interaction dynamique avec l’IA, qui propose souvent des reformulations et questions complémentaires.
- Ici nous recommandons d’utiliser des modèles tels que Gemini ou Copilot alimentés directement par des moteurs de recherche puissants, respectivement Google et Bing, et susceptibles d’être plus à jour que les autres. On pourra compléter avec Perplexity, qui permet de vérifier les sources consultées, bien que le nombre d’informations obsolètes semble augmenter. De plus, Perplexity offre l’accès à d’autres modèles pour reformuler ses réponses (Pro Search, un modèle interne dont les détails ne sont pas fournis, GPT-4, Claude 3.5 Sonnet et le modèle Sonar développé par Perplexity et basé sur Llama).
- On peut aussi utiliser le précieux site Poe qui fonctionne comme un « métachatbot », qui offre l’avantage unique de donner accès à tous les modèles d’IA disponibles sur le marché. Il permet de les tester rapidement via l’exécution très simple d’un copier-coller à partir de l’interface.
En revanche, pour des tâches impliquant des opérations intellectuelles complexes, une préparation soignée du prompt sera indispensable, et c’est ici que notre question sur l’utilisation de prompts différenciés prend son sens.
Comment évaluer l’importance d’adapter et d’optimiser le prompt pour chaque modèle d’IA spécifique ?
Déjà abonné ? Connectez-vous...