Avec sa mise à jour 2025, la FinOps Foundation fait tomber les cloisons : désormais, toutes (ou presque) les ressources IT — SaaS, datacenters, IA, cloud public — entrent dans le radar
Les systèmes agentiques connaissent une vogue extraordinaire qui masque parfois leurs limites et les défis qu'ils soulèvent.
Les discours sur l’avenir du travail oscillent souvent entre euphorie technologique et scénario catastrophe. D’un côté, l’IA nous promet un monde plus efficace, de l’autre, elle signe l’arrêt de mort de milliers d’emplois. Entre ces deux extrêmes, la réalité est évidemment plus complexe.
Les benchmarks de LLM sont des jeux de données librement accessibles au public, conçus pour évaluer les performances et les capacités de ces modèles. Ces benchmarks sont créés par des chercheurs ou par des organisations et sont disponibles pour quiconque souhaite évaluer ses propres LLM. Ils ont 4 finalités :
Ils fournissent une méthodologie standardisée pour mesurer à quel point les LLM se comportent efficacement dans une variété de tâches, telles que la réponse à des questions, la création de résumés de texte, la traduction, etc.
Ils permettent aux chercheurs et aux développeurs de comparer différents LLM entre eux, en identifiant leurs points forts et leurs faiblesses.
Ils servent à suivre l'évolution des performances des LLM et à mettre en évidence les domaines qui nécessitent des améliorations.
En mettant à disposition du public ces benchmarks, d'autres utilisateurs peuvent ainsi reproduire et valider les résultats.
Il existe plusieurs manières d’évaluer des LLM : évaluations sans exemple préalable (on parle de “zero-shot learning”) ou avec exemples (“few-shot learning”), celles fondées sur l’interaction humaine, etc., ainsi que différents critères selon lesquels leur évaluation est faite (créativité, interactions avec d’autres modèles, compréhension du comportement humain, etc.).
Open LLM Leaderboard offre un large panel intéressant de benchmarks. TriviaQA, HumanEval, GSM8K et MMLU restent autrement des ressources pertinentes et sûres pour aborder la question de l’efficacité des LLM.
Aude Calais
Pour recevoir l'intégrale des Tendances Tech 2024 en PDF, c'est par ici.
Avec sa mise à jour 2025, la FinOps Foundation fait tomber les cloisons : désormais, toutes (ou presque) les ressources IT — SaaS, datacenters, IA, cloud public — entrent dans le radar
Les systèmes agentiques connaissent une vogue extraordinaire qui masque parfois leurs limites et les défis qu'ils soulèvent.
Les discours sur l’avenir du travail oscillent souvent entre euphorie technologique et scénario catastrophe. D’un côté, l’IA nous promet un monde plus efficace, de l’autre, elle signe l’arrêt de mort de milliers d’emplois. Entre ces deux extrêmes, la réalité est évidemment plus complexe.
Exiger des cas d’usage sans usage revient à inverser la logique naturelle d’adoption : ce n’est pas en décrétant où la GenAI sera utile qu’elle sera utilisée, mais en la rendant accessible à tous, pour qu’elle s’infiltre progressivement dans les pratiques et révèle son potentiel dans le temps.
