LLM : architecture d'un POC

L'Anssi publie ses recommandations de sécurité sur l'IA générative

L'agence nationale de la sécurité des SI sort enfin du bois ! Ses recommandations en matière de GenAI étaient attendues. Pas de surprise, mais un ensemble pertinent, à garder en tête.

Juniors au travail : l'équilibre à trouver entre télétravail et Intelligence Artificielle

Télétravail et IA représentent à la fois des défis et des opportunités pour les jeunes professionnels. En adoptant une approche équilibrée et en s'adaptant à ces nouvelles réalités, les entreprises pourront accompagner leurs juniors vers la réussite et favoriser leur épanouissement professionnel.

3 bonnes raisons de mettre l’IA générative entre les mains des développeurs

Le développement augmenté existe d’ores et déjà. Souvent regardés de haut, les outils de GenAI sont une évolution naturelle des fonctionnalités d’autocomplétion. À adopter d’urgence pour en tirer tous les bénéfices.

Dans la série d'articles : Du POC à l'application d'entreprise

Les LLM sont des modèles de Machine learning capables de générer du texte, de traduire des langues, d'écrire différents types de contenu créatif et de répondre à des questions de manière pertinente. Ils sont encore en développement, mais ils ont le potentiel de révolutionner la façon dont nous interagissons avec la technologie.

Architecture d'un POC basé sur la technologie LLM

Une architecture d'application LLM basique pour faire un POC est composée de deux éléments principaux : une interface homme-machine (IHM) de chat et un LLM.

L'IHM de chat

L'IHM de chat est une interface simple qui permet à l'utilisateur de communiquer avec le LLM. Elle est généralement basée sur un chat en ligne, où l'utilisateur peut saisir une requête et le LLM répondra avec un texte.

Le LLM

Le LLM est l'algo qui génère le texte. Il est accédé via une API. Il est capable de générer du texte qui est à la fois grammaticalement correct et pertinent pour le contexte de la conversation.

Limitations de l'architecture

Cette architecture est simple et facile à mettre en place, mais elle présente un certain nombre de limitations.

Sécurité : L'IHM de chat est généralement ouverte à tous, ce qui signifie que n'importe qui peut interagir avec le LLM. Cela peut poser un problème de sécurité, car le LLM peut être utilisé pour générer du contenu malveillant ou offensant.
Précision : Le LLM est formé sur un ensemble de données spécifique, ce qui signifie qu'il peut ne pas être précis pour tous les types de tâches.
Performances : Le LLM peut être lent à répondre, ce qui peut être frustrant pour l'utilisateur.

Conclusion

Cette architecture est utile pour tester un LLM ou faire des démonstrations en interne. Cependant, elle ne doit pas être mise entre les mains d'un utilisateur final. Pour une application LLM en production, il est important de prendre en compte les limitations de cette architecture et de mettre en place des mesures de sécurité et de précision supplémentaires.

A lire :

LLM pour les CTO et les CIO