L'après Transformers : vers une IA durable, efficiente et souveraine

Quand l’IA tourne la page de la force brute pour embrasser l’ère de l’efficience… bienvenue dans l’après-Transformers.

L’IA serait-elle entrée dans une phase de rationalisation ? Après l’hégémonie des architectures Attention-based (Transformers), tous les acteurs du monde de l’IA (start-up, industriel et recherche) se heurtent à un même mur : celui des coûts d’inférence, de la rareté des ressources de compute pour l’entrainement et l’empreinte energétique croissante de ces opérations de calcul.

Pour répondre à ces enjeux, l’« IA efficiente » entend marquer un tournant en combinant optimisation mathématique, compression de modèles et architectures alternatives afin d’ouvrir la voie à une intelligence performante, capable de tourner « on-device » et de respecter, in fine, les limites planétaires.

Les Axes d'Exploration

Avec ce nouveau rendez-vous Haute Densité, Cap Digital et Eclairion vous propose d’explorer le potentiel de ces modèles d’IA « post-Transformers », sous différents prismes :

• Ruptures Architecturales : Au-delà du mécanisme d'attention, quelles sont les promesses et avantages des nouvelles architectures, à l’image de nouveaux State Space Models (SSM) comme Mamba
• L'essor des Small Language Models (SLM) : Comment l’association de technique comme la distillation, la quantification et le « pruning » permet-elle à des modèles de 1 à 7 milliards de paramètres de rivaliser avec des géants ?
• IA Durable et Edge Computing : Quels verrous restent à lever pour déployer une IA générative sur des processeurs basse consommation (NPU) sans dépendre du Cloud ?
• Souveraineté et Données : Pourquoi les architectures légères sont-elles la clé d'une IA respectueuse de la vie privée et d'une autonomie technologique européenne ?

- Programme final à venir -

A propos du cycle d’événements « HAUTE DENSITE »

Lancé en septembre 2023 par Cap Digital & ECLAIRION, le cycle HAUTE DENSITE propose une série d’événements témoins pour explorer les innovations numériques à impact nécessitant du calcul haute performance. En réunissant acteurs académiques et start-up technologiques de pointe, HAUTE DENSITE offre un temps d’inspiration et d’échange pour comprendre comment l’innovation technologique de haute intensité apporte des réponses aux enjeux de confiance et de souveraineté numérique, ainsi que de neutralité carbone et de transition écologique.