Meta AI vient de shipper NeuralBench, un framework open-source qui benchmark les modèles NeuroAI sur 36 tâches et 94 datasets EEG. C'est le plus gros benchmark neuronal jamais assemblé : 9 478 cerveaux, 13 603 heures d'enregistrement brut, une seule interface standardisée.
Le problème : jusqu'à présent, chaque équipe testait ses modèles sur des données différentes, dans des silos — comme des usines qui mesureraient leur productivité avec des règles différentes. Aucun moyen de vraiment comparer deux architectures deep learning face à face. NeuralBench fusionne tout ça.
Aucun moyen de vraiment comparer deux architectures deep learning face à face.
Le pivot : Meta a agrégé 94 datasets publics en une stack uniforme, testé 14 architectures connues (CNNs, Transformers, RNNs) sous les mêmes conditions. Les chercheurs peuvent maintenant forker le repo et lancer leurs expériences sans recoder la roue.
L'enjeu, c'est la convergence : en 18 mois, les modèles NeuroAI vont exploiter ce benchmark pour déverrouiller des patterns cachés dans l'activité cérébrale — diagnostic médical, interfaces cerveau-machine, ou simplement cartographier comment le cerveau processe l'info. Meta a investi massif ici.
Ce benchmark devient la vérité de terrain du domaine — quiconque skip NeuralBench n'aura aucune crédibilité.