Le Technology Innovation Institute (TII), un centre de recherche scientifique pionnier à l’échelle mondiale et le pilier de la recherche appliquée du Conseil de recherche en technologies avancées d’Abou Dhabi (ATRC), a publié un nouveau grand modèle de langage dans sa série Falcon, le Falcon Mamba 7B.
Français
Ce nouveau modèle est le modèle de langage en espace d’état (SSLM) open source le plus performant au monde, comme l’a vérifié indépendamment Hugging Face.
Premier SSLM pour Falcon, ce modèle diffère des modèles Falcon précédents qui utilisaient tous une architecture basée sur le transformateur. Ce nouveau modèle Falcon Mamba 7B constitue un nouvel exemple des efforts pionniers en matière de la recherche menés par l’institut et des outils et produits révolutionnaires qu’il met à la disposition de la communauté sous forme open source. Son Excellence Faisal Al Bannai, Secrétaire général de l’ATRC et conseiller du Président des Émirats Arabes Unis pour la recherche stratégique et les technologies avancées, a déclaré : « Falcon Mamba 7B marque le quatrième modèle d’IA consécutif le mieux classé par le TII, renforçant ainsi la position d’Abou Dhabi en tant que pôle mondial de la recherche et du développement en IA. Cet exploit souligne l’engagement indéfectible des Émirats Arabes Unis en faveur de l’innovation ».
Pour les modèles d’architecture de transformateur, Falcon Mamba 7B surpasse Llama 3.1 8B, Llama 3 8B de Meta et Mistral 7B selon les nouveaux benchmarks introduits par Hugging Face. Par ailleurs, pour les autres SSLM, Falcon Mamba 7B dépasse tous les autres modèles open source sur les anciens benchmarks et sera le premier modèle à figurer sur le nouveau classement de référence plus rigoureux de Hugging Face.
Dr Najwa Aaraj, Directrice générale de TII, a déclaré :
« Le Technology Innovation Institute continue de repousser les limites de la technologie avec sa série Falcon de modèles d’IA. Le Falcon Mamba 7B représente un véritable travail pionnier et ouvre la voie à de futures innovations en IA qui amélioreront les capacités humaines et la qualité de vie ».
Les modèles d’espace d’état sont extrêmement performants pour comprendre des situations complexes qui évoluent dans le temps, comme un livre entier. Cela est dû au fait que les SSLM n’ont pas besoin de mémoire supplémentaire pour digérer de si grandes quantités d’informations.
D’autre part, les modèles basés sur les transformateurs sont très efficaces pour mémoriser et utiliser les informations traitées précédemment dans une séquence. Cela en fait un outil inestimable pour des tâches comme la génération de contenu. Cependant, et comme ils comparent chaque mot avec tous les autres, cela requiert une puissance de calcul considérable.
Les SSLM peuvent trouver des applications dans divers domaines tels que l’estimation, la prévision et le contrôle. Similairement aux modèles d’architecture de transformateur, ils excellent également dans les tâches de traitement du langage naturel (PNI) et peuvent être appliqués à la traduction automatique, aux résumés de texte, à la vision par ordinateur et au traitement audio.
Dr Hakim Hacid, chercheur en chef par intérim de l’unité inter-centres sur l’IA du TII, a déclaré :
« Alors que nous lançons le Falcon Mamba 7B, je suis fier de l’écosystème collaboratif du TII qui a permis d’entretenir son développement. Le lancement de ce nouveau modèle représente une avancée significative, inspirant de nouvelles perspectives et alimentant davantage la quête de systèmes intelligents. Au TII, nous repoussons les limites des modèles SSLM et des modèles de transformateur pour stimuler l’innovation dans l’IA générative ».
Les grands modèles de langage Falcon ont été téléchargés plus de 45 millions de fois, ce qui prouve le succès exceptionnel de ces modèles. Falcon Mamba 7B sera publié sous la licence TII Falcon 2.0, la licence logicielle permissive construite sur les principes du logiciel Apache 2.0 qui comprend une politique d’utilisation acceptable qui préconise l’utilisation responsable de l’IA.
Anglais
The Technology Innovation Institute (TII), a leading global scientific research center and the applied research pillar of Abu Dhabi’s Advanced Technology Research Council (ATRC), has released a new large language model in its Falcon series, the Falcon Mamba 7B. The new model is the no. 1 globally performing open source State Space Language Model (SSLM) in the world, as independently verified by Hugging Face.
As the first SSLM for Falcon, it departs from prior Falcon models which all use a transformer-based architecture. This new Falcon Mamba 7B model is yet another example of the pioneering research the institute is conducting and the breakthrough tools and products it makes available to the community in an open source format.
H.E. Faisal Al Bannai, Secretary General of ATRC and Adviser to the UAE President for Strategic Research and Advanced Technology Affairs, said: “The Falcon Mamba 7B marks TII’s fourth consecutive top-ranked AI model, reinforcing Abu Dhabi as a global hub for AI research and development. This achievement highlights the UAE’s unwavering commitment to innovation.”
For transformer architecture models, Falcon Mamba 7B outperforms Meta’s Llama 3.1 8B, Llama 3 8B, and Mistral’s 7B on the newly introduced benchmarks from HuggingFace. Meanwhile for the other SSLMs, Falcon Mamba 7B beats all other open source models in the old benchmarks and it will be the be first model on HuggingFace’s new tougher benchmark leaderboard.
Dr. Najwa Aaraj, Chief Executive of TII, said: “The Technology Innovation Institute continues to push the boundaries of technology with its Falcon series of AI models. The Falcon Mamba 7B represents true pioneering work and paves the way for future AI innovations that will enhance human capabilities and improve lives.”
State Space models are extremely performant at understanding complex situations that evolve over time, such as a whole book. This is because SSLMs do not require additional memory to digest such large bits of information.
Transformer based models, on the other hand, are very efficient at remembering and using information they have processed earlier in a sequence. This makes them very good at tasks like content generation, however, because they compare every word with every other word, this requires significant computational power.
SSLMs can find applications in various fields such as estimation, forecasting, and control tasks. Similar to the transformer architecture models, they also excel in Natural Language Processing tasks and can be applied to machine translation, text summarization, computer vision, and audio processing.
Dr. Hakim Hacid, Acting Chief Researcher of the TII’s AI Cross-Center Unit, said:
“As we introduce the Falcon Mamba 7B, I’m proud of the collaborative ecosystem of TII that nurtured its development. This release represents a significant stride forward, inspiring fresh perspectives and further fueling the quest for intelligent systems. At TII, we’re pushing the boundaries of both SSLM and transformer models to spark further innovation in generative AI.”
Falcon LLMs have been downloaded over 45 million times, proving the outstanding success of the models. Falcon Mamba 7B will be released under TII Falcon License 2.0, the permissive Apache 2.0-based software license which includes an acceptable use policy that promotes the responsible use of AI.
