Hugging Face et Service Now lancent StarCoder (LLM)

StarCoder et StarCoderBase sont de grands modèles de langage pour le code (Code LLMs) formés sur des données sous licence permissive de GitHub, incluant plus de 80 langages de programmation, des commits Git, des questions GitHub, et des carnets Jupyter. Comme pour LLaMA, nous avons entraîné un modèle de ~15B paramètres pour 1 trillion de tokens. Nous avons affiné le modèle StarCoderBase pour 35 milliards de tokens Python, ce qui a donné lieu à un nouveau modèle que nous appelons StarCoder.

Nous avons constaté que StarCoderBase surpasse les LLMs de code ouverts existants sur des benchmarks de programmation populaires et correspond ou surpasse des modèles fermés tels que code-cushman-001 d'OpenAI (le modèle Codex original qui a alimenté les premières versions de GitHub Copilot). Avec une longueur de contexte de plus de 8 000 tokens, les modèles StarCoder peuvent traiter plus d'entrées que n'importe quel autre LLM ouvert, ce qui permet une large gamme d'applications intéressantes. Par exemple, en demandant aux modèles StarCoder une série de dialogues, nous leur avons permis d'agir en tant qu'assistant technique. En outre, les modèles peuvent être utilisés pour compléter automatiquement le code, apporter des modifications au code par le biais d'instructions et expliquer un extrait de code en langage naturel. Nous prenons plusieurs mesures importantes en vue d'une diffusion sûre des modèles ouverts, notamment un pipeline amélioré de rédaction des IIP, un nouvel outil de traçage des attributions, et nous mettons StarCoder à la disposition du public sous une version améliorée de la licence OpenRAIL. La licence mise à jour simplifie le processus permettant aux entreprises d'intégrer le modèle dans leurs produits. Nous pensons qu'avec ses performances élevées, le modèle StarCoder servira de base solide à la communauté pour l'utiliser et l'adapter à ses cas d'utilisation et à ses produits.