(P) I a affiné Qwen 2.5 codeur sur un seul dépôt et j’ai obtenu une amélioration de 47% de la précision de l’achèvement du code

Hé à tous,

Je voulais juste partager une expérience intéressante que j’ai exécutée pour voir quel type de gains de performance peut être réalisé en réduisant un modèle de codage à un code à partir d’un seul référentiel.

Tl; dr: Le modèle affiné réalise une amélioration de 47% de la tâche d’achèvement du code (TAB ATOCOSE). La précision passe de 25% à 36% (correspondance exacte contre la vérité au sol) après une courte formation de seulement 500 itérations sur un seul GPU RTX 4090.

https://preview.redd.it/3borsuk1bape1.png?width=1063&format=png&auto=webp&s=8d9510517f3d04163b3ac6b1de6765158886e489

Ceci est intéressant car cela montre qu’il y a des gains importants à faire en amenant votre propre code.

Faits saillants de l’expérience:

• Modèle: CODER QWEN2.5 14B, 4 bits quantifié
• Données de formation: fichiers source svelte de ce dépôt: https://github.com/hcengineering/platform
• Usloth pour la formation LORA avec le rang 16, 4096 longueur de séquence
• GPU: Single RTX 4090
• 500 itérations avec un lot efficace taille 8