Source |
Korben |
Identifiant |
8473913 |
Date de publication |
2024-04-01 07:20:38 (vue: 2024-04-01 08:07:37) |
Titre |
Justine Tunney booste encore une fois les performances de llama.cpp |
Texte |
Justine Tunney a développé de nouveaux kernels d'algèbre linéaire pour llama.cpp, boostant les performances jusqu'à 5 fois sur CPU. Ses optimisations tirent parti des dernières instructions vectorielles des processeurs Intel, AMD et ARM. |
Envoyé |
Oui |
Condensat |
AMD ARM CPP CPU His Intel Justine Llama Tunney advantage again algebra boosting boosts cpp developed has instructions kernels latest linear llama new once optimizations performance processors take times vector |
Tags |
|
Stories |
|
Notes |
★★
|
Move |
|