Transformers supporta ora i modelli quantizzati di llama.cpp

Hugging Face ha introdotto il supporto per l'esecuzione efficiente di modelli GGUF all'interno della libreria Transformers. Questo permette agli utenti di caricare e generare modelli quantizzati, ottimizzati per l'inferenza locale su dispositivi come laptop, utilizzando le API familiari di Transformers. La funzionalità sfrutta i kernel ggml sottostanti per migliorare le prestazioni, con un focus iniziale sull'inferenza locale su Apple Silicon.