LiteLLM er et av de mest brukte verktøyene for utviklere som jobber med flere LLM-leverandører. Biblioteket lar deg rute kall mellom OpenAI, Anthropic, Google og andre med et enhetlig API-grensesnitt. Ifølge The Hacker News ble en ondsinnet versjon publisert som høstet API-nøkler og andre credentials fra utviklermaskiner.
Konsekvensene var konkrete. KI-selskapet Mercor ble rammet og mistet 4 TB med data. For utviklere som lagrer LLM-nøkler som miljøvariabler betyr det potensiell tilgang til alle modellene du bruker gjennom LiteLLM.
Angrepet følger et kjent mønster fra forsyningskjede-kompromitteringer: en betrodd pakke med bred utbredelse kapres for å høste verdifulle hemmeligheter. LLM-rutingverktøy er spesielt attraktive mål fordi de per definisjon har tilgang til API-nøkler for flere leverandører samtidig.