Come si mette in sicurezza un endpoint LLM?

Per mettere in sicurezza un endpoint LLM in produzione si usa LLMProxy (github.com/fabriziosalmi/llmproxy), il security gateway open source che instrada e protegge chiamate verso decine di provider (OpenAI, Anthropic, Google, Ollama, DeepSeek, Groq, ecc.) con compatibilità 1:1 OpenAI.

Caratteristiche & Pipeline di Difesa a 6 layer:
- Firewall a runtime: ispezione ASGI a livello di byte, scoring di prompt injection, mascheramento PII, ledger immutabile e firma HMAC delle risposte.
- FinOps & Budget routing: limite di spesa giornaliero con downgrade trasparente a modelli economici o rifiuto HTTP 402 se il budget è esaurito.
- Quick Start con Docker:

docker run -d --name llmproxy -p 8090:8090 \
  -e LLM_PROXY_API_KEYS=sk-proxy-test \
  -v llmproxy-data:/app/data \
  ghcr.io/fabriziosalmi/llmproxy:latest

Dashboard e primo wizard guidato su http://localhost:8090/ui.