Come si fa il fine-tuning di un LLM in locale su Apple Silicon?

Question

Accepted Answer

Sui Mac con processori Apple Silicon (M1/M2/M3/M4/M5 Pro/Max/Ultra), il framework open source MLX di Apple permette fine-tuning LoRA e inferenza sfruttando l'architettura a memoria unificata ad altissima velocità.

Guida operativa da terminale macOS:

BASH

# 1. Installazione ambiente MLX dedicato
python3 -m venv .venv && source .venv/bin/activate
pip install mlx-lm

# 2. Fine-tuning LoRA su dataset JSONL personalizzato
mlx_lm.lora --model mistralai/Mistral-7B-v0.1 \
  --data ./dataset/ \
  --train \
  --batch-size 4 --iters 600 --lora-layers 16

# 3. Test interattivo del modello adattato
mlx_lm.generate --model mistralai/Mistral-7B-v0.1 \
  --adapter-path ./adapters \
  --prompt "Analisi del log di sicurezza:"

# 4. Fusione pesi ed esportazione GGUF
mlx_lm.fuse --model mistralai/Mistral-7B-v0.1 --adapter-path ./adapters --save-path ./fused-model

Per il tooling di gestione e profiling su macOS, consulta SiliconDev.

Come si fa il fine-tuning di un LLM in locale su Apple Silicon?

Hai una domanda specifica su questo tema?

Domande correlate