Monitoreo y eficiencia de tus trabajos
En esta página aprenderás a revisar cuántos recursos (CPU, RAM, GPU y tiempo) usaron realmente tus trabajos, para pedir solo lo necesario. Así tus trabajos esperan menos en cola, para mas información revisar Backfill. Para saber cuánto usaron tus trabajos tienes tres herramientas:
| Herramienta | Cuándo usarla | Cómo se obtiene |
|---|---|---|
seff y sacct |
Para revisar un trabajo puntual | Los ejecutas tú, en cualquier momento |
| Reporte por trabajo | Para recibir un resumen por correo al terminar un trabajo | Agregando #SENDJOBREPORT a tu script |
| Reporte mensual | Para ver cómo usaste el clúster durante el mes | Llega automáticamente el día 1 de cada mes |
Revisar un trabajo con seff y sacct
seff muestra cuánto usó un trabajo terminado, comparado con lo que pidió:
seff <jobid>
Job ID: 30986
State: COMPLETED (exit code 0)
Cores per node: 4
CPU Utilized: 00:03:58
CPU Efficiency: 24.79% of 00:16:00 core-walltime
Job Wall-clock time: 00:04:00
Memory Utilized: 1.20 GB
Memory Efficiency: 15.00% of 8.00 GB
En este ejemplo, el trabajo pidió 4 cores y 8 GB, pero usó en la práctica 1 core y 1,2 GB. La próxima vez bastaría con --cpus-per-task=1 y --mem=2G.
seff no muestra el uso de GPU. Para eso, y para ver más detalle, usa sacct:
# Resumen del trabajo y de cada uno de sus pasos (steps)
sacct -j <jobid> --format=JobID,JobName,State,Elapsed,Timelimit,AllocTRES%45,TotalCPU,MaxRSS
# Uso de GPU: gres/gpuutil (% de cómputo) y gres/gpumem (memoria de video)
sacct -j <jobid> --format=JobID,TRESUsageInAve%90,TRESUsageInMax%90
Trabajos con varias GPUs
gres/gpuutil y gres/gpumem muestran la suma de todas las GPUs del trabajo.
Por ejemplo, 2 GPUs al 100% aparecen como gres/gpuutil=200. Divide por el número
de GPUs para obtener el valor por GPU.
Reporte por trabajo (#SENDJOBREPORT)
Para recibir por correo un resumen de rendimiento cada vez que termine un trabajo, agrega la línea #SENDJOBREPORT a tu script de sbatch, junto a las líneas #SBATCH:
#!/bin/bash
#SBATCH --job-name=mi_job
#SBATCH --mem=8G
#SBATCH --time=01:00:00
#SBATCH --comment="Prueba de diagnóstico HIP/ROCm"
#SBATCH --partition=ialab-high-unlimit
#SBATCH --qos=debug
#SBATCH --nodelist=antuco
#SBATCH --gres=gpu:1
#SBATCH --output="resultado_%j.log"
#SENDJOBREPORT
python train.py
Para sbatch, #SENDJOBREPORT es un comentario, así que no cambia en nada la ejecución de tu trabajo. Al terminar, el clúster la busca en tu script y, si la encuentra, te envía el reporte.
Qué incluye el correo:
- Datos del trabajo: estado final, código de salida, nodo, tiempo pedido y tiempo real.
- Eficiencias de CPU, RAM, GPU, VRAM y tiempo, con barras de colores.
- Sugerencias concretas, por ejemplo: "reduce a
--mem=3G", "ajusta--time" o "tu GPU estuvo al 0%: revisa que tus tensores estén en CUDA". - Diagnóstico si el trabajo falló, se quedó sin memoria (OOM) o superó su tiempo.
A qué dirección llega: a la que indiques con --mail-user. Si no la indicas, a tu correo registrado en el clúster.
Si no usas #SENDJOBREPORT, no recibes correo, y al final del archivo de salida del trabajo (el que indicas con -o; por defecto slurm-<jobid>.out) aparece un aviso que te recuerda que puedes pedirlo.
No se envía para:
- Sesiones interactivas (
srun --pty bash,salloc): no tienen script donde poner la línea. Revísalas conseff. - Trabajos lanzados con
sbatch --wrap="...": tampoco pueden llevar la línea. Usa un archivo de script.
Los trabajos de menos de 30 segundos sí reciben el reporte, pero sin eficiencias: el clúster no alcanza a medir el uso en tan poco tiempo.
No es lo mismo que --mail-type
--mail-type=END,FAIL (como en el ejemplo de sbatch)
envía solo un aviso corto de inicio o fin, sin métricas. #SENDJOBREPORT envía el
reporte de rendimiento. Puedes usar los dos a la vez.
Reporte mensual de uso
El día 1 de cada mes, cerca de las 08:00, cada usuario que tuvo trabajos durante el mes anterior recibe un resumen por correo. No necesitas activar nada. Si usas más de un clúster (KRAKEN, CENIA, PETEROA), recibes un reporte por cada uno.
Qué incluye:
- Totales del mes: trabajos terminados, core-horas, GPU-horas (y el % que representan del clúster) y tasa de éxito.
- Eficiencias de CPU, RAM, GPU, VRAM y tiempo, comparadas con el promedio del clúster y con tu mes anterior.
- Estado de tus trabajos: completados, fallidos, sin memoria (OOM), tiempo agotado y cancelados.
- Tiempos: cuánto esperaron tus trabajos en cola (comparado con el clúster) y cuánto duraron.
- Los 3 trabajos con más recursos sin aprovechar, con su JobID para revisarlos con
seff. - Recomendaciones para el mes siguiente, con valores concretos.
Cuándo aparece cada recomendación:
| Recomendación | Aparece cuando… | Qué te sugiere |
|---|---|---|
| RAM | Usaste menos del 40% de la memoria que pediste | Un --mem según tu uso real, con 25% de margen |
| CPU | Usaste menos del 30% de los cores que pediste (solo trabajos sin GPU) | Cuántos cores pedir con --cpus-per-task |
| Tiempo | Tus trabajos usaron menos del 30% del --time que pediste |
Un --time más ajustado (tu duración habitual + 30%) |
| GPU con poco uso | Tus GPUs estuvieron en promedio bajo el 30% de uso | Revisar la carga de datos (num_workers, batch_size, ubicación de los datos) |
| GPUs ociosas | Reservaste al menos 2 horas de GPU con menos del 10% de actividad, y eso fue al menos el 5% de tu uso de GPU | No pedir --gres=gpu si el trabajo no la usa |
| Sin memoria (OOM) | Algún trabajo murió por quedarse sin RAM | Aumentar --mem o revisar si tu código acumula memoria |
| Límite del clúster | Algún trabajo se cortó por llegar al tiempo máximo permitido | Guardar checkpoints para retomarlo |
| Fallos | Más del 30% de tus trabajos terminó con error (si lanzaste 5 o más) | Revisar serror <jobid> y probar primero con un trabajo corto (QoS debug) |
Cómo se calcula:
- Se consideran los trabajos que terminaron dentro del mes.
- Los trabajos de menos de 2 minutos cuentan en los totales, pero no en las eficiencias.
- Las sesiones interactivas (
bash,jupyter,vscode) no cuentan en la eficiencia de CPU. - Los promedios son ponderados: pesan más los trabajos que reservaron más recursos o más tiempo.