C'est le moment où une automatisation qui marchait très bien se met à échouer sans prévenir. Le déclencheur n'a pas changé, le traitement non plus. Ce qui a changé, c'est le volume, et personne n'y avait pensé.
Définition
Le traitement par lot consiste à regrouper plusieurs éléments pour les traiter ensemble, plutôt que de lancer une exécution complète pour chacun.
La différence se voit dès qu'on chiffre. Mille éléments traités un par un, c'est mille exécutions, mille appels, mille lignes de facturation. Les mêmes mille éléments par paquets de cinquante, c'est vingt exécutions.
Beaucoup d'outils exécutent un nœud une fois par élément reçu, sans le dire clairement. Un Nœud qui reçoit mille lignes s'exécute mille fois. C'est la première chose à vérifier quand une facture double sans raison apparente.
Les trois murs que le volume fait apparaître
Le quota
Toutes les API limitent le nombre d'appels par minute. Un traitement en rafale les dépasse et se fait refuser. L'automatisation ne plante pas forcément : elle traite les cent premiers et abandonne silencieusement le reste, ce qui est pire.
Le coût
Sur les plateformes facturées à l'opération, le volume se paie directement. Sur les modèles d'IA, chaque élément traité séparément renvoie aussi la consigne complète, donc vous payez le contexte mille fois : voir Token.
Le temps
Mille exécutions à trois secondes, c'est cinquante minutes. Si le traitement doit être fini avant l'ouverture, la question du regroupement n'est plus théorique.
Bonnes pratiques
Regroupez, mais pas trop. Des paquets de vingt à cent conviennent à la plupart des cas. Un lot trop gros devient impossible à rejouer proprement quand il échoue au milieu.
Espacez les envois. La plupart des outils permettent d'insérer une pause entre deux lots. Une seconde d'attente suffit souvent à rester sous les quotas, pour un coût nul.
Gardez la trace de ce qui est traité. Un lot qui échoue au trentième élément doit pouvoir reprendre au trentième, pas au premier. Sans cette trace, vous retraitez tout et vous créez des doublons.
Testez au volume réel. Un scénario validé sur cinq éléments ne prouve rien. Testez sur le volume d'un jour de pointe, pas sur celui d'un mardi matin calme.
Attention à l'échec partiel, le plus vicieux de tous. Trois cents éléments traités, sept cents ignorés, et un statut « terminé » affiché en vert. Vérifiez toujours le nombre d'éléments traités contre le nombre reçu, et alertez sur l'écart.
Questions fréquentes
Comment savoir si mon outil traite élément par élément ?
Lancez le traitement avec trois éléments et regardez le journal d'exécution : soit vous voyez une exécution, soit vous en voyez trois. Cette vérification de deux minutes évite des mauvaises surprises à quatre chiffres.
Peut-on tout traiter en parallèle pour aller plus vite ?
C'est possible et c'est le meilleur moyen de saturer les quotas du service d'en face. Le parallélisme se dose : deux ou trois traitements simultanés suffisent presque toujours.
Le traitement par lot fonctionne-t-il avec un modèle d'IA ?
Oui, et l'économie est importante : une seule consigne pour vingt éléments au lieu de vingt consignes identiques. Certains fournisseurs proposent en plus un mode par lot différé, nettement moins cher quand le résultat n'est pas attendu dans la seconde.
Comment préparer une automatisation à monter en volume ?
En posant la question du volume maximum dès l'écriture du Scénario d'automatisation, avant la construction. Notre formation n8n traite ce dimensionnement dès les premiers scénarios, plutôt qu'au moment où ça casse.