Make Long-Running NVIDIA TensorRT Engine Builds Observable and Cancelable in Python or C++
Di cosa parla
Si parla di rendere osservabili e annullabili, sia in Python che in C++, le compilazioni lunghe dei motori TensorRT: cioè poter vedere l’avanzamento della creazione del motore e fermarla quando necessario. Il problema nasce perché la creazione può durare molto a causa di modelli molto grandi, di ricerche interne complesse e della mancanza di dati di tempi su una scheda grafica nuova.
Cosa permette di osservare
Consente di esplorare come ottenere più controllo pratico sulle compilazioni: quando conviene monitorarle, quando conviene interromperle e quale esperienza offrono gli strumenti in Python rispetto a quelli in C++ per gestire questi casi.
Dalla fonte
A TensorRT engine build can take seconds to many minutes. Large strongly typed models, deep tactic search, and a cold timing cache on a brand-new GPU SKU can...