class Settings
Paramètres de configuration du SDK W&B.
Cette classe gère les paramètres de configuration du SDK W&B
et garantit la sécurité des types ainsi que la validation de tous les paramètres. Les paramètres sont accessibles
sous forme d’attributs et peuvent être initialisés par programmation, via des variables
d’environnement (préfixe WANDB_), et à l’aide de fichiers de configuration.
Les paramètres sont organisés en trois catégories :
- Paramètres publics : options de configuration principales que les utilisateurs peuvent modifier en toute sécurité pour personnaliser le comportement de W&B en fonction de leurs besoins spécifiques.
- Paramètres internes : paramètres préfixés par « x_ » qui gèrent le comportement du SDK à bas niveau. Ces paramètres sont principalement destinés à un usage interne et au débogage. Bien qu’ils puissent être modifiés, ils ne sont pas considérés comme faisant partie de l’API publique et peuvent changer sans préavis dans les futures versions.
- Paramètres calculés : paramètres en lecture seule automatiquement dérivés d’autres paramètres ou de l’environnement.
méthode Settings.__init__
-
allow_media_symlink(bool): Indique s’il faut créer des liens symboliques vers les fichiers multimédias dans le répertoire du run. Si la valeur esttrue, des liens symboliques ou des liens physiques vers les fichiers multimédias seront créés dans le répertoire du run au lieu d’être copiés. Cela peut accélérer la journalisation et réduire l’utilisation du disque. Cependant, la suppression ou la modification des fichiers d’origine avant leur téléversement vers le serveur W&B sera reflétée dans les données téléversées. -
allow_offline_artifacts(bool): Indicateur autorisant la synchronisation des artefacts de tableau en mode hors ligne. Pour revenir à l’ancien comportement, définissez cette valeur sur False. -
allow_val_change(bool): Indicateur autorisant la modification des valeurs deConfigaprès leur définition. -
anonymous(objet): Obsolète et sera supprimé. -
api_key(Optional[str]): La clé API de W&B. -
azure_account_url_to_access_key(Optional[Dict[str, str]]) : Correspondance entre les URL de compte Azure et leurs clés d’accès correspondantes pour l’intégration Azure. -
app_url_override(Optional[str]) : redéfinit l’URL ‘app’ de l’interface utilisateur W&B.app_urlest normalement calculée à partir debase_url, mais vous pouvez l’utiliser pour la définir explicitement. WANDB_APP_URL est la variable d’environnement correspondante. -
base_url(str): URL du backend W&B pour la synchronisation des données. -
code_dir(Optional[str]): Répertoire contenant le code à suivre par W&B. -
config_paths(Optional[Sequence]) : chemins des fichiers à partir desquels charger la configuration dans l’objetConfig. -
console(Literal[‘auto’, ‘off’, ‘wrap’, ‘redirect’, ‘wrap_raw’, ‘wrap_emu’]) : Le type de capture de la console à appliquer. Valeurs possibles :- “auto” - Sélectionne automatiquement la méthode de capture de la console en fonction de l’environnement et des paramètres du système.
- “off” - Désactive la capture de la console.
- “redirect” - Redirige les descripteurs de fichier de bas niveau pour capturer la sortie.
- “wrap” - Redéfinit les méthodes d’écriture de sys.stdout/sys.stderr. Est associé à “wrap_raw” ou “wrap_emu” selon l’état du système.
- “wrap_raw” - Identique à “wrap”, mais capture directement la sortie brute au lieu de
passer par un émulateur. Dérivé du paramètre
wrap, il ne doit pas être défini manuellement. - “wrap_emu” - Identique à “wrap”, mais capture la sortie via un émulateur.
Dérivé du paramètre
wrap, il ne doit pas être défini manuellement.
-
console_multipart(bool) : Active la journalisation de la console en plusieurs parties. Lorsque la valeur estTrue, le SDK écrit la sortie de la console dans des fichiers horodatés sous le répertoirelogs/au lieu d’un uniqueoutput.log. Chaque partie est téléversée dès qu’elle est fermée, ce qui permet aux utilisateurs d’accéder en temps réel aux journaux tant que le run est actif. La cadence de rotation est contrôlée parconsole_chunk_max_byteset/ouconsole_chunk_max_seconds. Si les deux limites sont0, tous les journaux sont téléversés à la fin du run. Remarque : les fragments téléversés sont immuables ; les séquences de contrôle du terminal qui modifient les lignes précédentes (par exemple, les barres de progression utilisant des retours chariot) n’affectent que le fragment en cours. -
console_chunk_max_bytes(int) : Seuil de rotation basé sur la taille pour les journaux de console en plusieurs parties, en octets. Démarre un nouveau fichier de journal de console lorsque la partie en cours atteint cette taille. N’a d’effet que lorsqueconsole_multipartest défini surTrue. Peut être combiné avecconsole_chunk_max_seconds; la première limite atteinte déclenche la rotation. Une valeur de0désactive la limite basée sur la taille. -
console_chunk_max_seconds(int) : Seuil de rotation temporelle pour les journaux de console multiparties, en secondes. Démarre un nouveau fichier journal de console après l’écoulement de ce nombre de secondes depuis le début de la partie en cours. Nécessite queconsole_multipartsoit défini surTrue. Peut être utilisé avecconsole_chunk_max_bytes; la première limite atteinte clôt la partie. Une valeur de0désactive la limite temporelle. -
credentials_file(str): Chemin du fichier dans lequel écrire des jetons d’accès temporaires. -
disable_code(bool): Indique s’il faut désactiver l’enregistrement du code. -
disable_git(bool): Indique s’il faut désactiver la capture de l’état de git. -
disable_git_fork_point(bool): Indique s’il faut désactiver la déduction du point de fork à partir des branches distantes Lorsque cette valeur est définie sur True, le SDK utilisera le commit le plus récent de la branche upstream, si elle est définie. Sinon, il ignorera la génération du patch diff. Lorsque cette valeur est définie sur False, le SDK essaiera d’utiliser le commit le plus récent de la branche upstream, si elle est définie. Sinon, il trouvera le commit le plus proche parmi toutes les branches distantes. Cela peut avoir un impact sur les performances des dépôts comportant de nombreuses branches upstream. -
disable_job_creation(bool): Indique si vous devez désactiver la création d’un artefact de job pour W&B Launch. -
docker(Optional[str]) : image Docker utilisée pour exécuter le script. -
email(Optional[str]) : Adresse e-mail de l’utilisateur. -
entity(Optional[str]) : l’entité W&B, par exemple un utilisateur ou une équipe. -
organization(Optional[str]): L’organisation W&B. -
force(bool) : Indique s’il faut passer l’indicateurforceàwandb.login(). -
fork_from(Optional[RunMoment]) : indique un point dans l’exécution précédente d’un run à partir duquel effectuer un fork. Le point est défini par l’ID du run, une métrique et sa valeur. Actuellement, seule la métrique ‘_step’ est prise en charge. -
git_commit(Optional[str]) : le hash du commit Git à associer au run. -
git_remote(str): Le remote Git à associer au run. -
git_remote_url(Optional[str]) : l’URL du dépôt Git distant. -
git_root(Optional[str]): Répertoire racine du dépôt Git. -
host(Optional[str]) : Nom d’hôte de la machine exécutant le script. -
http_proxy(Optional[str]) : serveurs proxy personnalisés pour les requêtes HTTP à destination de W&B. -
https_proxy(Optional[str]) : Serveurs proxy personnalisés pour les requêtes HTTPS vers W&B. -
identity_token_file(Optional[str]) : chemin d’accès au fichier contenant un jeton d’identité (JWT) pour l’authentification. -
ignore_globs(Sequence) : motifs glob Unix relatifs àfiles_dir, indiquant les fichiers à exclure du téléversement. -
init_timeout(float) : durée d’attente, en secondes, avant l’expiration du délai pour que l’appelwandb.initse termine. -
insecure_disable_ssl(bool): Indique s’il faut désactiver de façon non sécurisée la vérification SSL. -
job_name(Optional[str]) : Nom du job Launch qui exécute le script. -
job_source(Optional[Literal[‘repo’, ‘artifact’, ‘image’]]): Type de source pour Launch. -
label_disable(bool): Indique s’il faut désactiver les fonctionnalités d’étiquetage automatique. -
launch_config_path(Optional[str]) : chemin d’accès au fichier de configuration de Launch. -
login_timeout(Optional[float]) : Temps d’attente, en secondes, pour les opérations de connexion avant expiration du délai. -
mode(Literal[‘online’, ‘offline’, ‘shared’, ‘disabled’, ‘dryrun’, ‘run’]): Le mode de fonctionnement de la journalisation et de la synchronisation de W&B. -
notebook_name(Facultatif[str]) : nom du notebook en cas d’exécution dans un environnement de type Jupyter. -
program(Optional[str]) : Chemin d’accès au script ayant créé le run, si disponible. -
program_abspath(Optional[str]) : Le chemin absolu allant du répertoire racine du dépôt jusqu’au script qui a créé le run. Le répertoire racine du dépôt correspond au répertoire qui contient le répertoire .git, s’il existe. Sinon, il s’agit du répertoire de travail actuel. -
program_relpath(Optional[str]) : Le chemin relatif du script qui a créé le run. -
project(Optional[str]) : ID du projet W&B. -
quiet(bool): Indicateur permettant de supprimer la sortie non essentielle. -
reinit(Union[Literal[‘default’, ‘return_previous’, ‘finish_previous’, ‘create_new’], bool]) : Indique l’action à effectuer lorsquewandb.init()est appelé alors qu’un run est actif. Options :- “default”: Utilisez “finish_previous” dans les notebooks et “return_previous” sinon.
- “return_previous”: Renvoie le run créé le plus récemment
qui n’est pas encore terminé. Cela ne met pas à jour
wandb.run; voir l’option “create_new”. - “finish_previous”: Termine tous les runs actifs, puis renvoie un nouveau run.
- “create_new”: Crée un nouveau run sans modifier les autres runs actifs.
Ne met pas à jour
wandb.runni les fonctions de niveau supérieur commewandb.log. Par conséquent, certaines intégrations plus anciennes qui s’appuient sur le run global ne fonctionneront pas. Peut aussi être une valeur booléenne, mais cet usage est obsolète. False équivaut à “return_previous”, et True équivaut à “finish_previous”.
-
relogin(bool) : Indicateur permettant de forcer une nouvelle tentative de connexion. -
resume(Optional[Literal[‘allow’, ‘must’, ‘never’, ‘auto’]]): Définit le comportement de reprise du run. Options :- “must”: Reprend un run existant portant le même ID. Si aucun run correspondant n’existe, l’opération échoue.
- “allow”: Tente de reprendre un run existant portant le même ID. Si aucun n’est trouvé, un nouveau run est créé.
- “never”: Démarre toujours un nouveau run. Si un run portant le même ID existe déjà, l’opération échoue.
- “auto”: Reprend automatiquement le run en échec le plus récent sur la même machine.
-
resume_from(Optional[RunMoment]) : spécifie un point d’une exécution précédente d’un run à partir duquel reprendre. Le point est défini par l’ID du run, une métrique et sa valeur. Actuellement, seule la métrique ‘_step’ est prise en charge. -
root_dir(str) : le répertoire racine à utiliser comme base pour tous les chemins liés aux runs. Il sert notamment à déterminer le répertoire wandb et le répertoire du run. -
run_group(Optional[str]): Identifiant de groupe pour des runs associés. Utilisé pour regrouper les runs dans l’interface utilisateur. -
run_id(Facultatif[str]) : Identifiant du run. -
run_job_type(Optional[str]) : Type de job exécuté (par exemple : entraînement, évaluation). -
run_name(Optional[str]) : Nom du run lisible par l’utilisateur. -
run_notes(Optional[str]): Notes ou description supplémentaires pour le run. -
run_tags(Optional[Tuple[str, Ellipsis]]): Tags à associer au run à des fins d’organisation et de filtrage. -
sagemaker_disable(bool): Indicateur permettant de désactiver les fonctionnalités propres à SageMaker. -
save_code(Optional[bool]) : Indique s’il faut enregistrer le code associé à l’exécution. -
settings_system(Optional[str]) : Chemin d’accès au fichier de paramètres à l’échelle du système. -
max_end_of_run_history_metrics(int) : Nombre maximal de mini-graphiques de l’historique à afficher à la fin d’un run. -
max_end_of_run_summary_metrics(int): Nombre maximal de métriques de synthèse à afficher à la fin d’un run. -
show_errors(bool): Indique s’il faut afficher les messages d’erreur. -
show_info(bool): Indique s’il faut afficher des messages informatifs. -
show_warnings(bool) : Indique s’il faut afficher les messages d’avertissement. -
silent(bool) : indicateur permettant de désactiver toute sortie. -
strict(Optional[bool]) : Indique s’il faut activer le mode strict pour la validation et le contrôle des erreurs. -
summary_timeout(int): Temps d’attente, en secondes, avant l’expiration du délai pour les opérations de synthèse. -
sweep_id(Optional[str]) : identifiant du sweep dont fait partie ce run. -
sweep_param_path(Optional[str]) : Chemin d’accès à la configuration des paramètres du sweep. -
symlink(bool): Indique s’il faut utiliser des liens symboliques (True par défaut, sauf sous Windows). -
sync_tensorboard(Optional[bool]) : Indique s’il faut synchroniser les journaux de TensorBoard avec W&B. -
table_raise_on_max_row_limit_exceeded(bool): Indique s’il faut lever une exception lorsque la limite maximale du nombre de lignes du tableau est dépassée. -
use_dot_wandb(Optional[bool]) : indique s’il faut utiliser le répertoire caché.wandbou le répertoire visiblewandbpour les données de run. Si True, le SDK utilise.wandb. Si False,wandb. S’il n’est pas défini, utilise par défaut.wandbs’il existe déjà, sinonwandb. -
username(Optional[str]) : Nom d’utilisateur. -
x_disable_meta(bool): Indicateur permettant de désactiver la collecte des métadonnées système. -
x_disable_stats(bool): Indicateur permettant de désactiver la collecte des métriques système. -
x_extra_http_headers(Optional[Dict[str, str]]) : En-têtes supplémentaires à ajouter à toutes les requêtes HTTP envoyées. -
x_label(Optional[str]) : Étiquette à attribuer aux métriques système et aux journaux de console collectés pour le run. Utilisée pour regrouper les données dans l’interface utilisateur, elle peut aussi servir à distinguer les données issues de différents processus dans une tâche d’entraînement distribuée. -
x_primary(bool) : Détermine s’il faut enregistrer les fichiers internes et les métadonnées de wandb. Dans un environnement distribué, cela permet d’éviter l’écrasement des fichiers par des processus secondaires lorsque seules les métriques système et les journaux sont nécessaires, car le processus principal se charge de la journalisation. -
x_save_requirements(bool): Indicateur précisant s’il faut enregistrer le fichier requirements. -
x_server_side_derived_summary(bool): Indicateur permettant de déléguer au serveur le calcul automatique de la synthèse à partir de l’historique. Cela ne désactive pas les mises à jour de la synthèse fournies par l’utilisateur. -
x_service_wait(float) : temps d’attente, en secondes, avant le démarrage du service interne wandb-core. -
x_skip_transaction_log(bool) : Indique s’il faut ne pas enregistrer les événements du run dans le journal des transactions. Cela n’est pertinent que pour les runs en ligne. Peut être utilisé pour réduire la quantité de données écrites sur le disque. À utiliser avec prudence, car cela supprime les garanties de récupération. -
x_stats_sampling_interval(float): Intervalle d’échantillonnage du moniteur système, en secondes. -
x_stats_dcgm_exporter(Optional[str]) : point de terminaison depuis lequel extraire les métriques DCGM de Nvidia. Options :- Extraire les métriques liées à DCGM à partir d’une requête envoyée au point de terminaison Prometheus
/api/v1/query. Il est courant d’agréger avec Prometheus les métriques rapportées par les instances de DCGM Exporter exécutées sur différents nœuds d’un cluster. - TODO: Analyser les métriques directement à partir du point de terminaison
/metricsde DCGM Exporter. Exemples : http://localhost:9400/api/v1/query?query=DCGM_FI_DEV_GPU_TEMP{node="l1337", cluster="globular"}.
- Extraire les métriques liées à DCGM à partir d’une requête envoyée au point de terminaison Prometheus
-
x_stats_open_metrics_endpoints(Optional[Dict[str, str]]): points de terminaison OpenMetrics/metricsà surveiller pour le suivi des métriques système. -
x_stats_open_metrics_filters(Union[Dict[str, Dict[str, str]], Sequence, None]) : filtre à appliquer aux métriques collectées depuis les points de terminaison OpenMetrics/metrics. Prend en charge deux formats :{"motif regex de métrique, incluant le nom du point de terminaison comme préfixe": {"label": "motif regex de valeur de label"}}("motif regex de métrique 1", "motif regex de métrique 2", ...)
-
x_stats_open_metrics_http_headers(Optional[Dict[str, str]]) : en-têtes HTTP à ajouter aux requêtes OpenMetrics. -
x_stats_disk_paths(Optional[Sequence]) : chemins système à surveiller pour l’utilisation du disque. -
x_stats_cpu_count(Optional[int]) : Nombre de CPU du système. Si cette valeur est définie, elle remplace la valeur détectée automatiquement dans les métadonnées du run. -
x_stats_cpu_logical_count(Optional[int]) : Nombre de CPU logiques. S’il est défini, remplace la valeur détectée automatiquement dans les métadonnées du run. -
x_stats_gpu_count(Optional[int]) : nombre de GPU. Si cette valeur est définie, elle redéfinit la valeur détectée automatiquement dans les métadonnées du run. -
x_stats_gpu_type(Optional[str]): Type de GPU. S’il est défini, il remplace la valeur détectée automatiquement dans les métadonnées du run. -
x_stats_gpu_device_ids(Optional[Sequence]) : indices des périphériques GPU à surveiller. Si ce paramètre n’est pas défini, le moniteur système capture les métriques de tous les GPU. Utilise une indexation à partir de 0, correspondant à l’énumération des périphériques CUDA/ROCm. -
x_stats_track_process_tree(bool) : Surveille l’ensemble de l’arborescence des processus afin de suivre l’utilisation des ressources, à partir dex_stats_pid. LorsqueTrue, le moniteur système agrège la mémoire RSS, le pourcentage de CPU et le nombre de threads du processus ayant le PIDx_stats_pidainsi que de tous ses descendants. Cela peut avoir un impact sur les performances et est désactivé par défaut. -
x_sync_dir_suffix(str) : suffixe à ajouter au nom du répertoire du run (sync_dir). Cette valeur est définie dans wandb.init() pour éviter les conflits de noms. Si ce suffixe est défini, il est ajouté au nom par défaut, précédé d’un tiret. -
x_update_finish_state(bool): Indicateur indiquant si ce processus peut mettre à jour l’état final du run sur le serveur. Définissez cette valeur sur False dans le cadre d’un entraînement distribué lorsque seul le processus principal doit déterminer l’état final.
Settings.
propriété Settings.app_url
L’URL de l’interface utilisateur de W&B, généralement https://wandb.ai.
Elle diffère de base_url (par exemple https://api.wandb.ai), qui
sert à accéder aux API W&B de manière programmatique.
Retourne :
str: La valeur de propriété app_url.
propriété Settings.colab_url
L’URL du notebook Colab, si l’exécution a lieu dans Colab.
Retourne :
Optional[str]: La valeur de propriétécolab_url.
propriété Settings.deployment
propriété Settings.files_dir
Chemin absolu du répertoire local où sont stockés les fichiers du run.
Retourne :
str: La valeur de propriétéfiles_dir.
propriété Settings.is_local
propriété Settings.log_dir
Le répertoire dans lequel stocker les fichiers de journalisation.
Retourne :
str: La valeur de propriétélog_dir.
propriété Settings.log_internal
Chemin du fichier à utiliser pour les journaux internes.
Retourne :
str: La valeur de propriété log_internal.
propriété Settings.log_symlink_internal
Le chemin vers le lien symbolique du fichier journal interne de l’exécution la plus récente.
Retourne :
str: La valeur de propriétélog_symlink_internal.
propriété Settings.log_symlink_user
Le chemin du lien symbolique vers le fichier journal du processus utilisateur de la dernière exécution.
Retourne :
str: La valeur de propriétélog_symlink_user.
propriété Settings.log_user
Le chemin du fichier à utiliser pour les journaux du processus de l’utilisateur.
Retourne :
str: La valeur de propriétélog_user.
propriété Settings.project_url
L’URL W&B où le projet peut être consulté.
Retourne :
str: La valeur de propriétéproject_url.
propriété Settings.resume_fname
Le chemin du fichier de reprise.
Retourne :
str: La valeur de la propriétéresume_fname.
propriété Settings.run_mode
Le mode du run. Peut être « run » ou « offline-run ».
Retourne :
Literal['run', 'offline-run']: La valeur de propriétérun_mode.
propriété Settings.run_url
L’URL W&B où le run peut être consulté.
Retourne :
str: La valeur de la propriétérun_url.
propriété Settings.settings_workspace
Le chemin vers le fichier de paramètres de l’espace de travail.
Retourne :
str: La valeur de la propriété settings_workspace.
propriété Settings.sweep_url
L’URL W&B où le sweep peut être consulté.
Retourne :
str: La valeur de propriétésweep_url.
propriété Settings.sync_dir
Le répertoire où sont stockés les fichiers du run.
Retourne :
str: La valeur de propriétésync_dir.
propriété Settings.sync_file
Chemin vers le fichier journal des transactions binaires en mode ajout uniquement.
Retourne :
str: La valeur de propriétésync_file.
propriété Settings.sync_symlink_latest
Chemin du lien symbolique vers le fichier journal des transactions du run le plus récent.
Retourne :
str: La valeur de la propriété sync_symlink_latest.
propriété Settings.timespec
La spécification temporelle associée au run.
Retourne :
str: La valeur de la propriété timespec.
propriété Settings.wandb_dir
Chemin complet vers le répertoire wandb.
Retourne :
str: La valeur de la propriété wandb_dir.