트레이닝 설정을 저장하려면 run의 config 속성을 사용하세요:
- 하이퍼파라미터
- 데이터셋 이름이나 모델 유형 등의 입력 설정
- 실험을 위한 기타 독립 변수
wandb.Run.config 속성을 사용하면 실험을 쉽게 분석하고, 나중에 결과를 재현할 수 있습니다. W&B App에서 설정 값을 기준으로 그룹화하고, 서로 다른 W&B run의 설정을 비교하고, 각 트레이닝 설정이 결과에 어떤 영향을 미치는지 평가할 수 있습니다. config 속성은 여러 딕셔너리와 유사한 객체를 조합해 구성할 수 있는 딕셔너리와 유사한 객체입니다.
loss나 accuracy 같은 출력 메트릭 또는 종속 변수를 저장하려면 wandb.Run.config 대신 wandb.Run.log()를 사용하세요.
.) 대신 대시(-)나 밑줄(_)을 사용하세요.
스크립트에서 루트 아래의 wandb.Run.config 키에 접근하는 경우에는 속성 접근 구문 config.key.value 대신 딕셔너리 접근 구문 ["key"]["value"]를 사용하세요.
다음 섹션에서는 실험 설정을 정의하는 일반적인 여러 시나리오를 설명합니다.
데이터를 W&B Run으로 동기화하고 기록하는 백그라운드 프로세스를 생성하려면, 스크립트 시작 부분에서 wandb.init() API를 호출할 때 딕셔너리를 전달하세요.
다음 코드 스니펫은 설정 값이 포함된 Python 딕셔너리를 정의하는 방법과, W&B Run을 초기화할 때 해당 딕셔너리를 인수로 전달하는 방법을 보여줍니다.
import wandb
# 설정 딕셔너리 객체 정의
config = {
"hidden_layer_sizes": [32, 64],
"kernel_sizes": [3],
"activation": "ReLU",
"pool_sizes": [2],
"dropout": 0.5,
"num_classes": 10,
}
# W&B 초기화 시 설정 딕셔너리 전달
with wandb.init(project="config_example", config=config) as run:
...
config로 중첩된 딕셔너리를 전달하면 W&B는 이름을 점(.)으로 구분해 평탄화합니다.
Python에서 다른 딕셔너리에 접근하는 것과 마찬가지로 딕셔너리 값에 접근할 수 있습니다:
# 키를 인덱스 값으로 사용하여 값에 액세스
hidden_layer_sizes = run.config["hidden_layer_sizes"]
kernel_sizes = run.config["kernel_sizes"]
activation = run.config["activation"]
# Python 딕셔너리 get() 메서드
hidden_layer_sizes = run.config.get("hidden_layer_sizes")
kernel_sizes = run.config.get("kernel_sizes")
activation = run.config.get("activation")
Developer Guide와 예제 전반에서는 설정 값을 별도의 변수에 복사합니다. 이 step은 선택 사항이며, 가독성을 높이기 위한 것입니다.
train_one_epoch와 evaluate_one_epoch는 이 예시에서 트레이닝 루프를 시뮬레이션하기 위해 제공됩니다:
# config_experiment.py
import argparse
import random
import numpy as np
import wandb
# 트레이닝 및 평가 데모 코드
def train_one_epoch(epoch, lr, bs):
acc = 0.25 + ((epoch / 30) + (random.random() / 10))
loss = 0.2 + (1 - ((epoch - 1) / 10 + random.random() / 5))
return acc, loss
def evaluate_one_epoch(epoch):
acc = 0.1 + ((epoch / 20) + (random.random() / 10))
loss = 0.25 + (1 - ((epoch - 1) / 10 + random.random() / 6))
return acc, loss
def main(args):
# W&B Run 시작
with wandb.init(project="config_example", config=args) as run:
# 설정 딕셔너리에서 값을 가져와 가독성을 위해
# 변수에 저장
lr = run.config["learning_rate"]
bs = run.config["batch_size"]
epochs = run.config["epochs"]
# 트레이닝 시뮬레이션 및 W&B에 값 로깅
for epoch in np.arange(1, epochs):
train_acc, train_loss = train_one_epoch(epoch, lr, bs)
val_acc, val_loss = evaluate_one_epoch(epoch)
run.log(
{
"epoch": epoch,
"train_acc": train_acc,
"train_loss": train_loss,
"val_acc": val_acc,
"val_loss": val_loss,
}
)
if __name__ == "__main__":
parser = argparse.ArgumentParser(
formatter_class=argparse.ArgumentDefaultsHelpFormatter
)
parser.add_argument("-b", "--batch_size", type=int, default=32, help="Batch size")
parser.add_argument(
"-e", "--epochs", type=int, default=50, help="Number of training epochs"
)
parser.add_argument(
"-lr", "--learning_rate", type=int, default=0.001, help="Learning rate"
)
args = parser.parse_args()
main(args)
import wandb
# 설정 딕셔너리 객체 정의
config = {
"hidden_layer_sizes": [32, 64],
"kernel_sizes": [3],
"activation": "ReLU",
"pool_sizes": [2],
"dropout": 0.5,
"num_classes": 10,
}
# W&B를 초기화할 때 설정 딕셔너리 전달
with wandb.init(project="config_example", config=config) as run:
# W&B 초기화 후 설정 업데이트
run.config["dropout"] = 0.2
run.config.epochs = 4
run.config["batch_size"] = 32
run.config.update({"lr": 0.1, "channels": 16})
with wandb.init() as run:
...
# 현재 스크립트 또는 노트북에서 시작된 경우 Run 객체에서 다음 값을 찾거나,
# W&B App UI에서 복사할 수 있습니다.
username = run.entity
project = run.project
run_id = run.id
# api.run()은 wandb.init()과 다른 유형의 객체를 반환합니다.
api = wandb.Api()
api_run = api.run(f"{username}/{project}/{run_id}")
api_run.config["bar"] = 32
api_run.update()
wandb.Run.pin_config_keys를 사용해 하나 이상의 설정 키를 고정할 수 있습니다.
예를 들어, Grafana 대시보드를 사용해 트레이닝 runs를 모니터링하는 경우 대시보드 URL을 설정에 추가하고 grafana_url 키를 고정하세요:
config = {
"hidden_layer_sizes": [32, 64],
"kernel_sizes": [3],
"activation": "ReLU",
"pool_sizes": [2],
"dropout": 0.5,
"num_classes": 10,
"grafana_url": "[Grafana dashboard](https://my-grafana-instance.com/)"
}
with wandb.init(config=config) as run:
# "grafana_url" 설정 키를 References 섹션에 추가합니다.
run.pin_config_keys(["grafana_url"])
absl 플래그를 전달할 수도 있습니다.
flags.DEFINE_string("model", None, "model to run") # name, default, help
run.config.update(flags.FLAGS) # absl 플래그를 설정에 추가
config-defaults.yaml라는 이름의 파일을 두면, run이 파일에 정의된 키-값 쌍을 자동으로 읽어 wandb.Run.config에 전달합니다.
다음 코드 스니펫은 config-defaults.yaml YAML 파일의 예를 보여줍니다:
batch_size:
desc: Size of each mini-batch
value: 32
wandb.init()의 config 인수에서 값을 업데이트하면 config-defaults.yaml에서 자동으로 로드되는 기본값을 재정의할 수 있습니다. 예를 들면 다음과 같습니다:
import wandb
# 맞춤형 값을 전달하여 config-defaults.yaml 재정의
with wandb.init(config={"epochs": 200, "batch_size": 64}) as run:
...
config-defaults.yaml 이외의 설정 파일을 로드하려면 명령줄 인수 --configs를 사용하고 파일 경로를 지정하세요:
python train.py --configs other-config.yaml
config 객체에 저장할 수 있습니다:
hyperparameter_defaults = dict(
dropout=0.5,
batch_size=100,
learning_rate=0.001,
)
config_dictionary = dict(
yaml=my_yaml_file,
params=hyperparameter_defaults,
)
with wandb.init(config=config_dictionary) as run:
...
wandb.Run.config 객체에 직접 전달할 수 있습니다.
with wandb.init() as run:
run.config.epochs = 4
flags = tf.app.flags
flags.DEFINE_string("data_dir", "/tmp/data")
flags.DEFINE_integer("batch_size", 128, "Batch size.")
run.config.update(flags.FLAGS) # TensorFlow 플래그를 설정에 추가합니다
