파라미터 중요도 패널은 어떤 하이퍼파라미터가 원하는 메트릭 값을 가장 잘 예측하고, 해당 값과 높은 상관관계를 보이는지 파악하는 데 도움이 됩니다. 이 패널을 사용해 이후 하이퍼파라미터 검색에서 모델 성능에 가장 큰 영향을 미치는 파라미터에 집중하세요.Documentation Index
Fetch the complete documentation index at: https://docs.wandb.ai/llms.txt
Use this file to discover all available pages before exploring further.
val_loss) 사이의 선형 상관관계입니다. 상관관계가 높다는 것은 하이퍼파라미터 값이 높을수록 메트릭 값도 높아지고, 반대의 경우도 마찬가지라는 뜻입니다. 상관관계는 유용한 메트릭이지만 입력 간의 2차 상호작용은 포착할 수 없으며, 범위가 서로 다른 입력을 비교할 때는 해석이 복잡해질 수 있습니다.
W&B는 중요도 메트릭도 계산합니다. W&B는 하이퍼파라미터를 입력으로, 메트릭을 목표 출력으로 사용해 랜덤 포레스트를 학습시킨 다음 랜덤 포레스트의 특성 중요도 값을 보고합니다.
이 기법은 Jeremy Howard와의 대화에서 영감을 얻었습니다. Jeremy는 Fast.ai에서 하이퍼파라미터 공간을 탐색하기 위해 랜덤 포레스트 특성 중요도를 활용하는 방식을 개척했습니다. 이 분석의 배경과 동기에 대한 자세한 내용은 Fast.ai lesson 4 lecture 및 Fast.ai lesson 4 forum notes를 참조하세요.
하이퍼파라미터 중요도 패널은 서로 높은 상관관계를 가진 하이퍼파라미터 간의 복잡한 상호작용을 풀어 보여줍니다. 이를 통해 모델 성능을 예측하는 데 어떤 하이퍼파라미터가 가장 중요한지 확인하여 하이퍼파라미터 검색을 더 정교하게 조정할 수 있습니다.
하이퍼파라미터 중요도 패널 만들기
- W&B 프로젝트로 이동합니다.
- Add panels 버튼을 선택합니다.
- CHARTS 드롭다운을 펼친 다음, 드롭다운에서 병렬 좌표를 선택합니다.
빈 패널이 나타나면 run이 그룹화 해제되어 있는지 확인하세요.
하이퍼파라미터 중요도 패널 해석하기
wandb.Run.config 객체로 전달된 모든 파라미터가 표시됩니다. 또한 선택한 모델 메트릭(이 경우 val_loss)을 기준으로 이러한 설정 파라미터의 특성 중요도와 상관관계를 보여줍니다.
중요도
W&B는 중요도를 계산할 때 선형 모델이 아니라 트리 기반 모델을 사용합니다. 트리 기반 모델이 범주형 데이터와 정규화되지 않은 데이터 모두에 더 잘 대응하기 때문입니다.
epochs, learning_rate, batch_size 및 weight_decay가 중요했다는 것을 확인할 수 있습니다.
상관관계
val_loss 사이에 관계가 있는지에 대한 답을 제공합니다(이 경우 답은 예입니다). 상관관계 값은 -1에서 1 사이이며, 양수는 양의 선형 상관관계, 음수는 음의 선형 상관관계, 0은 상관관계가 없음을 의미합니다. 일반적으로 어느 쪽이든 0.7보다 큰 값은 강한 상관관계를 나타냅니다.
이 그래프를 사용하면 메트릭과 더 높은 상관관계를 보이는 값을 더 자세히 살펴보거나(이 경우 rmsprop 또는 nadam 대신 확률적 경사 하강법 또는 adam을 선택할 수 있습니다) 더 많은 에포크 동안 학습할 수 있습니다.
- 상관관계는 연관성이 있음을 보여주지만, 반드시 인과관계를 의미하지는 않습니다.
- 상관관계는 이상치에 민감하므로, 특히 시도한 하이퍼파라미터의 표본 수가 적을 때 강한 관계가 중간 정도의 관계로 약해질 수 있습니다.
- 상관관계는 하이퍼파라미터와 메트릭 사이의 선형 관계만 포착합니다. 강한 다항식 관계는 포착하지 못합니다.