데이터셋에서 열 매핑하기

데이터셋의 열을 다른 이름에 매핑합니다. 이렇게 하면 데이터셋의 열 이름을 scorer가 기대하는 열 이름에 맞출 수 있습니다.

Python

Weave Python SDK에서는 scorer의 column_map 속성을 사용해 scorer가 기대하는 매개변수 이름을 데이터셋의 열 이름에 매핑합니다. 매핑 형식은 {scorer_parameter: dataset_column}입니다.

다음 예제에서는 output 및 target 매개변수를 데이터셋의 model_output 및 answer 열에 매핑합니다.

from weave.scorers import EmbeddingSimilarityScorer

similarity_scorer = EmbeddingSimilarityScorer()

similarity_scorer.column_map = {
    "output": "model_output",  # 모델이 생성한 텍스트
    "target": "answer"         # 예상 응답 또는 기준 응답
}

scorer 열 매핑에 대한 자세한 내용은 column_map으로 열 이름 매핑하기를 참조하세요.

TypeScript

Weave TypeScript SDK에서는 열 매핑을 개별 scorer가 아니라 columnMapping 옵션을 사용해 Evaluation 객체에서 설정합니다. 매핑 형식은 {scorer_key: dataset_column}입니다.

다음 예제에서는 scorer가 사용하는 expectedOutputTimesTwo를 데이터셋의 expected 열에 매핑합니다.

import * as weave from 'weave';

const myScorer = weave.op(
  ({modelOutput, datasetRow}) => {
    return modelOutput * 2 === datasetRow.expectedOutputTimesTwo;
  },
  {name: 'myScorer'}
);

const myEval = new weave.Evaluation({
  id: 'my-evaluation',
  dataset: [{expected: 2}],
  scorers: [myScorer],
  columnMapping: {expectedOutputTimesTwo: 'expected'},
});

TypeScript scorer 인자에 대한 자세한 내용은 Scorer Keyword Arguments를 참조하세요.