데이터 분할과 교차 검증

• 한국에너지기술연구원 AI 학습조직에서는 2022년 한 해동안 머신러닝을 공부하고 있습니다.
  • scikit-learn 기능 중 데이터를 class 비율대로 분류하는 stratified K fold를 소개하고,
  • 모든 데이터를 학습과 검증에 활용하는 cross validation을 다룹니다.
  • 강의 자료는 여기에서 다운받으실 수 있습니다

• 발표 영상 : (Youtube Link)
  

• 실습 코드 : (https://bit.ly/3QdGwGq)
  

Cross Validation set generator

• cross_val_score와 cross_val_predict에 사전에 만든 dataset을 넣을 수 있습니다.

• training set과 validation set의 index를 출력하는 generator를 사용하면 됩니다.

• 발표 영상에는 없지만 해당 코드를 추가합니다.

• 먼저, cross_val_score예시입니다.

  # 사전에 분할한 cross validation set 사용
  def generate_train_valid(idx_trains, idx_vals):
      assert len(idx_trains) == len(idx_vals) # train data index와 validation data index가 다르면 중단
  
      count = 0
      while count < len(idx_trains):
          count += 1
          yield idx_trains[count-1], idx_vals[count-1]
  
  idx_cv = generate_train_valid(idx_trains, idx_vals) # CV set generator
  -cross_val_score(model1, X, y, cv=idx_cv, scoring="neg_root_mean_squared_error")

• 실행 결과

  array([290.47491999, 332.31676581, 268.35748775, 304.48637819,
         262.42934634])

• cross_val_predict예시입니다.

  from sklearn.model_selection import cross_val_predict
  
  # y_pred_cv = cross_val_predict(model1, X, y, cv=5)
  idx_cv = generate_train_valid(idx_trains, idx_vals)  # CV set generator
  y_pred_cv = cross_val_predict(model1, X, y, cv=idx_cv)
  
  # visualization and print
  fig, ax = plt.subplots(figsize=(5, 5), constrained_layout=True)
  ax.scatter(y, y_pred_cv, c="gray", alpha=0.5)
  ax.set_xlabel("true", color="gray", labelpad=12)
  ax.set_ylabel("predict", color="gray", labelpad=12)
  mean_squared_error(y, y_pred_cv, squared=False)

• 실행 결과

  292.76401468664585

  
  

* 바쁜 연구원 일정 속에 변동이 있겠지만, 최대한 일정을 지켜보고자 합니다.