[Paper Review] WizardLM: Empowering Large Language Models to Follow Complex Instructions

Evol-Instruct 논문

저자: Microsoft

 

Abstract

• 배경
  • LLM을 오픈 도메인 instruction 데이터로 훈련하는건 크게 성공함
  • 허나, 높은 복잡성을 가진 데이터를 생성하는건 사람에게 힘들고 시간이 드는 일임
• Evol-Instruct
  • 인간 대신 LLM을 사용하여 다양한 수준의 복잡성을 지닌 대량의 instruction 데이터를 생성하는 방법
  • Evol-Instruct를 사용하여 initial instruction 셋에서 점점 복잡한 instruction을 생성함
• WizardLM
  • Evol-Instruct로 만든 데이터를 섞어서 LLaMa를 fine-tuning한 모델 

2 Related Work

• Self-Instruct와 차이점
  • Evol-Instruct는 생성되는 데이터의 어려움, 복잡성 난이도를 조절할 수 있음

3 Approach

Evol-Instruct

 

instruction-evolution은 1. instruction 진화 2. 답변 생성 3. 제거 진화 세 단계로 구성

5 Conclusion

• 한계
  •  확장성과 신뢰성에 어려움

---

공식 코드가 있는 점은 좋으나, 완성도가 떨어지는 부분이 아쉽다..

제거 진화 부분과 세대 진화 부분이 구현이 안되어 있다.

• Paper
  • https://arxiv.org/pdf/2304.12244
• Github
  • https://github.com/nlpxucan/WizardLM