Evol-Instruct 논문저자: Microsoft Abstract배경LLM을 오픈 도메인 instruction 데이터로 훈련하는건 크게 성공함허나, 높은 복잡성을 가진 데이터를 생성하는건 사람에게 힘들고 시간이 드는 일임Evol-Instruct인간 대신 LLM을 사용하여 다양한 수준의 복잡성을 지닌 대량의 instruction 데이터를 생성하는 방법Evol-Instruct를 사용하여 initial instruction 셋에서 점점 복잡한 instruction을 생성함WizardLMEvol-Instruct로 만든 데이터를 섞어서 LLaMa를 fine-tuning한 모델 2 Related WorkSelf-Instruct와 차이점Evol-Instruct는 생성되는 데이터의 어려움, 복잡성 난이도를 조절할 ..

저자 : The Falcon LLM teamAbstract 핵심적절히 필터링 & 중복제거한 웹 데이터는 좋은 모델을 만들 수 있게 한다 !we show that properly filtered and deduplicated web data alone can lead to powerful models배경 as larger models requiring pretraining on trillions of tokens are considered, it is unclear how scalable is curation and whether we will run out of unique high-quality data soon 1. IntroductionContributions.We introduce REFINEDW..