Tree of Thoughts, Sophia, Goat, QLoRA, 그리고 기타 ML 소식
Tree of Thoughts, Second-order Clipped Stochastic Optimization(Sophia), GOod at Arithmetic Tasks(Goat), QLoRA, 그리고 기타 ML 소식을 한데 모았습니다. 이 글은 AI 번역본입니다. 오역이 있을 수 있으니 댓글로 알려주세요.
Created on September 15|Last edited on September 15
Comment
Tree of Thoughts
Tree of Thought 프롬프트 방식은, 모델에게 단일 응답(또는 응답에 이르는 사고의 연쇄)을 요구하는 대신, 여러 후보를 제시하도록 유도하는 또 다른 방법입니다. 초기 생각이러한 생각들을 평가해 가장 유리한 것을 가려냅니다. 더 유리한 생각이나 단계는 이어서 전개하고, 그렇지 않은 것들은 가지치기합니다. 자세한 내용은 Yannic의 훌륭한 영상에서 확인할 수 있습니다.
소피아
스탠퍼드 연구진은 최근 소피아(Sophia)라는 제목의 논문을 발표했습니다. 에두 번째오rder Cliㅍ절단 확률ㅎastic Optimiza소피아는 언어 모델 사전 학습을 위한 새로운 옵티마이저입니다. 연구진은 소피아가 더 빠르게 수렴할 뿐 아니라, LLM의 표준 옵티마이저인 AdamW 대비 경과 시간, 스텝 수, 총 연산량 측면에서 대략 2배의 속도 향상을 달성한다는 것을 확인했습니다.
알고리즘은 아래에 설명되어 있습니다(논문에 제시된 보조 루틴 추정기 알고리즘).
염소
GOAT, 또는 시작잘하는 A산술 티여러 산술 과제에서 GPT-4를 능가하는 미세 튜닝된 LLaMA 모델이다. GOAT의 성공은 산술 원리에 따라 복잡한 산술 과제를 더 다루기 쉬운 하위 과제로 분해하는 방식 덕분에 가능해졌다. 연구진은 먼저 학습 가능한 과제와 학습이 어려운 과제를 분류하는 것부터 실험을 시작했다.
저자들이 지적하듯 LLaMA의 뛰어난 산술 성능은 일관된 숫자 토크나이제이션에 기인하는 것으로 보인다. 논문은 덧셈, 뺄셈, 곱셈, 나눗셈의 네 가지 산술 과제를 다룬다. 덧셈과 뺄셈은 학습 가능한 과제로 보이는 반면, 곱셈과 나눗셈은 산술 과제를 하위 구성 요소로 분해하는 Chain-of-Thought(CoT) 프롬프팅이 어느 정도 필요하다.
여러 자리 수의 곱셈(나눗셈도 CoT 접근을 따름)의 경우, 다음과 같은 분할 정복 전략을 사용한다:
- 자연어에서 식을 추출하십시오
- 더 작은 수를 둘로 나누세요
- 분배법칙에 따라 합을 전개하기
- 곱을 계산하기
- 항별로 더하기
이 논문은 여러 자리 곱셈과 나눗셈처럼 어려운 산술 과제를 분해하는 방법을 제시한다. 향후 연구에서는 이를 기존 LLM에 통합해 산술 추론 능력을 강화할 수 있을 것이다.
QLoRA
워싱턴 대학교(UW) 연구진이 개발한 QLoRA는 LLM을 위한 효율적인 파인튜닝 방식이다. 이들은 이 파인튜닝 기법이 메모리와 시간 면에서 효율적임을 천여 개가 넘는 모델에 적용해 입증했다.
QLoRA는 다음의 세 가지 새로운 방법으로 구성된다:
- 4비트 NormalFloat 양자화
- 더블 양자화: 가중치와 파라미터에 더해 양자화 상수까지 함께 양자화하기
- NVIDIA의 통합 메모리 기능을 활용하는 페이징 최적화기
이 방법들은 학습 과정의 메모리 사용량을 줄이면서도 원래 값을 보존하는 것을 목표로 한다. 저자들은 다음과 같은 이름의 모델 세트를 공개했다 과나코 새로운 파인튜닝 방법과 함께 공개했다. 모든 코드는 다음에서 확인할 수 있다 GitHub 저장소!
기타 소식
- Meta가 AI에 최적화된 맞춤형 칩을 개발 중이라고 발표했다
- Zoom과 Anthropic이 협력해 Claude를 Zoom에 도입한다
- Nvidia AI Enterprise가 Microsoft Azure의 ML 생태계에 통합된다
참고 문헌
https://nvidianews.nvidia.com/news/nvidia-collaborates-with-microsoft-to-accelerate-enterprise-ready-generative-ai
Add a comment