DALL·E mini - 텍스트 프롬프트에서 이미지 생성하기

어떻게 사용할까요?

Run

We're saving prompts so we can share how people interact with this model in the near future.

어떻게 작동할까요?

역사

간단한 설명

원본 이미지를 관련 디코더와 함께 일련의 숫자로 변환하는 이미지 인코더
텍스트 프롬프트를 인코딩 된 이미지로 변환하는 모델
더 나은 필터링을 위해 생성된 이미지의 품질을 판단하는 모델

기술적 설명

DALL·E mega가 무엇이냐고요?

Optimizer가 Distributed Shampoo로 업데이트되었습니다. 이는 다른 Optimizer를 비교한 후 더 효율적인 것으로 입증되었습니다.
DeepNet, Swin v2, NormFormer, Sandwich-LN, 그리고 GeLU/Swish/SmeLU와 함께하는 RMSNorm을 포함한 변환기 변형을 비교한 후 NormFormer 및 GLU 변형을 기반으로 한 새로운 설계도입니다.
FID 및 CLIP 점수에 영향을 미치는 슈퍼 컨디셔닝(super conditioning)을 사용합니다(파레토 곡선 참조).
CLIP 점수 탐색을 통해 데이터세트가 개선되었습니다.

이 모델은 현재 사용 가능한가요?

완전 정밀 (float32)
반 정밀 (float16)

import wandb
run = wandb.init()
artifact = run.use_artifact('dalle-mini/dalle-mini/mega-1:latest')
artifact_dir = artifact.download()

최신 모델의 결과

리소스

Github 저장소
LAION 디스코드

감사합니다

Patrick von Platen과 Suraj Patil의 훌륭한 편성과 지원을 통해🤗 Hugging Face에서 주간 커뮤니티 (FLAX/JAX community week)를 조직해주었습니다.
Google TPU Research Cloud (TRC) 프로그램에서 전산 리소스를 제공해주었습니다.
Weights & Biases에서 실험 추적 및 모델 관리를 위한 인프라를 제공해주었습니다.
DALL·E mini 원작 저자: Boris Dayma, Suraj Patil, Pedro Cuenca, Khalid Saifullah, Tanishq Abraham, Phúc Lê Khắc, Luke Melas, Ritobrata Ghosh
Rohan Anil, Phil Wang, Katherine Crowson과Gradio 팀, LAION & EleutherAI팀으로부터 기여와 지원을 받았습니다.

관련 게시물