docker pull pytorch/pytorch:latest
docker run -it --gpus all pytorch/pytorch:latest
docker commit my_pytorch_env my_custom_pytorch:latest
sudo systemctl restart docker
Mistral 7B (Dense Variant Available)
- 크기: 2.7B 이하 (Dense 및 Sparse 버전 있음).
- 특징: 최신 구조를 채택하여 효율성을 극대화한 모델.
- 코드/웨이트: Mistral
- 설명: 모델 코드와 파인튜닝 샘플이 Hugging Face를 통해 제공. 7B 버전을 기반으로, 서브샘플된 버전도 연구 중.
2. LLaMA 2 (Meta AI)
- 크기: 7B, 2.7B 서브모델 가능.
- 특징: 연구 목적으로 최적화된 최신 모델.
- 코드/웨이트: LLaMA 2
- 설명: Meta AI에서 제공하며 연구 및 상업적 사용 모두 가능(허가 필요).
3. Falcon 7B-Instruct (Smaller Derivatives Available)
- 크기: 1B~2B 범위의 축소 파생 모델 사용 가능.
- 특징: 아랍에미리트 AI 연구소에서 개발. 대화 및 지시 이해에 특화.
- 코드/웨이트: Falcon
- 설명: 파생 버전(1B~2B)의 서브모델을 직접 생성해볼 수도 있음.
4. OpenLLaMA (Community-driven LLaMA)
- 크기: 3B, 7B (다운스케일링 가능).
- 특징: 커뮤니티 중심의 완전 공개 모델.
- 코드/웨이트: OpenLLaMA
- 설명: 연구 목적으로 제공되며, 다양한 규모의 모델 다운로드 가능.
5. GPT-J (EleutherAI)
- 크기: 2.7B.
- 특징: EleutherAI의 고품질 대체 GPT 모델.
- 코드/웨이트: GPT-J
- 설명: 2.7B 파생 모델을 생성하거나 기존 웨이트를 줄여 활용 가능
-
- Mistral 7B (Dense)
- 장점: 고품질 대체 GPT-3 모델로, dense와 sparse 버전이 공개됨.
- 문제점: 7B 모델은 요구사항에 비해 크기가 클 수 있음.
- Mistral 파생 모델
- 2B 이하 크기로 직접 축소 및 구현 가능.
- 오픈소스로 코드와 가중치가 제공됨.
- Mistral 7B (Dense)