์ด๊ฒ์ ์ต์ ๋ฆด๋ฆฌ์ค๋ฅผ GPTQQuantization,Low-levelAPI.zip์ผ๋ก ๋ค์ด๋ก๋ํ ์ ์๋ PEFT๋ผ๋ Windows ์ฑ์ ๋๋ค. ์ํฌ์คํ ์ด์ ์ฉ ๋ฌด๋ฃ ํธ์คํ ์ ๊ณต์ ์ฒด์ธ OnWorks์์ ์จ๋ผ์ธ์ผ๋ก ์คํํ ์ ์์ต๋๋ค.
OnWorks๊ฐ ํฌํจ๋ PEFT๋ผ๋ ์ฑ์ ๋ฌด๋ฃ๋ก ์จ๋ผ์ธ์ผ๋ก ๋ค์ด๋ก๋ํ์ฌ ์คํํ์ธ์.
์ด ์ฑ์ ์คํํ๋ ค๋ฉด ๋ค์ ์ง์นจ์ ๋ฐ๋ฅด์ธ์.
- 1. ์ด ์ ํ๋ฆฌ์ผ์ด์ ์ PC์ ๋ค์ด๋ก๋ํ์ต๋๋ค.
- 2. ํ์ผ ๊ด๋ฆฌ์ https://www.onworks.net/myfiles.php?username=XXXXX์ ์ํ๋ ์ฌ์ฉ์ ์ด๋ฆ์ ์ ๋ ฅํฉ๋๋ค.
- 3. ์ด๋ฌํ ํ์ผ ๊ด๋ฆฌ์์์ ์ด ์์ฉ ํ๋ก๊ทธ๋จ์ ์ ๋ก๋ํฉ๋๋ค.
- 4. ์ด ์น์ฌ์ดํธ์์ ๋ชจ๋ OS OnWorks ์จ๋ผ์ธ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ์์ํ์ง๋ง ๋ ๋์ Windows ์จ๋ผ์ธ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ์์ํฉ๋๋ค.
- 5. ๋ฐฉ๊ธ ์์ํ OnWorks Windows OS์์ ์ํ๋ ์ฌ์ฉ์ ์ด๋ฆ์ผ๋ก ํ์ผ ๊ด๋ฆฌ์ https://www.onworks.net/myfiles.php?username=XXXXX๋ก ์ด๋ํฉ๋๋ค.
- 6. ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ค์ด๋ก๋ํ์ฌ ์ค์นํฉ๋๋ค.
- 7. Linux ๋ฐฐํฌ ์ํํธ์จ์ด ์ ์ฅ์์์ Wine์ ๋ค์ด๋ก๋ํฉ๋๋ค. ์ค์น๊ฐ ์๋ฃ๋๋ฉด ์ฑ์ ๋ ๋ฒ ํด๋ฆญํ์ฌ Wine๊ณผ ํจ๊ป ์คํํ ์ ์์ต๋๋ค. ์ธ๊ธฐ ์๋ Windows ํ๋ก๊ทธ๋จ ๋ฐ ๊ฒ์์ ์ค์นํ๋ ๋ฐ ๋์์ด ๋๋ Wine์ ํตํ ๋ฉ์ง ์ธํฐํ์ด์ค์ธ PlayOnLinux๋ฅผ ์ฌ์ฉํด ๋ณผ ์๋ ์์ต๋๋ค.
Wine์ Linux์์ Windows ์ํํธ์จ์ด๋ฅผ ์คํํ๋ ๋ฐฉ๋ฒ์ด์ง๋ง Windows๊ฐ ํ์ํ์ง ์์ต๋๋ค. Wine์ ๋ชจ๋ Linux ๋ฐ์คํฌํ์์ ์ง์ Windows ํ๋ก๊ทธ๋จ์ ์คํํ ์ ์๋ ์คํ ์์ค Windows ํธํ์ฑ ๊ณ์ธต์ ๋๋ค. ๋ณธ์ง์ ์ผ๋ก Wine์ Windows๊ฐ ํ์ํ์ง ์๊ณ ๋ชจ๋ Windows ์์ฉ ํ๋ก๊ทธ๋จ์ ์คํํ ์ ์๋๋ก Windows๋ฅผ ์ฒ์๋ถํฐ ์ถฉ๋ถํ ๋ค์ ๊ตฌํํ๋ ค๊ณ ํฉ๋๋ค.
์คํฌ๋ฆฐ ์ท
Ad
PEFT
๊ธฐ์
PEFT(๋งค๊ฐ๋ณ์ ํจ์จ์ ์ธ ๋ฏธ์ธ ์กฐ์ ) ๋ฐฉ๋ฒ์ ์ฌ์ฉํ๋ฉด ๋ชจ๋ธ์ ๋ชจ๋ ๋งค๊ฐ๋ณ์๋ฅผ ๋ฏธ์ธ ์กฐ์ ํ์ง ์๊ณ ๋ ์ฌ์ ํ๋ จ๋ PLM(์ธ์ด ๋ชจ๋ธ)์ ๋ค์ํ ๋ค์ด์คํธ๋ฆผ ์ ํ๋ฆฌ์ผ์ด์ ์ ํจ์จ์ ์ผ๋ก ์ ์ฉํ ์ ์์ต๋๋ค. ๋๊ท๋ชจ PLM์ ๋ฏธ์ธ ์กฐ์ ํ๋ ๋ฐ๋ ๋น์ฉ์ด ์์ฒญ๋๊ฒ ๋ง์ด ๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง์ต๋๋ค. ์ด์ ๊ด๋ จํ์ฌ PEFT ๋ฐฉ๋ฒ์ ์์์ (์ถ๊ฐ) ๋ชจ๋ธ ๋งค๊ฐ๋ณ์๋ง ๋ฏธ์ธ ์กฐ์ ํ๋ฏ๋ก ๊ณ์ฐ ๋ฐ ์ ์ฅ ๋น์ฉ์ด ํฌ๊ฒ ์ ๊ฐ๋ฉ๋๋ค. ์ต์ ์ต์ฒจ๋จ PEFT ๊ธฐ์ ์ ์ ์ฒด ๋ฏธ์ธ ์กฐ์ ์ ํ์ ํ๋ ์ฑ๋ฅ์ ๋ฌ์ฑํฉ๋๋ค.
๊ธฐ๋ฅ
- DeepSpeed โโ๋ฐ ๋น ๋ชจ๋ธ ์ถ๋ก ์ ํ์ฉํ์ฌ ๋๊ท๋ชจ ๋ชจ๋ธ ๊ฐ์ํ
- ์๋น์ ํ๋์จ์ด๋ฅผ ์ฌ์ฉํ์ฌ LLM์ ๋ค์ด์คํธ๋ฆผ ์์ ์ ์ ์ฉํ์ฌ ์ ์ฒด ๋ฏธ์ธ ์กฐ์ ์ ํ์ ํ๋ ์ฑ๋ฅ์ ์ป์ต๋๋ค.
- ๋ช ์ฅ์ ๋ฐ์ดํฐ ์ธํธ์์ LLM์ ์ ์ฉํ๋ ๋ฐ ํ์ํ GPU ๋ฉ๋ชจ๋ฆฌ
- ํ์ฐ ๋ชจ๋ธ์ ๋งค๊ฐ๋ณ์ ํจ์จ์ ์ธ ์กฐ์
- ๋ค์ํ ์ค์ ์ ํ์ํ GPU ๋ฉ๋ชจ๋ฆฌ
- Ranker ๋ฐ Policy์ ๊ฐ์ RLHF ๊ตฌ์ฑ ์์์ ๋ํ LLM์ ๋งค๊ฐ๋ณ์ ํจ์จ์ ์ธ ์กฐ์
ํ๋ก๊ทธ๋๋ฐ ์ธ์ด
Python
์นดํ ๊ณ ๋ฆฌ
์ด๋ https://sourceforge.net/projects/peft.mirror/์์๋ ๊ฐ์ ธ์ฌ ์ ์๋ ์ ํ๋ฆฌ์ผ์ด์ ์ ๋๋ค. ๋ฌด๋ฃ ์ด์ ์์คํ ์ค ํ๋์์ ๊ฐ์ฅ ์ฌ์ด ๋ฐฉ๋ฒ์ผ๋ก ์จ๋ผ์ธ์ผ๋ก ์คํํ๊ธฐ ์ํด OnWorks์์ ํธ์คํ ๋์์ต๋๋ค.