์ต์ ๋ฆด๋ฆฌ์ค๋ฅผ 2.14.5.zip์ผ๋ก ๋ค์ด๋ก๋ํ ์ ์๋ Datasets๋ผ๋ Windows ์ฑ์ ๋๋ค. ์ํฌ์คํ ์ด์ ์ฉ ๋ฌด๋ฃ ํธ์คํ ์ ๊ณต์ ์ฒด์ธ OnWorks์์ ์จ๋ผ์ธ์ผ๋ก ์คํํ ์ ์์ต๋๋ค.
Datasets with OnWorks๋ผ๋ ์ด ์ฑ์ ์จ๋ผ์ธ์์ ๋ฌด๋ฃ๋ก ๋ค์ด๋ก๋ํ๊ณ ์คํํ์ญ์์ค.
์ด ์ฑ์ ์คํํ๋ ค๋ฉด ๋ค์ ์ง์นจ์ ๋ฐ๋ฅด์ธ์.
- 1. ์ด ์ ํ๋ฆฌ์ผ์ด์ ์ PC์ ๋ค์ด๋ก๋ํ์ต๋๋ค.
- 2. ํ์ผ ๊ด๋ฆฌ์ https://www.onworks.net/myfiles.php?username=XXXXX์ ์ํ๋ ์ฌ์ฉ์ ์ด๋ฆ์ ์ ๋ ฅํฉ๋๋ค.
- 3. ์ด๋ฌํ ํ์ผ ๊ด๋ฆฌ์์์ ์ด ์์ฉ ํ๋ก๊ทธ๋จ์ ์ ๋ก๋ํฉ๋๋ค.
- 4. ์ด ์น์ฌ์ดํธ์์ ๋ชจ๋ OS OnWorks ์จ๋ผ์ธ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ์์ํ์ง๋ง ๋ ๋์ Windows ์จ๋ผ์ธ ์๋ฎฌ๋ ์ดํฐ๋ฅผ ์์ํฉ๋๋ค.
- 5. ๋ฐฉ๊ธ ์์ํ OnWorks Windows OS์์ ์ํ๋ ์ฌ์ฉ์ ์ด๋ฆ์ผ๋ก ํ์ผ ๊ด๋ฆฌ์ https://www.onworks.net/myfiles.php?username=XXXXX๋ก ์ด๋ํฉ๋๋ค.
- 6. ์ ํ๋ฆฌ์ผ์ด์ ์ ๋ค์ด๋ก๋ํ์ฌ ์ค์นํฉ๋๋ค.
- 7. Linux ๋ฐฐํฌ ์ํํธ์จ์ด ์ ์ฅ์์์ Wine์ ๋ค์ด๋ก๋ํฉ๋๋ค. ์ค์น๊ฐ ์๋ฃ๋๋ฉด ์ฑ์ ๋ ๋ฒ ํด๋ฆญํ์ฌ Wine๊ณผ ํจ๊ป ์คํํ ์ ์์ต๋๋ค. ์ธ๊ธฐ ์๋ Windows ํ๋ก๊ทธ๋จ ๋ฐ ๊ฒ์์ ์ค์นํ๋ ๋ฐ ๋์์ด ๋๋ Wine์ ํตํ ๋ฉ์ง ์ธํฐํ์ด์ค์ธ PlayOnLinux๋ฅผ ์ฌ์ฉํด ๋ณผ ์๋ ์์ต๋๋ค.
Wine์ Linux์์ Windows ์ํํธ์จ์ด๋ฅผ ์คํํ๋ ๋ฐฉ๋ฒ์ด์ง๋ง Windows๊ฐ ํ์ํ์ง ์์ต๋๋ค. Wine์ ๋ชจ๋ Linux ๋ฐ์คํฌํ์์ ์ง์ Windows ํ๋ก๊ทธ๋จ์ ์คํํ ์ ์๋ ์คํ ์์ค Windows ํธํ์ฑ ๊ณ์ธต์ ๋๋ค. ๋ณธ์ง์ ์ผ๋ก Wine์ Windows๊ฐ ํ์ํ์ง ์๊ณ ๋ชจ๋ Windows ์์ฉ ํ๋ก๊ทธ๋จ์ ์คํํ ์ ์๋๋ก Windows๋ฅผ ์ฒ์๋ถํฐ ์ถฉ๋ถํ ๋ค์ ๊ตฌํํ๋ ค๊ณ ํฉ๋๋ค.
์คํฌ๋ฆฐ ์ท
Ad
๋ฐ์ดํฐ ์ธํธ
๊ธฐ์
Datasets๋ ์์ฐ์ด ์ฒ๋ฆฌ(NLP), ์ปดํจํฐ ๋น์ ๋ฐ ์ค๋์ค ์์ ์ ๋ํ ํ๊ฐ ๋ฉํธ๋ฆญ๊ณผ ๋ฐ์ดํฐ ์ธํธ์ ์ฝ๊ฒ ์ก์ธ์คํ๊ณ ๊ณต์ ํ๊ธฐ ์ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ๋๋ค. ํ ์ค์ ์ฝ๋๋ก ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๋ก๋ํ๊ณ ๊ฐ๋ ฅํ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ๋ฐฉ๋ฒ์ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ๋ฅ ๋ฌ๋ ๋ชจ๋ธ์์ ๊ต์กํ ์ ์๋๋ก ์ ์ํ๊ฒ ์ค๋นํ์ญ์์ค. Apache Arrow ํ์์ ์ง์ํ์ฌ ์ต์ ์ ์๋์ ํจ์จ์ฑ์ ์ํด ๋ฉ๋ชจ๋ฆฌ ์ ์ฝ ์์ด ๋ฌด๋ณต์ฌ ์ฝ๊ธฐ๋ก ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฒ๋ฆฌํฉ๋๋ค. ๋ํ Hugging Face Hub์ ๊ธด๋ฐํ๊ฒ ํตํฉ๋์ด ๋ ๋์ NLP ์ปค๋ฎค๋ํฐ์ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฝ๊ฒ ๋ก๋ํ๊ณ ๊ณต์ ํ ์ ์์ต๋๋ค. ํ์ฌ 2658๊ฐ ์ด์์ ๋ฐ์ดํฐ ์ธํธ์ 34๊ฐ ์ด์์ ์ธก์ ํญ๋ชฉ์ด ์์ต๋๋ค. ๋ฐ์ดํฐ ์ธํธ๋ ์์ฐ์ค๋ฝ๊ฒ ์ฌ์ฉ์๋ฅผ RAM ๋ฉ๋ชจ๋ฆฌ ์ ํ์์ ํด๋ฐฉ์ํค๊ณ ๋ชจ๋ ๋ฐ์ดํฐ ์ธํธ๋ ํจ์จ์ ์ธ ์ ๋ก ์ง๋ ฌํ ๋น์ฉ ๋ฐฑ์๋(Apache Arrow)๋ฅผ ์ฌ์ฉํ์ฌ ๋ฉ๋ชจ๋ฆฌ ๋งคํ๋ฉ๋๋ค. ์ค๋งํธ ์บ์ฑ: ๋ฐ์ดํฐ๊ฐ ์ฌ๋ฌ ๋ฒ ์ฒ๋ฆฌ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฌ์ง ๋ง์ญ์์ค.
๊ธฐ๋ฅ
- ๊ธฐ๋ณธ ์ฌํญ์ ๋ฐฐ์ฐ๊ณ ๋ฐ์ดํฐ ์ธํธ ๋ก๋, ์ก์ธ์ค ๋ฐ ์ฒ๋ฆฌ์ ์ต์ํด์ง๋๋ค.
- ํน์ ๋ชฉํ๋ฅผ ๋ฌ์ฑํ๋ ๋ฐ ๋์์ด ๋๋ ์ค์ฉ ๊ฐ์ด๋.
- ์ค์ ๋ฌธ์ ํด๊ฒฐ
- Datasets ํด๋์ค ๋ฐ ๋ฉ์๋ ์๋ ๋ฐฉ์์ ๋ํ ๊ธฐ์ ์ค๋ช
- ๊ธฐ๋ณธ ๋ฐ์ดํฐ ํ์๊ณผ ๊ฐ์ ์ค์ํ ์ฃผ์ ์ ๋ํ ๋ ๋์ ์ดํด๋ฅผ ๊ตฌ์ถํ๊ธฐ ์ํ ๋์ ์์ค์ ์ค๋ช
- ์ง๊ธ Hugging Face Hub์์ ๋ฐ์ดํฐ ์ธํธ๋ฅผ ์ฐพ์ผ์ญ์์ค.
ํ๋ก๊ทธ๋๋ฐ ์ธ์ด
Python
์นดํ ๊ณ ๋ฆฌ
์ด๋ https://sourceforge.net/projects/datasets.mirror/์์๋ ๊ฐ์ ธ์ฌ ์ ์๋ ์ ํ๋ฆฌ์ผ์ด์ ์ ๋๋ค. ๋ฌด๋ฃ ์ด์ ์ฒด์ ์ค ํ๋์์ ๊ฐ์ฅ ์ฌ์ด ๋ฐฉ๋ฒ์ผ๋ก ์จ๋ผ์ธ์ผ๋ก ์คํํ๊ธฐ ์ํด OnWorks์์ ํธ์คํ ๋์์ต๋๋ค.