π μ°λ¦¬ νμ μκ°ν©λλ€.
NetsPresso Platform νμ Nota AIμ AI λͺ¨λΈ κ²½λν λ° μ΅μ ν κΈ°μ μ λ°νμΌλ‘, μ°κ΅¬Β·κ°λ°λ κΈ°μ μ μ€μ μ νμΌλ‘ ꡬννμ¬ μ¬μ©μμκ² μ 곡νλ ν΅μ¬ νλ«νΌκ³Ό μννΈμ¨μ΄λ₯Ό μ€κ³Β·κ΅¬ννλ μ‘°μ§μ
λλ€.
Model Representation, Quantization, Graph Optimization, Model Engineering, SW Engineering ννΈλ‘ ꡬμ±λμ΄ μμΌλ©°, κ·Έμ€ Quantization ννΈλ NetsPressoμ ν΅μ¬ μ΅μ ν κΈ°μ μΈ μμνλ₯Ό μ°κ΅¬νκ³ , μ체 κΈ°μ μ μ νμ νμ¬νμ¬ λ€μν HWμμ λ₯λ¬λ λͺ¨λΈ μΆλ‘ μ κ°μνν©λλ€.
- μμνλ‘ μΈν μ±λ₯ μ νλ₯Ό μ΅μννλ μκ³ λ¦¬μ¦μ μ°κ΅¬νλ©°
- λ€μν HW λ° Backendμ μ μ½μ¬νμ λ§λ μμνλ₯Ό μ§μνκ³
- μ€μ HWμμ κ°μ κ°λ₯ν ννλ‘ λͺ¨λΈμ λ³νν©λλ€.
π ν΄λΉ ν¬μ§μ
μΌλ‘ ν©λ₯νμ λ€λ©΄
NetsPressoμ ν΅μ¬ μν μ μννλ μμν κΈ°μ μ μ°κ΅¬νκ³ μ ννν©λλ€. μ΅μ μμν μκ³ λ¦¬μ¦μ μ°κ΅¬νκ³ , λ€μν λͺ¨λΈκ³Ό HWμ νΉμ±μ λ§κ² μ΅μ ννλ λ
Ένλ§μ κ³ μ ν μμν κΈ°λ²μ μ€κ³ν©λλ€. On-device AIλ₯Ό μν λ€μν μ΅μ ν κΈ°μ κ³Ό μ΅μ λͺ¨λΈμμ κ²½νν μ μμ΅λλ€.
β
μ£Όμ μ
무
- Quantization κΈ°μ μ°κ΅¬ λ° μ νν
- μ°¨μΈλ Post-Training Quantization(PTQ), Quantization-Aware Training(QAT), Compression μκ³ λ¦¬μ¦ κ°λ°
- λͺ¨λΈ μν€ν
μ² λ° νκ² HW νΉμ±μ κ³ λ €ν Quantization μ λ΅ μ립 λ° νλ μμν¬ μ€κ³
- Generative AI(LLM, VLM, Diffusion λ±), Computer Vision(Classification, Detection, Segmentation λ±) λ° λ€μν AI λͺ¨λΈμ λν μ΅μ ν λ°©λ²λ‘ μ°κ΅¬
- μ°κ΅¬ κ²°κ³Όμ λ
Όλ¬Έ λ°ν λ° νΉν μΆμμ ν΅ν κΈ°μ 리λμ ν보
- On-device AI λͺ¨λΈ μ΅μ ν
- λ€μν On-device HWλ‘μ λ°°ν¬λ₯Ό μν quantization νμ΄νλΌμΈ μ€κ³ λ° κ³ λν
- AI λͺ¨λΈ μ΅μ ν νλ‘μ νΈ μν
- QuantizationμΌλ‘ μΈν μ νλ μ ν μμΈ λΆμ λ° μ²΄κ³μ μΈ ν΄κ²° λ°©μ μ립
β
μ격μ건
- μ»΄ν¨ν°κ³΅ν, μ μ곡ν λ± κ΄λ ¨ μ 곡 νμ μμ§μ
- νμ¬ ν 2λ
μ΄μ, μ/λ°μ¬ μ‘Έμ
λ° μ‘Έμ
μμ μ
- Quantization, λͺ¨λΈ μμΆ, λλ λ₯λ¬λ μ΅μ ν λΆμΌμμμ μ°κ΅¬/κ°λ° κ²½ν
- PyTorch, ExecuTorch, ONNX κΈ°λ° λ₯λ¬λ λͺ¨λΈ μ΅μ νμ λν μ΄ν΄
- ν΄μΈ μ¬νμ 결격 μ¬μ κ° μλ λΆ
β
μ°λμ¬ν
- Quantization, λͺ¨λΈ μμΆ, 컀λ μ΅μ ν κ΄λ ¨ top-tier νν(NeurIPS, ICML, CVPR, ICLR λ±) λ
Όλ¬Έ λ°ν κ²½ν
- μ°κ΅¬ κ²°κ³Όμ μ νν λ° μμ© μλΉμ€ μ μ© κ²½ν
- ExecuTorch, ONNX, TensorRT, AIMET, llama.cpp λ± μ΅μ ν λΌμ΄λΈλ¬λ¦¬ μ¬ν νμ© κ²½ν
- Low-bit λͺ¨λΈμ Embedded Device ν¬ν
λ° μ±λ₯ νλ κ²½ν
- vLLM, SGLang, llama.cpp λ± LLM Inference Frameworkμ λν κ²½ν
- μ€νμμ€ νλ‘μ νΈ κΈ°μ¬ λλ μ μ§λ³΄μ κ²½ν
β
μ±μ© μ μ°¨
- μλ₯μ μ β μ¬μ κ³Όμ β 1μ°¨ μΈν°λ·° -> μ΅μ’
μ λ°
- (κ°μΈ μ΄λ ₯μ λ°λΌ μΆκ°μ μΈ κ³Όμ κ° μκ±°λ μ μ°¨κ° κ°μνλ μ μμ΅λλ€.)
β
근무 κΈ°κ°
- 6κ°μ (μ΄ν νμ κ°λ₯)
π€Β νμ λ©μΈμ§
μλ‘μ΄ κΈ°μ μ λν λμ κ΄μ¬κ³Ό μμ΄λμ΄λ₯Ό μ€μ λ‘ κ΅¬νν΄λ΄λ μ€νλ ₯μ΄ μ€μν©λλ€. λ¨μν μ°κ΅¬μ κ·ΈμΉμ§ μκ³ , NetsPresso μλΉμ€μ μ§μ μ°κ²°λλ λ
μμ μΈ μμν κΈ°μ μ κ°λ°νλ ν¬μ§μ
μ
λλ€. κ° λͺ¨λμ΄ μ κΈ°μ μΌλ‘ μ°κ²°λμ΄ μλ λ§νΌ, ν λ΄ νλ°ν μν΅κ³Ό μ£Όλμ μΈ νλλ₯Ό 무μλ³΄λ€ μ€μνκ² μκ°ν©λλ€. 볡μ‘ν κΈ°μ μ λ¬Έμ λ₯Ό κΉμ΄ μκ² νκ³ λ€κ³ , νμ
μ ν΅ν΄ ν¨κ» μ±μ₯νκ³ μΆμ λΆμ΄λΌλ©΄ μ΄ νμμ λΆλͺ
μ’μ μ±κ³Όλ₯Ό λΌ μ μμ κ²μ
λλ€.
μ§μ μ , νμΈν΄μ£ΌμΈμ! π
- ν΄λΉ κ³΅κ³ λ μμ μ±μ©μΌλ‘, μ±μ© μλ£ μ μ‘°κΈ° λ§κ°λ μ μμ΅λλ€.
- μ΄λ ₯μ λ΄ μ°λ΄ μ 보 λ± λ―Όκ°ν κ°μΈ μ λ³΄κ° κΈ°μ¬λμ΄ μλ€λ©΄, ν΄λΉ μλ₯λ κ²ν λμ§ μμ μ μμ΅λλ€.
- μ μΆν΄ μ£Όμ λ΄μ© μ€ νμ μ¬μ€μ΄ μμ κ²½μ° μ±μ©μ΄ μ·¨μλ μ μμ΅λλ€.
- μ±μ© μ λ νΌλ°μ€ 체ν¬κ° μμμ μλ €λ립λλ€.
- μ΅μ’
μΈν°λ·° ν©κ²© μ λ³λλ‘ μ²μ°λ₯Ό νμν©λλ€.
- κ΅κ°λ³΄νλμμ λ° μ₯μ μΈμ κ΄λ ¨ λ²κ·μ μκ±°νμ¬ μ°λν©λλ€.
- μ₯μ μΈ κ³ μ© μ΄μ§μ μν νμ μ μ μ°¨ νμΈμ΄ νμν κ²½μ°, μ₯μ μΈ λ±λ‘μ¦ μ¬λ³Έμ κΈ°ν μλ₯ λμ μ νμ μΌλ‘ μ μΆνμ€ μ μμ΅λλ€. μ μΆ μ¬λΆλ μ ν νκ°μ μ΄λ ν μν₯λ λ―ΈμΉμ§ μμ΅λλ€.
π μ½μ΄λ³΄λ©΄ λμ λλ κ΄λ ¨ μλ£