ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ (PEFT)

ਪਰਿਭਾਸ਼ਾ

ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ (PEFT) ਇੱਕ ਤਕਨੀਕ ਹੈ ਜੋ ਵੱਡੇ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲਾਂ ਨੂੰ ਨਵੇਂ ਕੰਮਾਂ ਲਈ ਢਾਲਦੀ ਹੈ, ਪੂਰੇ ਮਾਡਲ ਦੀ ਬਜਾਏ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਇੱਕ ਛੋਟੇ ਉਪ ਸਮੂਹ ਨੂੰ ਅਪਡੇਟ ਕਰਕੇ।

ਉਦੇਸ਼

ਇਸਦਾ ਉਦੇਸ਼ ਮਜ਼ਬੂਤ ​​ਕਾਰਜ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਣਾਈ ਰੱਖਦੇ ਹੋਏ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ ਅਤੇ ਸਟੋਰੇਜ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਘਟਾਉਣਾ ਹੈ।

ਮਹੱਤਤਾ

• ਵੱਡੇ ਸਰੋਤਾਂ ਤੋਂ ਬਿਨਾਂ ਸੰਗਠਨਾਂ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਨੂੰ ਸੰਭਵ ਬਣਾਉਂਦਾ ਹੈ।
• ਪੂਰੇ ਮਾਡਲ ਸਿਖਲਾਈ ਦੇ ਮੁਕਾਬਲੇ ਕਾਰਬਨ ਫੁੱਟਪ੍ਰਿੰਟ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ।
• ਉਤਪਾਦਨ ਵਿੱਚ ਕੁਸ਼ਲ ਟਾਸਕ-ਸਵਿਚਿੰਗ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।
• LoRA ਅਤੇ ਅਡਾਪਟਰਾਂ ਵਰਗੇ ਤਰੀਕਿਆਂ ਨਾਲ ਸੰਬੰਧਿਤ।

ਕਿਦਾ ਚਲਦਾ

1. ਇੱਕ ਵੱਡਾ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਬੇਸ ਮਾਡਲ ਚੁਣੋ।
2. ਪੈਰਾਮੀਟਰ ਸਬਸੈੱਟਾਂ ਦੀ ਪਛਾਣ ਕਰੋ (ਜਿਵੇਂ ਕਿ, ਘੱਟ-ਰੈਂਕ ਵਾਲੇ ਅਡਾਪਟਰ)।
3. ਇਹਨਾਂ ਉਪ-ਸਮੂਹਾਂ ਨੂੰ ਸਿਰਫ਼ ਟਾਰਗੇਟ ਟਾਸਕ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਦਿਓ।
4. ਹੋਰ ਮਾਪਦੰਡਾਂ ਨੂੰ ਫ੍ਰੀਜ਼ ਰੱਖੋ।
5. ਘੱਟੋ-ਘੱਟ ਸਰੋਤ ਓਵਰਹੈੱਡ ਨਾਲ ਤੈਨਾਤ ਕਰੋ।

ਉਦਾਹਰਣਾਂ (ਅਸਲ ਦੁਨੀਆਂ)

• LoRA (ਘੱਟ-ਦਰਜੇ ਦਾ ਅਨੁਕੂਲਨ): LLM ਨੂੰ ਫਾਈਨ-ਟਿਊਨ ਕਰਨ ਵਿੱਚ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।
• ਹੱਗਿੰਗ ਫੇਸ PEFT ਲਾਇਬ੍ਰੇਰੀ: ਕੁਸ਼ਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਟੂਲਕਿੱਟ।
• ਗੂਗਲ ਖੋਜ: ਬਹੁਭਾਸ਼ਾਈ NLP ਕਾਰਜਾਂ ਲਈ ਅਡੈਪਟਰ।

ਹਵਾਲੇ / ਹੋਰ ਪੜ੍ਹਨਾ

• ਹੂ ਐਟ ਅਲ. "ਲੋਰਾ: ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਦਾ ਘੱਟ-ਦਰਜੇ ਦਾ ਅਨੁਕੂਲਨ।" arXiv.
• ਹੌਲਸਬੀ ਅਤੇ ਹੋਰ। "ਐਨਐਲਪੀ ਲਈ ਪੈਰਾਮੀਟਰ-ਕੁਸ਼ਲ ਟ੍ਰਾਂਸਫਰ ਲਰਨਿੰਗ।" ਏਸੀਐਲ।
• ਜੱਫੀ ਪਾਉਣ ਵਾਲਾ ਚਿਹਰਾ PEFT ਦਸਤਾਵੇਜ਼।