ਫਾਈਨ ਟਿਊਨਿਂਗ

ਪਰਿਭਾਸ਼ਾ

ਫਾਈਨ ਟਿਊਨਿੰਗ ਛੋਟੇ, ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੈਟਾਂ 'ਤੇ ਵਾਧੂ ਸਿਖਲਾਈ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਇੱਕ ਪੂਰਵ-ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਨੂੰ ਇੱਕ ਨਵੇਂ ਕੰਮ ਲਈ ਢਾਲਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਹੈ।

ਉਦੇਸ਼

ਇਸਦਾ ਉਦੇਸ਼ ਵੱਡੇ ਮਾਡਲਾਂ ਤੋਂ ਗਿਆਨ ਦੀ ਮੁੜ ਵਰਤੋਂ ਕਰਨਾ ਅਤੇ ਘੱਟ ਸਰੋਤਾਂ ਨਾਲ ਵਿਸ਼ੇਸ਼ ਕਾਰਜਾਂ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਣਾ ਹੈ।

ਮਹੱਤਤਾ

• ਸ਼ੁਰੂ ਤੋਂ ਮਾਡਲ ਬਣਾਉਣ ਦੇ ਮੁਕਾਬਲੇ ਸਿਖਲਾਈ ਦੀ ਲਾਗਤ ਅਤੇ ਸਮਾਂ ਘਟਾਉਂਦਾ ਹੈ।
• ਡੋਮੇਨ-ਵਿਸ਼ੇਸ਼ ਕਾਰਜਾਂ 'ਤੇ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ।
• ਜੇਕਰ ਸਿਖਲਾਈ ਡੇਟਾ ਬਹੁਤ ਘੱਟ ਹੈ ਤਾਂ ਓਵਰਫਿਟਿੰਗ ਦੇ ਜੋਖਮ।
• ਟ੍ਰਾਂਸਫਰ ਲਰਨਿੰਗ ਨਾਲ ਸਬੰਧਤ।

ਕਿਦਾ ਚਲਦਾ

1. ਇੱਕ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਬੇਸ ਮਾਡਲ ਚੁਣੋ।
2. ਕਾਰਜ-ਵਿਸ਼ੇਸ਼ ਪਰਤਾਂ ਨੂੰ ਬਦਲੋ ਜਾਂ ਵਿਵਸਥਿਤ ਕਰੋ।
3. ਨਵੇਂ ਡੋਮੇਨ ਤੋਂ ਲੇਬਲ ਕੀਤੇ ਡੇਟਾ ਨਾਲ ਸਿਖਲਾਈ ਲਓ।
4. ਪੁਰਾਣੇ ਅਤੇ ਨਵੇਂ ਗਿਆਨ ਨੂੰ ਸੰਤੁਲਿਤ ਕਰਨ ਲਈ ਸਿੱਖਣ ਦੀਆਂ ਦਰਾਂ ਨੂੰ ਵਿਵਸਥਿਤ ਕਰੋ।
5. ਪ੍ਰਮਾਣਿਤ ਕਰੋ ਅਤੇ ਸਧਾਰਣਕਰਨ ਲਈ ਟੈਸਟ ਕਰੋ।

ਉਦਾਹਰਣਾਂ (ਅਸਲ ਦੁਨੀਆਂ)

• ਭਾਵਨਾ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ BERT ਨੂੰ ਵਧੀਆ ਬਣਾਇਆ ਗਿਆ।
• GPT ਮਾਡਲ ਗਾਹਕ ਸਹਾਇਤਾ ਚੈਟਬੋਟਾਂ ਲਈ ਵਧੀਆ ਬਣਾਏ ਗਏ ਹਨ।
• ਮੈਡੀਕਲ ਇਮੇਜਿੰਗ ਵਰਗੀਕਰਣ ਲਈ ਵਿਜ਼ਨ ਮਾਡਲਾਂ ਨੂੰ ਵਧੀਆ ਬਣਾਇਆ ਗਿਆ।

ਹਵਾਲੇ / ਹੋਰ ਪੜ੍ਹਨਾ

• ਹਾਵਰਡ ਅਤੇ ਰੂਡਰ। "ਯੂਨੀਵਰਸਲ ਲੈਂਗੂਏਜ ਮਾਡਲ ਫਾਈਨ-ਟਿਊਨਿੰਗ" (ULMFiT)। ACL 2018।
• ਹੱਗਿੰਗ ਫੇਸ ਟ੍ਰਾਂਸਫਾਰਮਰ ਦਸਤਾਵੇਜ਼।
• ਪੈਨ ਅਤੇ ਯਾਂਗ। "ਟ੍ਰਾਂਸਫਰ ਲਰਨਿੰਗ 'ਤੇ ਇੱਕ ਸਰਵੇਖਣ।" IEEE TKDE।
• ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਲਈ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਕੀ ਹੈ? - ਸ਼ੈਪ