ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ

ਪਰਿਭਾਸ਼ਾ

ਪੂਰਵ-ਸਿਖਲਾਈ ਖਾਸ ਕੰਮਾਂ 'ਤੇ ਸੁਧਾਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਵੱਡੇ ਜਨਰਲ-ਉਦੇਸ਼ ਡੇਟਾਸੈਟਾਂ 'ਤੇ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ ਦੀ ਸ਼ੁਰੂਆਤੀ ਸਿਖਲਾਈ ਹੈ।

ਉਦੇਸ਼

ਇਸਦਾ ਉਦੇਸ਼ ਮਾਡਲਾਂ ਨੂੰ ਵਿਆਪਕ ਪ੍ਰਤੀਨਿਧਤਾਵਾਂ ਪ੍ਰਦਾਨ ਕਰਨਾ ਹੈ ਜੋ ਕਈ ਕਾਰਜਾਂ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕਰਦੇ ਹਨ, ਡਾਊਨਸਟ੍ਰੀਮ ਅਨੁਕੂਲਨ ਲਈ ਡੇਟਾ ਅਤੇ ਗਣਨਾ ਲੋੜਾਂ ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ।

ਮਹੱਤਤਾ

• ਆਧੁਨਿਕ LLM ਅਤੇ ਵਿਜ਼ਨ ਮਾਡਲਾਂ ਲਈ ਬੁਨਿਆਦ।
• ਵਿਭਿੰਨ ਕਾਰਜਾਂ ਵਿੱਚ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ।
• ਡਾਟਾ ਅਤੇ ਗਣਨਾ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਮਹਿੰਗਾ।
• ਪੱਖਪਾਤ ਤੋਂ ਬਚਣ ਲਈ ਧਿਆਨ ਨਾਲ ਡੇਟਾਸੈੱਟ ਕਿਊਰੇਸ਼ਨ ਦੀ ਲੋੜ ਹੈ।

ਕਿਦਾ ਚਲਦਾ

1. ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਆਮ ਡੇਟਾਸੈੱਟ (ਟੈਕਸਟ, ਤਸਵੀਰਾਂ) ਇਕੱਠੇ ਕਰੋ।
2. ਨਿਰੀਖਣ ਰਹਿਤ ਜਾਂ ਸਵੈ-ਨਿਗਰਾਨੀ ਵਾਲੇ ਸਿੱਖਣ ਕਾਰਜਾਂ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ।
3. ਮਾਡਲਾਂ ਨੂੰ ਆਮ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸਿੱਖਣ ਲਈ ਸਿਖਲਾਈ ਦਿਓ।
4. ਮੁੜ ਵਰਤੋਂ ਲਈ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਵਜ਼ਨ ਬਚਾਓ।
5. ਛੋਟੇ ਕਾਰਜ-ਵਿਸ਼ੇਸ਼ ਡੇਟਾਸੈੱਟਾਂ ਨੂੰ ਠੀਕ ਕਰੋ।

ਉਦਾਹਰਣਾਂ (ਅਸਲ ਦੁਨੀਆਂ)

• BERT ਨੇ ਵਿਕੀਪੀਡੀਆ ਅਤੇ ਬੁੱਕਸਕਾਰਪਸ 'ਤੇ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਕੀਤੀ ਹੈ।
• CLIP ਨੂੰ ਚਿੱਤਰ-ਟੈਕਸਟ ਜੋੜਿਆਂ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ।
• GPT ਮਾਡਲ ਵੱਡੇ ਪੈਮਾਨੇ ਦੇ ਇੰਟਰਨੈੱਟ ਟੈਕਸਟ 'ਤੇ ਪਹਿਲਾਂ ਤੋਂ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਹਨ।

ਹਵਾਲੇ / ਹੋਰ ਪੜ੍ਹਨਾ

• ਡੇਵਲਿਨ ਅਤੇ ਹੋਰ। "BERT: ਡੂੰਘੇ ਦੋ-ਦਿਸ਼ਾਵੀ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਦੀ ਪੂਰਵ-ਸਿਖਲਾਈ।" NAACL 2019।
• ਰੈਡਫੋਰਡ ਅਤੇ ਹੋਰ। "ਭਾਸ਼ਾ ਮਾਡਲ ਘੱਟ-ਸ਼ਾਟ ਸਿੱਖਣ ਵਾਲੇ ਹੁੰਦੇ ਹਨ।" ਨਿਊਰਿਪਸ 2020।
• OpenAI GPT-4 ਤਕਨੀਕੀ ਰਿਪੋਰਟ।