ਮਨੁੱਖੀ ਫੀਡਬੈਕ (RLHF) ਤੋਂ ਮਜ਼ਬੂਤੀ ਸਿਖਲਾਈ

ਪਰਿਭਾਸ਼ਾ

ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਫਰਾਮ ਹਿਊਮਨ ਫੀਡਬੈਕ (RLHF) ਸਿਖਲਾਈ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਮਨੁੱਖੀ ਨਿਰਣੇ ਸ਼ਾਮਲ ਕਰਕੇ AI ਮਾਡਲਾਂ ਨੂੰ ਮਨੁੱਖੀ ਮੁੱਲਾਂ ਨਾਲ ਇਕਸਾਰ ਕਰਨ ਦਾ ਇੱਕ ਤਰੀਕਾ ਹੈ। ਇਸਦੀ ਵਰਤੋਂ ਅਕਸਰ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਵਧੀਆ ਬਣਾਉਣ ਲਈ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਉਦੇਸ਼

ਇਸਦਾ ਉਦੇਸ਼ AI ਆਉਟਪੁੱਟ ਨੂੰ ਸੁਰੱਖਿਅਤ, ਵਧੇਰੇ ਉਪਯੋਗੀ ਅਤੇ ਮਨੁੱਖੀ ਤਰਜੀਹਾਂ ਦੇ ਅਨੁਸਾਰ ਬਣਾਉਣਾ ਹੈ। RLHF ਨੁਕਸਾਨਦੇਹ, ਪੱਖਪਾਤੀ, ਜਾਂ ਅਪ੍ਰਸੰਗਿਕ ਜਵਾਬਾਂ ਨੂੰ ਘਟਾ ਕੇ ਗੱਲਬਾਤ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ।

ਮਹੱਤਤਾ

• ਏਆਈ ਸਿਖਲਾਈ ਵਿੱਚ ਮਨੁੱਖੀ ਨਿਗਰਾਨੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
• ਏਆਈ ਸਿਸਟਮਾਂ ਦੀ ਭਰੋਸੇਯੋਗਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦਾ ਹੈ।
• ਮਨੁੱਖੀ ਵਿਆਖਿਆ ਦੀਆਂ ਜ਼ਰੂਰਤਾਂ ਦੇ ਕਾਰਨ ਮਿਹਨਤ-ਸੰਬੰਧੀ।
• ਤਰਜੀਹ ਮਾਡਲਿੰਗ ਅਤੇ ਅਲਾਈਨਮੈਂਟ ਖੋਜ ਨਾਲ ਸਬੰਧਤ।

ਕਿਦਾ ਚਲਦਾ

1. ਮਾਡਲ ਆਉਟਪੁੱਟ ਦੀ ਤੁਲਨਾ ਕਰਦੇ ਹੋਏ ਮਨੁੱਖੀ ਫੀਡਬੈਕ ਇਕੱਠਾ ਕਰੋ।
2. ਮਨੁੱਖੀ ਪਸੰਦਾਂ 'ਤੇ ਇੱਕ ਇਨਾਮ ਮਾਡਲ ਸਿਖਲਾਈ ਦਿਓ।
3. ਬੇਸ ਮਾਡਲ ਨੂੰ ਸੁਧਾਰਨ ਲਈ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਦੀ ਵਰਤੋਂ ਕਰੋ।
4. ਅਲਾਈਨਮੈਂਟ ਟੀਚਿਆਂ ਦੇ ਵਿਰੁੱਧ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਮੁਲਾਂਕਣ ਕਰੋ।
5. ਵਾਧੂ ਫੀਡਬੈਕ ਨਾਲ ਦੁਹਰਾਓ।

ਉਦਾਹਰਣਾਂ (ਅਸਲ ਦੁਨੀਆਂ)

• OpenAI ChatGPT: ਸੁਰੱਖਿਅਤ ਜਵਾਬਾਂ ਲਈ RLHF ਨਾਲ ਵਧੀਆ ਬਣਾਇਆ ਗਿਆ।
• ਐਂਥ੍ਰੋਪਿਕ ਦਾ ਸੰਵਿਧਾਨਕ ਏਆਈ: ਸਿੱਧੇ ਫੀਡਬੈਕ ਦੀ ਬਜਾਏ ਸਿਧਾਂਤਾਂ ਦੁਆਰਾ ਸੇਧਿਤ।
• InstructGPT: RLHF ਦਾ ਪ੍ਰਦਰਸ਼ਨ ਕਰਨ ਵਾਲਾ ਸ਼ੁਰੂਆਤੀ OpenAI ਮਾਡਲ।

ਹਵਾਲੇ / ਹੋਰ ਪੜ੍ਹਨਾ

• ਕ੍ਰਿਸਚੀਅਨੋ ਅਤੇ ਹੋਰ। "ਮਨੁੱਖੀ ਤਰਜੀਹਾਂ ਤੋਂ ਡੂੰਘੀ ਮਜ਼ਬੂਤੀ ਸਿਖਲਾਈ।" ਨਿਊਰਿਪਸ 2017।
• OpenAI ਇੰਸਟ੍ਰਕਸ਼ਨGPT ਪੇਪਰ।
• NIST AI ਜੋਖਮ ਪ੍ਰਬੰਧਨ ਢਾਂਚਾ।
• ਮਨੁੱਖੀ ਫੀਡਬੈਕ (RLHF) ਨਾਲ ਰੀਇਨਫੋਰਸਮੈਂਟ ਲਰਨਿੰਗ ਕੀ ਹੈ?