ਇੱਕ ਈਗੋਸੈਂਟ੍ਰਿਕ ਡੇਟਾਸੈਟ ਪਹਿਲੇ-ਵਿਅਕਤੀ ਵੀਡੀਓ ਅਤੇ ਸੈਂਸਰ ਰਿਕਾਰਡਿੰਗਾਂ ਦਾ ਇੱਕ ਢਾਂਚਾਗਤ ਸੰਗ੍ਰਹਿ ਹੈ - ਇੱਕ ਸਿਰ, ਛਾਤੀ, ਜਾਂ ਗੁੱਟ-ਮਾਊਂਟ ਕੀਤੇ ਕੈਮਰੇ ਤੋਂ ਕੈਪਚਰ ਕੀਤਾ ਗਿਆ - ਜੋ ਰੋਬੋਟਿਕਸ ਅਤੇ ਮੂਰਤੀਮਾਨ AI ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਲੋਕ ਕਿਵੇਂ ਦੇਖਦੇ ਹਨ, ਹਿੱਲਦੇ ਹਨ ਅਤੇ ਕੰਮ ਕਰਦੇ ਹਨ। ਇਹ ਰੋਬੋਟ ਦਾ ਔਨਬੋਰਡ ਕੈਮਰਾ ਓਪਰੇਸ਼ਨ ਦੌਰਾਨ ਕੀ ਦੇਖੇਗਾ, ਇਸ ਦੇ ਸਭ ਤੋਂ ਨੇੜੇ ਦਾ ਮੇਲ ਹੈ, ਇਸੇ ਕਰਕੇ ਇਹ ਵਿਜ਼ਨ-ਲੈਂਗਵੇਜ-ਐਕਸ਼ਨ (VLA) ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ ਬੁਨਿਆਦ ਬਣ ਗਿਆ ਹੈ।
ਸਿਰਫ਼ ਲੈਬ ਫੁਟੇਜ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਰੋਬੋਟ ਅਕਸਰ ਲੈਬ ਛੱਡਣ ਵਾਲੇ ਪਹਿਲੇ ਦਿਨ ਹੀ ਕਰੈਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ। ਕਾਰਨ ਬਹੁਤ ਘੱਟ ਮਾਡਲ ਹੁੰਦਾ ਹੈ। ਇਹ ਡਾਟਾ ਹੁੰਦਾ ਹੈ।
ਜ਼ਿਆਦਾਤਰ ਸਿਖਲਾਈ ਵੀਡੀਓ ਟ੍ਰਾਈਪੌਡ ਜਾਂ ਛੱਤ ਵਾਲੇ ਕੈਮਰੇ ਤੋਂ ਸ਼ੂਟ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਇਸ ਤਰ੍ਹਾਂ ਦੀ ਫੁਟੇਜ ਕਮਰੇ ਨੂੰ ਦਿਖਾਉਂਦੀ ਹੈ, ਪਰ ਕੰਮ ਨੂੰ ਨਹੀਂ। ਹੱਥ ਨਹੀਂ। ਵਸਤੂ ਨਹੀਂ। ਉਹ ਸਹੀ ਕੋਣ ਨਹੀਂ ਜੋ ਰੋਬੋਟ ਦਾ ਔਨਬੋਰਡ ਕੈਮਰਾ ਅਸਲ ਵਿੱਚ ਕੱਪ ਚੁੱਕਣ ਜਾਂ ਦਰਾਜ਼ ਖੋਲ੍ਹਣ ਵੇਲੇ ਦੇਖੇਗਾ। ਉਹ ਪਾੜਾ ਹੈ ਜਿਸਨੂੰ ਬੰਦ ਕਰਨ ਲਈ ਇੱਕ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈਟ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ।
ਇਹ ਗਾਈਡ ਇਸ ਗੱਲ 'ਤੇ ਚਰਚਾ ਕਰਦੀ ਹੈ ਕਿ ਇੱਕ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈੱਟ ਕੀ ਹੁੰਦਾ ਹੈ, ਪਹਿਲੇ ਵਿਅਕਤੀ ਦਾ ਡੇਟਾ ਆਧੁਨਿਕ ਰੋਬੋਟਿਕਸ ਅਤੇ ਮੂਰਤੀਮਾਨ AI ਦੀ ਨੀਂਹ ਕਿਉਂ ਬਣ ਗਿਆ ਹੈ, ਚੰਗਾ ਡੇਟਾ ਅਸਲ ਵਿੱਚ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਨੂੰ ਲਾਇਸੈਂਸ ਦੇਣ ਜਾਂ ਕਮਿਸ਼ਨ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਟੀਮਾਂ ਨੂੰ ਕਿਹੜੀਆਂ ਚੀਜ਼ਾਂ ਦੀ ਭਾਲ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।
ਇੱਕ ਈਗੋਸੈਂਟ੍ਰਿਕ ਡੇਟਾਸੈੱਟ ਕੀ ਹੈ?
ਇੱਕ ਈਗੋਸੈਂਟ੍ਰਿਕ ਡੇਟਾਸੈਟ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਕੈਪਚਰ ਕੀਤੇ ਗਏ ਵੀਡੀਓ ਅਤੇ ਸੈਂਸਰ ਡੇਟਾ ਦਾ ਇੱਕ ਢਾਂਚਾਗਤ ਸੰਗ੍ਰਹਿ ਹੁੰਦਾ ਹੈ। ਕੈਮਰਾ ਕੰਮ ਕਰਨ ਵਾਲੇ ਵਿਅਕਤੀ ਦੇ ਸਿਰ, ਛਾਤੀ ਜਾਂ ਗੁੱਟ 'ਤੇ ਬੈਠਦਾ ਹੈ - ਕਈ ਵਾਰ ਰੋਬੋਟ 'ਤੇ ਵੀ - ਇਸ ਲਈ ਰਿਕਾਰਡਿੰਗ ਦੁਨੀਆ ਨੂੰ ਬਿਲਕੁਲ ਉਸੇ ਤਰ੍ਹਾਂ ਦਿਖਾਉਂਦੀ ਹੈ ਜਿਵੇਂ ਅਦਾਕਾਰ ਇਸਨੂੰ ਦੇਖਦਾ ਹੈ।
"ਅਹੰਕਾਰ ਕੇਂਦਰਿਤ" ਦਾ ਸਿੱਧਾ ਅਰਥ ਹੈ ਸਵੈ ਤੋਂ । ਇੱਕ ਤੀਜਾ-ਵਿਅਕਤੀ ਕੈਮਰਾ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਇੱਕ ਕਮਰੇ ਵਿੱਚ ਕੀ ਹੋ ਰਿਹਾ ਹੈ। ਇੱਕ ਅਹੰਕਾਰ ਕੇਂਦਰਿਤ ਕੈਮਰਾ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਜਦੋਂ ਇਹ ਵਾਪਰਦਾ ਹੈ ਤਾਂ ਅਦਾਕਾਰ ਦੇ ਹੱਥ, ਅੱਖਾਂ ਅਤੇ ਔਜ਼ਾਰ ਕੀ ਕਰ ਰਹੇ ਹਨ। ਇਹ ਅੰਤਰ ਛੋਟਾ ਲੱਗਦਾ ਹੈ। ਰੋਬੋਟਿਕਸ ਟੀਮਾਂ ਲਈ, ਇਹ ਸਭ ਕੁਝ ਹੈ।
ਜ਼ਿਆਦਾਤਰ ਆਧੁਨਿਕ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈੱਟ ਵੀਡੀਓ ਨੂੰ ਵਾਧੂ ਸਿਗਨਲਾਂ - ਡੂੰਘਾਈ, ਗਤੀ, ਆਡੀਓ, ਅਤੇ ਕਈ ਵਾਰ ਅੱਖ ਜਾਂ ਹੱਥ ਟਰੈਕਿੰਗ - ਨਾਲ ਜੋੜਦੇ ਹਨ ਤਾਂ ਜੋ ਇੱਕ ਪਲ ਦਾ ਇੱਕੋ ਸਮੇਂ ਕਈ ਕੋਣਾਂ ਤੋਂ ਅਧਿਐਨ ਕੀਤਾ ਜਾ ਸਕੇ।
[ਇਹ ਵੀ ਪੜ੍ਹੋ: ਰੋਬੋਟ ਸਿਖਲਾਈ ਡੇਟਾ ਰਣਨੀਤੀ ]
ਰੋਬੋਟਿਕਸ ਅਤੇ ਏਮਬੌਡਡ ਏਆਈ ਲਈ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ
ਰੋਬੋਟ ਅਸਲ ਦੁਨੀਆਂ ਵਿੱਚ ਕੁਝ ਕਾਰਨਾਂ ਕਰਕੇ ਅਸਫਲ ਹੋ ਜਾਂਦੇ ਹਨ। ਗਲਤ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਸਿਖਰ ਦੇ ਨੇੜੇ ਹੈ।

ਪਹਿਲੇ ਵਿਅਕਤੀ ਦੇ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਉਸ ਅਨੁਵਾਦ ਪੜਾਅ ਨੂੰ ਹਟਾ ਦਿੰਦੀ ਹੈ। ਮਾਡਲ ਉਸੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਸਿੱਖਦਾ ਹੈ ਜੋ ਇਹ ਬਾਅਦ ਵਿੱਚ ਵਰਤੇਗਾ। ਹਾਲੀਆ ਰੋਬੋਟ-ਲਰਨਿੰਗ ਖੋਜ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦੇ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਨੀਤੀਆਂ ਕੰਮ ਦੀ ਕਿਸਮ ਦੇ ਅਧਾਰ 'ਤੇ, ਹੇਰਾਫੇਰੀ ਕਾਰਜਾਂ 'ਤੇ ਤੀਜੇ ਵਿਅਕਤੀ-ਸਿਖਿਅਤ ਨੀਤੀਆਂ ਨੂੰ 15-30% ਤੱਕ ਪਛਾੜ ਸਕਦੀਆਂ ਹਨ। ਇਸਦਾ ਲਾਭ ਕੰਮ ਵਿੱਚ ਹੀ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ: ਸਾਫ਼ ਪਕੜ, ਬਿਹਤਰ ਹੱਥ-ਅੱਖ ਦਾ ਸਮਾਂ, ਬੇਤਰਤੀਬ ਪ੍ਰਤੀ ਚੁਸਤ ਜਵਾਬ ਅਤੇ ਅੰਸ਼ਕ ਦ੍ਰਿਸ਼।
ਇਹੀ ਕਾਰਨ ਹੈ ਕਿ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦਾ ਡੇਟਾ ਭੌਤਿਕ AI ਪ੍ਰਣਾਲੀਆਂ ਅਤੇ ਵਿਜ਼ਨ-ਭਾਸ਼ਾ-ਐਕਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਨਵੀਂ ਲਹਿਰ ਦੇ ਕੇਂਦਰ ਵਿੱਚ ਬੈਠਦਾ ਹੈ - ਉਹ ਪ੍ਰਣਾਲੀਆਂ ਜੋ ਇੱਕ ਵਿਜ਼ੂਅਲ ਇਨਪੁਟ ਅਤੇ ਇੱਕ ਬੋਲਿਆ ਜਾਂ ਲਿਖਤੀ ਹਦਾਇਤ ਲੈਂਦੀਆਂ ਹਨ, ਫਿਰ ਭੌਤਿਕ ਸੰਸਾਰ ਵਿੱਚ ਇੱਕ ਅਸਲ ਕਿਰਿਆ ਆਉਟਪੁੱਟ ਕਰਦੀਆਂ ਹਨ।
ਇੱਕ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈੱਟ ਦੇ ਅੰਦਰ
ਕੱਚਾ ਵੀਡੀਓ ਆਪਣੇ ਆਪ ਵਿੱਚ ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ। ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲਾ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾ ਸੰਗ੍ਰਹਿ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦੇ ਵੀਡੀਓ ਨੂੰ ਕਈ ਹੋਰ ਸੰਕੇਤਾਂ ਨਾਲ ਜੋੜਦਾ ਹੈ:
- ਸਿੰਕ੍ਰੋਨਾਈਜ਼ਡ ਵੀਡੀਓ ਚੰਗੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਵਿੱਚ, ਅਕਸਰ ਇੱਕ ਤੋਂ ਵੱਧ ਕੋਣਾਂ (ਸਿਰ, ਛਾਤੀ, ਜਾਂ ਗੁੱਟ) ਤੋਂ
- ਡੂੰਘਾਈ ਡੇਟਾ ਇਹ ਇੱਕ ਮਾਡਲ ਨੂੰ ਇਹ ਸਮਝਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਕਿ ਕੋਈ ਵਸਤੂ ਕਿੰਨੀ ਦੂਰ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ਼ ਉਸ ਥਾਂ ਤੋਂ ਜਿੱਥੇ ਇਹ ਫਰੇਮ ਵਿੱਚ ਦਿਖਾਈ ਦਿੰਦੀ ਹੈ।
- ਮੋਸ਼ਨ ਸੈਂਸਰ (IMU) ਡਾਟਾ ਜੋ ਸਿਰ ਅਤੇ ਸਰੀਰ ਦੀ ਹਰਕਤ ਨੂੰ ਫਰੇਮ ਦਰ ਫਰੇਮ ਟਰੈਕ ਕਰਦਾ ਹੈ।
- ਆਡੀਓ — ਜਿਸ ਵਿੱਚ ਹੈਰਾਨੀਜਨਕ ਸੰਦਰਭ ਹਨ, ਜਿਵੇਂ ਕਿ ਬੋਰਡ 'ਤੇ ਚਾਕੂ ਜਾਂ ਨੇੜੇ ਬੋਲ ਰਿਹਾ ਵਿਅਕਤੀ
- ਹੱਥ ਜਾਂ ਅੱਖ ਟਰੈਕਿੰਗ ਉਹਨਾਂ ਕੰਮਾਂ ਲਈ ਜਿੱਥੇ ਧਿਆਨ ਅਤੇ ਪਕੜ ਮਾਇਨੇ ਰੱਖਦੀ ਹੈ
ਕੈਚ ਇਹ ਹੈ ਕਿ ਇਸ ਸਭ ਨੂੰ ਮਿਲੀਸਕਿੰਟ ਤੱਕ ਲਾਈਨ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਜੇਕਰ ਡੂੰਘਾਈ ਦੀ ਧਾਰਾ ਵੀਡੀਓ ਤੋਂ ਇੱਕ ਚੌਥਾਈ ਸਕਿੰਟ ਪਿੱਛੇ ਚਲੀ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਮਾਡਲ ਗਲਤ ਕਾਰਨ-ਅਤੇ-ਪ੍ਰਭਾਵ ਸਿੱਖਦਾ ਹੈ। ਚੰਗੀ ਤਰ੍ਹਾਂ ਕੈਲੀਬਰੇਟ ਕੀਤੇ ਕੈਪਚਰ ਦੇ ਸਿਖਰ 'ਤੇ ਠੋਸ ਅਹੰਕਾਰੀ ਡੇਟਾ ਐਨੋਟੇਸ਼ਨ ਉਹ ਹੈ ਜੋ ਕੱਚੀਆਂ ਰਿਕਾਰਡਿੰਗਾਂ ਨੂੰ ਸਿਖਲਾਈ-ਤਿਆਰ ਡੇਟਾ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ।
ਲੈਬ ਫੁਟੇਜ ਬਨਾਮ ਅਸਲ-ਸੰਸਾਰ ਕੈਪਚਰ
ਇਹ ਇੱਕ ਵੱਖਰੀ ਕਿਸਮ ਦੀ ਸਿਖਲਾਈ ਸਮੱਸਿਆ ਨੂੰ ਦਰਸਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ।
ਕਲਪਨਾ ਕਰੋ ਕਿ ਕਿਸੇ ਨੂੰ ਉੱਪਰੋਂ ਲਈ ਗਈ ਡਰੋਨ ਫੁਟੇਜ ਦਿਖਾ ਕੇ ਸਾਈਕਲ ਚਲਾਉਣਾ ਸਿਖਾਇਆ ਜਾਵੇ। ਉਹ ਸਾਈਕਲ, ਸੜਕ ਅਤੇ ਰਸਤਾ ਦੇਖਣਗੇ। ਉਹ ਹੈਂਡਲਬਾਰਾਂ ਵਿੱਚ ਹਿੱਲਜੁਲ, ਕੋਨਿਆਂ 'ਤੇ ਅੱਖਾਂ ਕਿਵੇਂ ਸਕੈਨ ਕਰਦੀਆਂ ਹਨ, ਜਾਂ ਮੋੜ ਤੋਂ ਪਹਿਲਾਂ ਸਰੀਰ ਕਿਵੇਂ ਹਿੱਲਦਾ ਹੈ, ਇਹ ਨਹੀਂ ਦੇਖਣਗੇ। ਉਹ ਤਕਨੀਕੀ ਤੌਰ 'ਤੇ ਜਾਣਦੇ ਹੋਣਗੇ ਕਿ ਸਾਈਕਲ ਚਲਾਉਣਾ ਕਿਹੋ ਜਿਹਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ । ਉਹ ਨਹੀਂ ਜਾਣਦੇ ਹੋਣਗੇ ਕਿ ਇਹ ਕਿਵੇਂ ਕਰਨਾ ਹੈ ।
ਲੈਬ ਡੇਟਾ ਵਿੱਚ ਪੈਮਾਨੇ 'ਤੇ ਇੱਕੋ ਜਿਹੀ ਸਮੱਸਿਆ ਹੈ। ਸਾਫ਼ ਰੋਸ਼ਨੀ, ਸਾਫ਼ ਮੇਜ਼ 'ਤੇ ਇੱਕ ਵਸਤੂ, ਪ੍ਰਤੀ ਕਲਿੱਪ ਇੱਕ ਕੰਮ - ਇਹ ਸਾਫ਼ ਹੈ, ਪਰ ਇਹ ਉਹ ਦੁਨੀਆਂ ਨਹੀਂ ਹੈ ਜਿਸ ਵਿੱਚ ਰੋਬੋਟ ਭੇਜਦਾ ਹੈ। ਲੈਬ ਫੁਟੇਜ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਅਕਸਰ ਪਹਿਲੇ ਦਿਨ ਕੰਮ ਕਰਦੇ ਹਨ ਅਤੇ ਤੀਹਵੇਂ ਦਿਨ ਟੁੱਟ ਜਾਂਦੇ ਹਨ, ਜਦੋਂ ਰੋਸ਼ਨੀ ਝਪਕਦੀ ਹੈ, ਦੋ ਲੋਕ ਰਸਤੇ ਪਾਰ ਕਰਦੇ ਹਨ, ਜਾਂ ਤਿੰਨ SKU ਇੱਕੋ ਸ਼ੈਲਫ 'ਤੇ ਬੈਠਦੇ ਹਨ।
ਅਸਲ-ਸੰਸਾਰ ਦੇ ਸਵੈ-ਕੇਂਦਰਿਤ ਕੈਪਚਰ ਸ਼ੋਰ ਨੂੰ ਵਾਪਸ ਲਿਆਉਂਦੇ ਹਨ। ਇਹ ਸ਼ੋਰ ਉਹ ਹੈ ਜੋ ਮਾਡਲਾਂ ਨੂੰ ਤੈਨਾਤੀ ਤੋਂ ਬਾਅਦ ਰੋਕਦਾ ਹੈ।
[ਇਹ ਵੀ ਪੜ੍ਹੋ: VLA ਮਾਡਲ ਕਿਵੇਂ ਸਵੈ-ਕੇਂਦਰਿਤ ਵੀਡੀਓ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ ]
ਇੱਕ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈੱਟ ਸਟੈਕ ਦੀਆਂ ਚਾਰ ਪਰਤਾਂ
ਵੱਖ-ਵੱਖ ਸਮੱਸਿਆਵਾਂ ਲਈ ਵੱਖ-ਵੱਖ ਡੇਟਾ ਲੇਅਰਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇੱਕ ਕੰਮ ਲਈ ਬਣਾਇਆ ਗਿਆ ਡੇਟਾਸੈਟ ਸ਼ਾਇਦ ਹੀ ਦੂਜੇ ਕੰਮ ਨੂੰ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕਵਰ ਕਰਦਾ ਹੈ। ਇੱਥੇ ਇੱਕ ਸਰਲ ਤਰੀਕਾ ਹੈ ਉਹਨਾਂ ਪਰਤਾਂ ਬਾਰੇ ਸੋਚਣ ਦਾ ਜੋ ਜ਼ਿਆਦਾਤਰ ਭੌਤਿਕ AI ਟੀਮਾਂ ਇੱਕ ਸੰਪੂਰਨ ਏਮਬੌਡ AI ਡੇਟਾਸੈਟ ਬਣਾਉਣ ਲਈ ਇਕੱਠੇ ਸਟੈਕ ਕਰਦੀਆਂ ਹਨ:
| ਲੇਅਰ | ਇਹ ਕੀ ਕੈਪਚਰ ਕਰਦਾ ਹੈ | ਇਹ ਕੀ ਸਿਖਲਾਈ ਦਿੰਦਾ ਹੈ |
|---|---|---|
| ਮਨੁੱਖੀ ਸਮਝ | ਰੋਜ਼ਾਨਾ ਵਾਤਾਵਰਣ ਵਿੱਚ ਅਸਲ ਮਨੁੱਖੀ ਗਤੀਵਿਧੀ | ਨੀਂਹ ਦੀ ਧਾਰਨਾ — ਲੋਕ ਕਿਵੇਂ ਹਿੱਲਦੇ ਹਨ, ਵਸਤੂਆਂ ਨੂੰ ਕਿਵੇਂ ਫੜਦੇ ਹਨ, ਕੰਮ ਕਿਵੇਂ ਬਦਲਦੇ ਹਨ |
| ਕਾਰਜ ਲਾਗੂ ਕਰਨਾ | ਹੇਰਾਫੇਰੀ ਡੇਟਾ: ਟ੍ਰੈਜੈਕਟਰੀਜ਼, ਗ੍ਰਿਪਸ, ਸੰਯੁਕਤ ਅਵਸਥਾਵਾਂ | ਰੋਬੋਟ ਗਤੀ ਨਿਯੰਤਰਣ ਅਤੇ ਹੁਨਰ ਦੁਹਰਾਓ |
| ਹਦਾਇਤਾਂ ਦੀ ਪਾਲਣਾ | ਦ੍ਰਿਸ਼ਟੀ + ਬੋਲੀਆਂ ਜਾਂ ਲਿਖਤੀ ਹਦਾਇਤਾਂ + ਕਾਰਵਾਈਆਂ | ਦ੍ਰਿਸ਼ਟੀ-ਭਾਸ਼ਾ-ਕਿਰਿਆ ਮਾਡਲ ਜੋ ਇੱਕ ਹਦਾਇਤ ਨੂੰ ਅਸਲ ਕਿਰਿਆ ਵਿੱਚ ਬਦਲਦੇ ਹਨ |
| ਵਰਕਫਲੋ ਪੂਰਾ ਹੋਣਾ | ਅਪਵਾਦ ਹੈਂਡਲਿੰਗ ਦੇ ਨਾਲ ਲੰਮਾ, ਬਹੁ-ਪੜਾਵੀ ਕਾਰਜ ਡੇਟਾ | ਲੰਬੇ ਸਮੇਂ ਤੋਂ ਚੱਲ ਰਹੀ ਤਰਕਸ਼ੀਲਤਾ ਅਤੇ ਕੁਝ ਗਲਤ ਹੋਣ 'ਤੇ ਰਿਕਵਰੀ |
ਜ਼ਿਆਦਾਤਰ ਉਤਪਾਦਨ ਟੀਮਾਂ ਇੱਕ ਤੋਂ ਵੱਧ ਪਰਤਾਂ ਤੋਂ ਕੰਮ ਲੈਂਦੀਆਂ ਹਨ। ਉਦਾਹਰਣ ਵਜੋਂ, ਇੱਕ ਹਿਊਮਨਾਈਡ ਜਿਸਨੂੰ ਡਿਸ਼ਵਾਸ਼ਰ ਲੋਡ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਘੱਟੋ-ਘੱਟ ਤਿੰਨ ਤੋਂ ਕੰਮ ਲੈਂਦੀਆਂ ਹਨ: ਮਨੁੱਖੀ ਪ੍ਰਦਰਸ਼ਨ, ਵਧੀਆ ਹੇਰਾਫੇਰੀ, ਅਤੇ ਕਦਮ-ਦਰ-ਕਦਮ ਕਾਰਜ ਢਾਂਚਾ।
ਜਿੱਥੇ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾ ਅਸਲ ਮੰਗ ਨੂੰ ਚਲਾਉਂਦਾ ਹੈ

ਇਸ ਤਰ੍ਹਾਂ ਦਾ ਪਾੜਾ ਸਾਰੇ ਉਦਯੋਗਾਂ ਵਿੱਚ ਦਿਖਾਈ ਦੇ ਰਿਹਾ ਹੈ, ਅਤੇ ਇਸੇ ਕਰਕੇ ਕੁਝ ਖਾਸ ਥਾਵਾਂ 'ਤੇ ਪਹਿਲੇ ਵਿਅਕਤੀ ਸਿਖਲਾਈ ਡੇਟਾ ਦੀ ਮੰਗ ਵੱਧ ਰਹੀ ਹੈ:
- ਹਿਊਮਨਾਈਡ ਅਤੇ ਘਰੇਲੂ ਰੋਬੋਟ। ਖਾਣਾ ਪਕਾਉਣਾ, ਸਫਾਈ ਕਰਨਾ, ਕਰਿਆਨੇ ਦਾ ਸਮਾਨ ਰੱਖਣਾ। ਉਹ ਕੰਮ ਜੋ ਰੋਬੋਟ ਨੂੰ ਦੇਖਣ ਤੱਕ ਆਸਾਨ ਲੱਗਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਅਜ਼ਮਾ ਕੇ ਦੇਖੋ।
- ਖੁਦਮੁਖਤਿਆਰ ਗਤੀਸ਼ੀਲਤਾ। ਡਰਾਈਵਿੰਗ, ਕੈਬਿਨ ਵਿੱਚ ਵਿਵਹਾਰ, ਆਖਰੀ-ਮੀਲ ਡਿਲੀਵਰੀ। ਪਹਿਲੇ ਵਿਅਕਤੀ ਦੀ ਕੈਪਚਰ ਸਿਮੂਲੇਸ਼ਨ ਅਤੇ ਅਸਲ ਗਲੀਆਂ ਵਿਚਕਾਰ ਪਾੜੇ ਨੂੰ ਬੰਦ ਕਰਦੀ ਹੈ।
- ਉਦਯੋਗਿਕ ਅਹੰਕਾਰੀ ਡੇਟਾਸੈੱਟ। ਫੈਕਟਰੀ ਦੇ ਫ਼ਰਸ਼, ਅਸੈਂਬਲੀ ਲਾਈਨਾਂ, ਤੇਲ ਅਤੇ ਗੈਸ ਸਾਈਟਾਂ - ਸੁਰੱਖਿਆ ਖੋਜ, ਐਰਗੋਨੋਮਿਕ ਟਰੈਕਿੰਗ, ਅਤੇ ਵਰਕਰ-ਸਹਾਇਤਾ ਰੋਬੋਟਿਕਸ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ।
- ਸਰਜੀਕਲ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦਾ ਵੀਡੀਓ ਡੇਟਾ। ਸਰਜਨਾਂ ਦੁਆਰਾ ਪਹਿਨੇ ਜਾਣ ਵਾਲੇ ਹੈੱਡ-ਮਾਊਂਟੇਡ ਕੈਮਰਿਆਂ ਤੋਂ ਪ੍ਰਕਿਰਿਆ ਕੈਪਚਰ, ਜੋ ਸਹਾਇਤਾ ਮਾਡਲਾਂ ਅਤੇ ਮੈਡੀਕਲ ਏਆਰ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ।
- ਪ੍ਰਚੂਨ ਖਪਤਕਾਰ ਵਿਵਹਾਰ, ਹੰਕਾਰੀ ਡੇਟਾ। ਅਸਲ ਸਟੋਰਾਂ ਵਿੱਚ ਖਰੀਦਦਾਰਾਂ ਦੇ ਪਹਿਨਣਯੋਗ ਫੁਟੇਜ, ਜੋ ਕਿ ਸ਼ੈਲਫ 'ਤੇ ਧਿਆਨ, ਨੈਵੀਗੇਸ਼ਨ ਅਤੇ ਫੈਸਲੇ ਲੈਣ ਦੀ ਯੋਗਤਾ ਦਾ ਅਧਿਐਨ ਕਰਨ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ।
ਵੱਖ-ਵੱਖ ਉਦਯੋਗ, ਇੱਕੋ ਜਿਹੀ ਬੁਨਿਆਦੀ ਲੋੜ: ਡੇਟਾ ਜੋ ਕੰਮ ਵਰਗਾ ਲੱਗਦਾ ਹੈ, ਪ੍ਰਯੋਗਸ਼ਾਲਾ ਵਰਗਾ ਨਹੀਂ।
ਇੱਕ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈੱਟ ਮਾਡਲ ਨੂੰ ਕੀ ਤਿਆਰ ਕਰਦਾ ਹੈ?
ਭਾਵੇਂ ਤੁਸੀਂ ਘਰ ਵਿੱਚ ਹੀ ਬਣਾ ਰਹੇ ਹੋ ਜਾਂ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾ ਪ੍ਰਦਾਤਾਵਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰ ਰਹੇ ਹੋ, ਪੰਜ ਚੀਜ਼ਾਂ ਖੋਜ-ਗ੍ਰੇਡ ਡੇਟਾ ਨੂੰ ਉਤਪਾਦਨ ਵਿੱਚ ਰਹਿਣ ਵਾਲੇ ਡੇਟਾ ਤੋਂ ਵੱਖ ਕਰਦੀਆਂ ਹਨ:

- ਅਹੰਕਾਰੀ ਡੇਟਾ ਐਨੋਟੇਸ਼ਨ ਡੂੰਘਾਈ। ਸਿਰਫ਼ ਬਾਊਂਡਿੰਗ ਬਾਕਸ ਹੀ ਨਹੀਂ। ਹੱਥ ਦੇ ਪੋਜ਼, ਵਸਤੂ ਸਥਿਤੀਆਂ, ਕਾਰਵਾਈ ਦੇ ਕਦਮ, ਅਤੇ ਇਰਾਦਾ - ਸਭ ਸਹੀ ਫਰੇਮ ਨਾਲ ਇਕਸਾਰ ਹਨ।
- ਸੈਂਸਰ ਕੈਲੀਬ੍ਰੇਸ਼ਨ। ਵੀਡੀਓ, ਡੂੰਘਾਈ, ਆਡੀਓ ਅਤੇ ਗਤੀ ਵਿੱਚ ਸਮਾਂ-ਸਿੰਕ ਕਰੋ ਤਾਂ ਜੋ ਮਾਡਲ ਇੱਕ ਸੁਮੇਲ ਪਲ ਦੇਖ ਸਕੇ, ਨਾ ਕਿ ਪੰਜ ਵਹਿ ਰਹੀਆਂ ਧਾਰਾਵਾਂ।
- ਐਜ-ਕੇਸ ਕਵਰੇਜ। ਘੱਟ ਰੋਸ਼ਨੀ, ਰੁਕਾਵਟ, ਭੀੜ-ਭੜੱਕੇ ਵਾਲੇ ਦ੍ਰਿਸ਼, ਦੁਰਲੱਭ ਘਟਨਾਵਾਂ। ਉਹ ਮਾਮਲੇ ਜਿੱਥੇ ਲੈਬ ਡੇਟਾ ਚੁੱਪਚਾਪ ਖਾਲੀ ਛੱਡ ਦਿੰਦਾ ਹੈ। ਉਦਯੋਗ ਖਰੀਦਦਾਰ ਸਰਵੇਖਣ ਡੇਟਾ ਭਾਈਵਾਲਾਂ ਦਾ ਮੁਲਾਂਕਣ ਕਰਦੇ ਸਮੇਂ ਐਨੋਟੇਸ਼ਨ ਗੁਣਵੱਤਾ ਅਤੇ ਐਜ-ਕੇਸ ਕਵਰੇਜ ਨੂੰ ਲਗਾਤਾਰ ਦੋ ਪ੍ਰਮੁੱਖ ਮਾਪਦੰਡਾਂ ਵਜੋਂ ਦਰਜਾ ਦਿੰਦੇ ਹਨ।
- ਸਹਿਮਤੀ ਅਤੇ ਪਾਲਣਾ। ਪਹਿਲੇ ਵਿਅਕਤੀ ਦਾ ਵੀਡੀਓ ਪਰਿਭਾਸ਼ਾ ਅਨੁਸਾਰ ਸੰਵੇਦਨਸ਼ੀਲ ਹੁੰਦਾ ਹੈ। ਡੇਟਾਸੈਟਾਂ ਨੂੰ ਦਸਤਾਵੇਜ਼ੀ ਭਾਗੀਦਾਰ ਸਹਿਮਤੀ, ਲੋੜ ਪੈਣ 'ਤੇ ਚਿਹਰੇ ਦੀ ਪਛਾਣ ਦੀ ਅਣਦੇਖੀ, ਅਤੇ GDPR ਅਤੇ HIPAA ਵਰਗੇ ਫਰੇਮਵਰਕ ਨਾਲ ਇਕਸਾਰਤਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ISO 27001 ਅਤੇ SOC 2 ਕਿਸਮ II ਵਰਗੇ ਵਿਕਰੇਤਾ ਨਿਯੰਤਰਣ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਕਾਨੂੰਨੀ ਟੀਮਾਂ ਦੀ ਉਮੀਦ ਅਨੁਸਾਰ ਪ੍ਰਕਿਰਿਆਤਮਕ ਪਰਤ ਨੂੰ ਜੋੜਦੇ ਹਨ।
- ਸਿਮ-ਟੂ-ਰੀਅਲ ਤਿਆਰੀ। ਅਸਲ-ਸੰਸਾਰ ਦੀ ਫੁਟੇਜ ਜੋ ਸਿੰਥੈਟਿਕ ਡੇਟਾ ਨਾਲ ਸਾਫ਼-ਸੁਥਰੀ ਢੰਗ ਨਾਲ ਜੋੜਦੀ ਹੈ, ਤਾਂ ਜੋ ਟੀਮਾਂ ਮਾਡਲਾਂ ਨੂੰ ਭਰੋਸੇਯੋਗ ਬਣਾਉਣ ਵਾਲੀ ਜ਼ਮੀਨ ਨੂੰ ਗੁਆਏ ਬਿਨਾਂ ਸਿਖਲਾਈ ਨੂੰ ਸਕੇਲ ਕਰ ਸਕਣ।
ਕੁਆਲਿਟੀ ਡੇਟਾ ਇਕੱਠਾ ਕਰਨਾ ਉਹ ਹਿੱਸਾ ਹੈ ਜਿਸਨੂੰ ਬਾਅਦ ਵਿੱਚ ਠੀਕ ਕਰਨਾ ਸਭ ਤੋਂ ਔਖਾ ਹੁੰਦਾ ਹੈ। ਇਸਨੂੰ ਸਰੋਤ 'ਤੇ ਹੀ ਠੀਕ ਕਰੋ, ਅਤੇ ਬਾਕੀ ਪਾਈਪਲਾਈਨ ਸਰਲ ਹੋ ਜਾਂਦੀ ਹੈ।
ਕੁੰਜੀ ਰੱਖਣ ਵਾਲੇ
- ਇੱਕ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈੱਟ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦਾ ਵੀਡੀਓ ਅਤੇ ਸੈਂਸਰ ਡੇਟਾ ਹੁੰਦਾ ਹੈ — ਅਦਾਕਾਰ ਦੇ ਆਪਣੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਲਿਆ ਗਿਆ — ਰੋਬੋਟਿਕਸ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਏਆਈ ਮਾਡਲਾਂ ਨੂੰ ਉਸ ਤਰੀਕੇ ਨਾਲ ਮੂਰਤੀਮਾਨ ਕੀਤਾ ਜਾਂਦਾ ਹੈ ਜਿਸ ਤਰ੍ਹਾਂ ਉਹ ਅਸਲ ਵਿੱਚ ਤੈਨਾਤੀ ਵਿੱਚ ਦੁਨੀਆ ਨੂੰ ਦੇਖਣਗੇ।
- ਪਹਿਲੇ ਵਿਅਕਤੀ ਦਾ ਡੇਟਾ ਧਾਰਨਾ-ਕਿਰਿਆ ਦੇ ਪਾੜੇ ਨੂੰ ਬੰਦ ਕਰਦਾ ਹੈ ਜਿਸ ਕਾਰਨ ਪ੍ਰਯੋਗਸ਼ਾਲਾ-ਸਿਖਿਅਤ ਰੋਬੋਟ ਅਸਲ ਸ਼ਿਫਟਾਂ ਵਿੱਚ ਅਸਫਲ ਹੋ ਜਾਂਦੇ ਹਨ।
- ਕੁਆਲਿਟੀ ਐਗੋਸੈਂਟ੍ਰਿਕ ਡੇਟਾ ਮਲਟੀਮੋਡਲ ਹੈ — ਵੀਡੀਓ, ਡੂੰਘਾਈ, ਆਡੀਓ, ਗਤੀ, ਅਤੇ ਟਰੈਕਿੰਗ — ਮਿਲੀਸਕਿੰਟ ਵਿੱਚ ਸਮਕਾਲੀ।
- ਉਤਪਾਦਨ-ਤਿਆਰ ਦਾ ਮਤਲਬ ਵਿਆਖਿਆ ਤੋਂ ਵੱਧ ਹੈ — ਇਸਦਾ ਅਰਥ ਹੈ ਐਜ-ਕੇਸ ਕਵਰੇਜ, ਅਸਲ-ਸੰਸਾਰ ਵਾਤਾਵਰਣ, ਸਿਮ-ਟੂ-ਰੀਅਲ ਤਿਆਰੀ, ਅਤੇ ਇੱਕ ਦਸਤਾਵੇਜ਼ੀ ਪਾਲਣਾ ਟ੍ਰੇਲ।
ਸ਼ੈਪ ਕਿਵੇਂ ਮਦਦ ਕਰ ਸਕਦਾ ਹੈ
ਜੇਕਰ ਤੁਹਾਡੀ ਟੀਮ "ਕੀ ਸਾਨੂੰ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾ ਦੀ ਲੋੜ ਹੈ" ਦੇ ਪੜਾਅ ਤੋਂ ਪਾਰ ਹੋ ਗਈ ਹੈ ਅਤੇ "ਅਸੀਂ ਅਸਲ ਵਿੱਚ ਇਸਨੂੰ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰੀਏ" ਵਿੱਚ ਹੈ, ਤਾਂ ਇਹੀ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਸ਼ੇਪ ਫਿੱਟ ਬੈਠਦਾ ਹੈ।
ਅਸੀਂ ਭੌਤਿਕ AI ਪ੍ਰੋਗਰਾਮਾਂ ਦੇ ਪਿੱਛੇ ਪੂਰੀ ਡਾਟਾ ਪਾਈਪਲਾਈਨ ਚਲਾਉਂਦੇ ਹਾਂ — ਅਸਲ ਵਾਤਾਵਰਣ ਵਿੱਚ ਪਹਿਲੇ ਵਿਅਕਤੀ ਨੂੰ ਕੈਪਚਰ ਕਰਨਾ, VLA-ਗ੍ਰੇਡ ਐਨੋਟੇਸ਼ਨ, ਸਿੰਥੈਟਿਕ ਡੇਟਾ, RLHF, ਅਤੇ ਇੱਕ ਸ਼ਮੂਲੀਅਤ ਦੇ ਤਹਿਤ ਮੁਲਾਂਕਣ ਬੈਂਚਮਾਰਕ। ਕੁਝ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ:
- ਅਸਲ-ਸੰਸਾਰ ਕੈਪਚਰ, ਲੈਬ ਫੁਟੇਜ ਨਹੀਂ। ਰਸੋਈਆਂ, ਗੋਦਾਮਾਂ, ਫੈਕਟਰੀਆਂ, ਸਿਹਤ ਸੰਭਾਲ ਸਹੂਲਤਾਂ ਅਤੇ ਸਟੋਰਾਂ ਵਿੱਚ ਹੈੱਡ-ਮਾਊਂਟੇਡ ਕੈਮਰੇ, ਸਮਾਰਟ ਗਲਾਸ ਅਤੇ ਪਹਿਨਣਯੋਗ ਸਮਾਨ।
- ਮਲਟੀ-ਸੈਂਸਰ ਸਿੰਕ੍ਰੋਨਾਈਜ਼ੇਸ਼ਨ। ਵੀਡੀਓ, IMU, LiDAR, ਆਡੀਓ, ਅਤੇ ਡੂੰਘਾਈ — ਮਿਲੀਸਕਿੰਟ ਵਿੱਚ ਕੈਲੀਬਰੇਟ ਕੀਤੇ ਗਏ ਅਤੇ ਸਮਾਂ-ਅਲਾਈਨ ਕੀਤੇ ਗਏ।
- VLA ਸਿਖਲਾਈ ਲਈ ਬਣਾਇਆ ਗਿਆ ਐਨੋਟੇਸ਼ਨ। ਵਸਤੂਆਂ, ਕਿਰਿਆਵਾਂ, ਹੱਥ-ਵਸਤੂ ਪਰਸਪਰ ਪ੍ਰਭਾਵ, ਇਰਾਦਾ, ਅਤੇ ਸਥਾਨਿਕ ਸੰਦਰਭ।
- ਸਿਮ-ਟੂ-ਰੀਅਲ ਸਪੋਰਟ। ਸਿੰਥੈਟਿਕ ਜਨਰੇਸ਼ਨ ਅਤੇ Real2Sim ਪਾਈਪਲਾਈਨਾਂ ਜੋ ਅਸਲ-ਸੰਸਾਰ ਗਰਾਉਂਡਿੰਗ ਨੂੰ ਗੁਆਏ ਬਿਨਾਂ ਕਵਰੇਜ ਵਧਾਉਂਦੀਆਂ ਹਨ।
- ਪਹਿਲੇ ਦਿਨ ਤੋਂ ਹੀ ਪਾਲਣਾ। ISO 27001, SOC 2 ਕਿਸਮ II, HIPAA-ਤਿਆਰ, ਅਤੇ GDPR — ਸਹਿਮਤੀ-ਪਹਿਲਾਂ ਸੰਗ੍ਰਹਿ ਅਤੇ ਆਡਿਟ-ਤਿਆਰ ਡੇਟਾ ਉਤਪਤੀ ਦੇ ਨਾਲ।
ਜੇਕਰ ਇਹ ਤੁਹਾਡੇ ਭੌਤਿਕ AI ਪ੍ਰੋਗਰਾਮ ਦੇ ਸਥਾਨ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਤਾਂ ਸਾਨੂੰ ਇੱਕ ਪਾਇਲਟ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਵਿੱਚ ਖੁਸ਼ੀ ਹੋਵੇਗੀ।
ਸਿੱਟਾ
ਇੱਕ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾਸੈੱਟ ਸਿਰਫ਼ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦਾ ਵੀਡੀਓ ਨਹੀਂ ਹੁੰਦਾ। ਇਹ ਮਸ਼ੀਨਾਂ ਨੂੰ ਲੋਕਾਂ ਵਾਂਗ ਦੇਖਣ ਅਤੇ ਕੰਮ ਕਰਨ ਲਈ ਸਿਖਾਉਣ ਦਾ ਇੱਕ ਢਾਂਚਾਗਤ ਤਰੀਕਾ ਹੈ। ਰੋਬੋਟਿਕਸ ਅਤੇ ਐਂਬੋਮਾਈਡ ਏਆਈ ਟੀਮਾਂ ਲਈ, ਇਹ ਇੱਕ ਮਾਡਲ ਵਿੱਚ ਅੰਤਰ ਹੈ ਜੋ ਚੰਗੀ ਤਰ੍ਹਾਂ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ ਅਤੇ ਇੱਕ ਜੋ ਭੇਜਦਾ ਹੈ। ਭਾਵੇਂ ਟੀਚਾ ਹਿਊਮਨਾਇਡਜ਼, ਖੁਦਮੁਖਤਿਆਰੀ, ਜਾਂ ਸਮਾਰਟ ਫੈਕਟਰੀਆਂ ਹੋਵੇ, ਰੋਬੋਟਿਕਸ ਅਤੇ ਏਆਈ ਵਿਕਾਸ ਲਈ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾ ਹਰ ਗੰਭੀਰ ਐਂਬੋਮਾਈਡ ਏਆਈ ਡੇਟਾਸੈੱਟ ਰਣਨੀਤੀ ਦੀ ਇੱਕ ਮੁੱਖ ਪਰਤ ਬਣ ਰਿਹਾ ਹੈ - ਇੱਕ ਵਿਕਲਪਿਕ ਨਹੀਂ। ਇਸਨੂੰ ਸਹੀ ਕਰਨ ਵਾਲੀਆਂ ਟੀਮਾਂ ਉਹ ਹਨ ਜੋ ਡੇਟਾ - ਸੰਗ੍ਰਹਿ, ਐਨੋਟੇਸ਼ਨ, ਪ੍ਰਮਾਣਿਕਤਾ ਅਤੇ ਪਾਲਣਾ - ਨੂੰ ਸਿਸਟਮ ਦੇ ਇੱਕ ਮੁੱਖ ਹਿੱਸੇ ਵਜੋਂ ਮੰਨਦੀਆਂ ਹਨ, ਇਸ ਤੋਂ ਇੱਕ ਕਦਮ ਪਹਿਲਾਂ ਨਹੀਂ।
ਸਰਲ ਸ਼ਬਦਾਂ ਵਿੱਚ ਇੱਕ ਈਗੋਸੈਂਟ੍ਰਿਕ ਡੇਟਾਸੈੱਟ ਕੀ ਹੈ?
ਇਹ ਵੀਡੀਓ ਅਤੇ ਸੈਂਸਰ ਰਿਕਾਰਡਿੰਗਾਂ ਦਾ ਇੱਕ ਢਾਂਚਾਗਤ ਸੈੱਟ ਹੈ ਜੋ ਪਹਿਲੇ ਵਿਅਕਤੀ ਦੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਕੈਪਚਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ - ਆਮ ਤੌਰ 'ਤੇ ਸਿਰ, ਛਾਤੀ ਜਾਂ ਗੁੱਟ 'ਤੇ ਲਗਾਏ ਗਏ ਕੈਮਰੇ ਤੋਂ - ਜੋ ਕਿ AI ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਕਿ ਲੋਕ ਕੰਮ ਕਿਵੇਂ ਦੇਖਦੇ ਅਤੇ ਕਰਦੇ ਹਨ।
ਰੋਬੋਟਿਕਸ ਟੀਮਾਂ ਨੂੰ ਨਿਯਮਤ ਤੀਜੇ-ਵਿਅਕਤੀ ਵੀਡੀਓ ਦੀ ਬਜਾਏ ਸਵੈ-ਕੇਂਦਰਿਤ ਡੇਟਾ ਦੀ ਲੋੜ ਕਿਉਂ ਹੈ?
ਤੀਜੇ-ਵਿਅਕਤੀ ਦੀ ਵੀਡੀਓ ਇੱਕ ਦਰਸ਼ਕ ਦੇ ਦ੍ਰਿਸ਼ ਤੋਂ ਦ੍ਰਿਸ਼ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ। ਰੋਬੋਟ ਆਪਣੇ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤੋਂ ਕੰਮ ਕਰਦੇ ਹਨ। ਪਹਿਲੇ-ਵਿਅਕਤੀ ਦੇ ਡੇਟਾ 'ਤੇ ਸਿਖਲਾਈ ਮਾਡਲ ਦੁਆਰਾ ਸਿੱਖੀਆਂ ਗਈਆਂ ਗੱਲਾਂ ਅਤੇ ਰੋਬੋਟ ਦੁਆਰਾ ਕੰਮ 'ਤੇ ਅਸਲ ਵਿੱਚ ਕੀ ਦੇਖਿਆ ਜਾਂਦਾ ਹੈ, ਵਿਚਕਾਰ ਪਾੜੇ ਨੂੰ ਬੰਦ ਕਰ ਦਿੰਦੀ ਹੈ, ਹੇਰਾਫੇਰੀ ਦੇ ਕੰਮਾਂ 'ਤੇ 15-30% ਦੇ ਦਸਤਾਵੇਜ਼ੀ ਸ਼ੁੱਧਤਾ ਲਾਭ ਦੇ ਨਾਲ।
ਹਉਮੈ ਕੇਂਦਰਿਤ ਡੇਟਾ ਨੂੰ ਹਾਸਲ ਕਰਨ ਲਈ ਆਮ ਤੌਰ 'ਤੇ ਕਿਹੜੇ ਸੈਂਸਰ ਵਰਤੇ ਜਾਂਦੇ ਹਨ?
RGB ਕੈਮਰੇ, ਡੂੰਘਾਈ ਸੈਂਸਰ, ਮੋਸ਼ਨ (IMU) ਸੈਂਸਰ, ਅਤੇ ਆਡੀਓ। ਬਹੁਤ ਸਾਰੇ ਸੈੱਟਅੱਪ ਹੱਥ ਜਾਂ ਅੱਖਾਂ ਦੀ ਟਰੈਕਿੰਗ ਨੂੰ ਵੀ ਜੋੜਦੇ ਹਨ। ਆਟੋਨੋਮਸ ਰੋਬੋਟਿਕਸ ਲਈ, LiDAR ਨੂੰ ਕਈ ਵਾਰ ਸਥਾਨਿਕ ਮੈਪਿੰਗ ਲਈ ਲੇਅਰ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।
ਵਿਜ਼ਨ-ਲੈਂਗਵੇਜ-ਐਕਸ਼ਨ (VLA) ਸਿਖਲਾਈ ਵਿੱਚ ਅਹੰਕਾਰੀ ਡੇਟਾ ਕਿਵੇਂ ਫਿੱਟ ਹੁੰਦਾ ਹੈ?
VLA ਮਾਡਲ ਇੱਕ ਵਿਜ਼ੂਅਲ ਇਨਪੁਟ ਅਤੇ ਇੱਕ ਭਾਸ਼ਾ ਨਿਰਦੇਸ਼ ਲੈਂਦੇ ਹਨ, ਫਿਰ ਇੱਕ ਕਿਰਿਆ ਆਉਟਪੁੱਟ ਕਰਦੇ ਹਨ। ਅਹੰਕਾਰੀ ਡੇਟਾ ਉਹਨਾਂ ਨੂੰ ਮੇਲ ਖਾਂਦਾ ਦ੍ਰਿਸ਼, ਨਿਰਦੇਸ਼, ਅਤੇ ਨਤੀਜਾ ਟ੍ਰਿਪਲੇਟ ਦਿੰਦਾ ਹੈ ਜਿਸਦੀ ਉਹਨਾਂ ਨੂੰ ਉਸ ਮੈਪਿੰਗ ਨੂੰ ਭਰੋਸੇਯੋਗ ਢੰਗ ਨਾਲ ਸਿੱਖਣ ਲਈ ਲੋੜ ਹੁੰਦੀ ਹੈ।
ਇੱਕ ਖੋਜ-ਗ੍ਰੇਡ ਈਗੋਸੈਂਟ੍ਰਿਕ ਡੇਟਾਸੈੱਟ ਨੂੰ ਇੱਕ ਡਿਪਲਾਇਮੈਂਟ-ਗ੍ਰੇਡ ਡੇਟਾਸੈੱਟ ਤੋਂ ਕੀ ਵੱਖਰਾ ਕਰਦਾ ਹੈ?
ਤਿੰਨ ਚੀਜ਼ਾਂ: ਸਖ਼ਤ ਐਨੋਟੇਸ਼ਨ ਗੁਣਵੱਤਾ, ਪ੍ਰਯੋਗਸ਼ਾਲਾਵਾਂ ਦੀ ਬਜਾਏ ਅਸਲ-ਸੰਸਾਰ ਸੈਟਿੰਗਾਂ ਵਿੱਚ ਵਿਆਪਕ ਵਾਤਾਵਰਣ ਕਵਰੇਜ, ਅਤੇ ਸਹਿਮਤੀ, ਗੋਪਨੀਯਤਾ, ਅਤੇ ਆਡਿਟ-ਤਿਆਰ ਡੇਟਾ ਉਤਪਤੀ ਨੂੰ ਕਵਰ ਕਰਨ ਵਾਲਾ ਇੱਕ ਦਸਤਾਵੇਜ਼ੀ ਪਾਲਣਾ ਟ੍ਰੇਲ।