ਟੈਕਸਟ ਡਾਟਾ ਸੰਗ੍ਰਹਿ

ਪਰਿਭਾਸ਼ਾ

ਟੈਕਸਟ ਡੇਟਾ ਸੰਗ੍ਰਹਿ, ਏਆਈ ਸਿਖਲਾਈ ਵਿੱਚ ਵਰਤੋਂ ਲਈ ਕਿਤਾਬਾਂ, ਵੈੱਬਸਾਈਟਾਂ ਜਾਂ ਚੈਟ ਲੌਗ ਵਰਗੇ ਸਰੋਤਾਂ ਤੋਂ ਲਿਖਤੀ ਭਾਸ਼ਾ ਇਕੱਠੀ ਕਰਨ ਦੀ ਪ੍ਰਕਿਰਿਆ ਹੈ।

ਉਦੇਸ਼

ਇਸਦਾ ਉਦੇਸ਼ NLP ਅਤੇ LLM ਵਿਕਾਸ ਲਈ ਕਾਰਪੋਰਾ ਬਣਾਉਣਾ ਹੈ।

ਮਹੱਤਤਾ

• ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਲਈ ਕੱਚਾ ਮਾਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।
• ਕਾਪੀਰਾਈਟ ਅਤੇ ਲਾਇਸੈਂਸਿੰਗ ਮੁੱਦੇ ਉਠਾਉਂਦਾ ਹੈ।
• ਡੇਟਾ ਵਿਭਿੰਨਤਾ ਨਿਰਪੱਖਤਾ ਅਤੇ ਸ਼ੁੱਧਤਾ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀ ਹੈ।
• ਨੁਕਸਾਨਦੇਹ ਜਾਂ ਅਪ੍ਰਸੰਗਿਕ ਸਮੱਗਰੀ ਨੂੰ ਫਿਲਟਰ ਕਰਨਾ ਲਾਜ਼ਮੀ ਹੈ।

ਕਿਦਾ ਚਲਦਾ

1. ਟੈਕਸਟ ਸਰੋਤਾਂ (ਵੈੱਬ, ਦਸਤਾਵੇਜ਼, ਟ੍ਰਾਂਸਕ੍ਰਿਪਟ) ਦੀ ਪਛਾਣ ਕਰੋ।
2. ਇਜਾਜ਼ਤ ਨਾਲ ਟੈਕਸਟ ਨੂੰ ਕ੍ਰੌਲ ਜਾਂ ਸਕ੍ਰੈਪ ਕਰੋ।
3. ਸਮੱਗਰੀ ਨੂੰ ਸਾਫ਼ ਅਤੇ ਆਮ ਬਣਾਓ।
4. ਟਰੇਸੇਬਿਲਟੀ ਲਈ ਮੈਟਾਡੇਟਾ ਨਾਲ ਸਟੋਰ ਕਰੋ।
5. ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਜਾਂ ਫਾਈਨ-ਟਿਊਨਿੰਗ ਵਿੱਚ ਵਰਤੋਂ।

ਉਦਾਹਰਣਾਂ (ਅਸਲ ਦੁਨੀਆਂ)

• ਆਮ ਕ੍ਰੌਲ: ਵੱਡਾ ਵੈੱਬ ਸੰਗ੍ਰਹਿ।
• ਵਿਕੀਪੀਡੀਆ ਡੰਪ: ਸਟ੍ਰਕਚਰਡ ਟੈਕਸਟ ਡੇਟਾਸੈੱਟ।
• ਬੁੱਕਸਕਾਰਪਸ: BERT ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

ਹਵਾਲੇ / ਹੋਰ ਪੜ੍ਹਨਾ

• ਕਾਮਨ ਕ੍ਰੌਲ ਫਾਊਂਡੇਸ਼ਨ।
• ਜੁਰਾਫਸਕੀ ਅਤੇ ਮਾਰਟਿਨ। ਭਾਸ਼ਣ ਅਤੇ ਭਾਸ਼ਾ ਪ੍ਰਕਿਰਿਆ।
• ISO/IEC TR 20547-5: ਵੱਡਾ ਡੇਟਾ ਰੈਫਰੈਂਸ ਆਰਕੀਟੈਕਚਰ।
• ਕੇਸ-ਵਿਸ਼ੇਸ਼ ਟੈਕਸਟ ਡੇਟਾ ਸੰਗ੍ਰਹਿ