ਸਮੱਗਰੀ 'ਤੇ ਜਾਓ

ਬਲੌਗ

ਟ੍ਰਾਂਸਫਾਰਮਰ: ਕਿਵੇਂ ਧਿਆਨ ਦੇਣ ਵਾਲੀ ਵਿਧੀ ਨੇ ਏਆਈ ਨੂੰ ਕ੍ਰਾਂਤੀ ਦਿੱਤੀ

ਆਰਕੀਟੈਕਚਰ ਜਿਸਨੇ ਸਭ ਕੁਝ ਬਦਲ ਦਿੱਤਾ

  • Balinder Walia
  • 7 ਮਿੰਟ ਦੀ ਪੜ੍ਹਤ
  • Updated
ਇਸ ਪੰਨੇ 'ਤੇ

2017 ਵਿੱਚ, "ਧਿਆਨ ਤੁਹਾਨੂੰ ਸਭ ਦੀ ਲੋੜ ਹੈ" ਸਿਰਲੇਖ ਵਾਲੇ ਇੱਕ ਪੇਪਰ ਨੇ ਨਕਲੀ ਬੁੱਧੀ ਨੂੰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ। ਇਸ ਵਿੱਚ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ ਟ੍ਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰ ਉਦੋਂ ਤੋਂ ਲਗਭਗ ਹਰ ਵੱਡੀ AI ਸਫਲਤਾ ਦੀ ਨੀਂਹ ਬਣ ਗਿਆ ਹੈ, GPT-4 ਤੋਂ ਲੈ ਕੇ ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਮਾਡਲਾਂ ਤੱਕ, ਉਦਯੋਗਾਂ ਨੂੰ ਬਦਲਣਾ ਅਤੇ ਪਿਛਲੀਆਂ ਮੁਸ਼ਕਲ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨਾ।

🎯 ਕੀ ਟਰਾਂਸਫਾਰਮਰਾਂ ਨੂੰ ਖਾਸ ਬਣਾਉਂਦਾ ਹੈ?

ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨੇ ਇੱਕ ਕ੍ਰਾਂਤੀਕਾਰੀ ਸੰਕਲਪ ਪੇਸ਼ ਕੀਤਾ:ਧਿਆਨ ਵਿਧੀ- AI ਮਾਡਲਾਂ ਲਈ ਇਨਪੁਟ ਡੇਟਾ ਦੇ ਸੰਬੰਧਿਤ ਹਿੱਸਿਆਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨ ਦਾ ਇੱਕ ਤਰੀਕਾ, ਜਿਵੇਂ ਕਿ ਮਨੁੱਖ ਸ਼ੋਰ ਨੂੰ ਫਿਲਟਰ ਕਰਦੇ ਸਮੇਂ ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਵੱਲ ਧਿਆਨ ਦਿੰਦੇ ਹਨ।

ਮੁੱਖ ਨਵੀਨਤਾਵਾਂ:

  • ਸਵੈ-ਧਿਆਨ:ਮਾਡਲ ਇਨਪੁਟ ਦੇ ਵੱਖ-ਵੱਖ ਹਿੱਸਿਆਂ ਦੇ ਮਹੱਤਵ ਨੂੰ ਤੋਲ ਸਕਦੇ ਹਨ
  • ਸਮਾਨਤਾ:RNNs ਦੇ ਉਲਟ, ਸਮੁੱਚੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਸਮਰੂਪ ਕਰ ਸਕਦੇ ਹਨ।
  • ਲੰਬੀ-ਸੀਮਾ ਦੀ ਨਿਰਭਰਤਾ:ਲੰਬੇ ਕ੍ਰਮਾਂ ਵਿੱਚ ਸਬੰਧਾਂ ਨੂੰ ਸਮਝ ਸਕਦਾ ਹੈ
  • ਟ੍ਰਾਂਸਫਰੈਬਿਲਟੀ:ਪੂਰਵ-ਸਿਖਿਅਤ ਮਾਡਲ ਵਿਭਿੰਨ ਕਾਰਜਾਂ ਵਿੱਚ ਕੰਮ ਕਰਦੇ ਹਨ

🏗️

🏗️ ਟ੍ਰਾਂਸਫਾਰਮਰ ਵਿੱਚ XTAG27

🏗️ XTAG31 ਐਕਸਪੇਅਰਟਰਾਂਸਫਾਰਮਰ ਆਰਕੀਟੈਕਚਰਏਨਕੋਡਰਮਲਟੀ-ਹੈੱਡ XXTAG4 ਸਵੈ-ਐਟਸ਼ਨ & XXTAG44 XXTAG4 ਸਵੈ-ਐਟਸ਼ਨ;ਫੀਡ-ਫਾਰਵਰਡ ਨੈੱਟਵਰਕਨੂੰ ਆਮ ਬਣਾਓ &× N ਲੇਅਰਾਂ ਨੂੰ ਸਧਾਰਣ ਬਣਾਓਇਨਪੁਟ ਏਮਬੈਡਿੰਗਜ਼ + PEਡੀਕੋਡਰਮਾਸਕ ਕੀਤੇ ਸਵੈ-ਧਿਆਨ& X76TAG0TAG;ਕ੍ਰਾਸ-ਅਟੈਂਸ਼ਨ (Enc→Dec)ਨੂੰ ਆਮ ਬਣਾਓ &ਫੀਡ-ਫਾਰਵਰਡ ਨੈੱਟਵਰਕਨੂੰ ਆਮ ਬਣਾਓ &ਆਉਟਪੁੱਟ ਏਮਬੈਡਿੰਗਜ਼ + PEK, Vਲੀਨੀਅਰ + Softmaxਆਉਟਪੁੱਟ ਸੰਭਾਵਨਾਵਾਂਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਸਧਾਰਣ ਬਣਾਓ; ਡੀਕੋਡਰ ਟੋਕਨ ਦੁਆਰਾ ਆਉਟਪੁੱਟ ਟੋਕਨ ਤਿਆਰ ਕਰਦਾ ਹੈ

ਕੋਰ ਕੰਪੋਨੈਂਟਸ

1. ਸਵੈ-ਧਿਆਨ ਦੇਣ ਵਾਲੀ ਵਿਧੀ

ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਦਾ ਦਿਲ, ਧਿਆਨ ਦੇ ਸਕੋਰ ਦੀ ਗਣਨਾ ਕਰ ਰਿਹਾ ਹੈ:

XTAG01X ਟੋਕਨ 2. ਮਲਟੀ-ਹੈੱਡ ਅਟੈਂਸ਼ਨ

ਸਮਾਨਾਂਤਰ ਵਿੱਚ ਚੱਲ ਰਹੇ ਮਲਟੀਪਲ ਧਿਆਨ ਤੰਤਰ, ਮਾਡਲ ਨੂੰ ਇੱਕੋ ਸਮੇਂ ਵੱਖ-ਵੱਖ ਪਹਿਲੂਆਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ:

MultiHead(Q, K, V) = Concat(head_1, ..., head_h)W^O
where head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)

3. ਪੋਜੀਸ਼ਨ ਏਨਕੋਡਿੰਗਜ਼

ਦੀ ਸਥਿਤੀ ਬਾਰੇ ਜਾਣਕਾਰੀ ਜੋੜਦੀ ਹੈ, ਕਿਉਂਕਿ ਟ੍ਰਾਂਸਫਾਰਮਿੰਗ ਪ੍ਰਕਿਰਿਆਵਾਂ ਵਿੱਚ ਪੈਰਾਫਾਰਮਿੰਗ ਪ੍ਰਕਿਰਿਆਵਾਂ ਸ਼ਾਮਲ ਹੁੰਦੀਆਂ ਹਨ। ਟੋਕਨ ਸਥਿਤੀਆਂ:

PE(pos, 2i) = sin(pos / 10000^(2i/d_model))
PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model))

4। ਫੀਡ-ਫਾਰਵਰਡ ਨੈੱਟਵਰਕ

ਸੰਘਣੀ ਪਰਤਾਂ ਜੋ ਹਰੇਕ ਸਥਿਤੀ ਨੂੰ ਸੁਤੰਤਰ ਤੌਰ 'ਤੇ ਪ੍ਰੋਸੈਸ ਕਰਦੀਆਂ ਹਨ:

FFN(x) = max(0, xW_1 + b_1)W_2 + b_2

🚀 ਟ੍ਰਾਂਸਫਾਰਮਰ ਫੈਮਿਲੀ

3ਸਕੇਲਡ ਡਾਟ-ਪ੍ਰੋਡਕਟ ਅਟੈਂਸ਼ਨ ਮਕੈਨਿਜ਼ਮਪੁੱਛਗਿੱਛ (Q)ਮੈਂ ਕੀ ਭਾਲ ਰਿਹਾ ਹਾਂ?ਕੁੰਜੀ (K)ਮੇਰੇ ਕੋਲ ਕੀ ਹੈ?ਮੁੱਲ (V)ਅਸਲ ਜਾਣਕਾਰੀMatMulQ × Kᵀਸਕੇਲ÷ √d_kਸੌਫਟਮੈਕਸਅਟੈਂਸ਼ਨ ਵੇਟਸ XTAG171 ਮੈਟ XTAG171 ਮੈਟTAG170Mਵਜ਼ਨ × Vਵਜ਼ਨ ਵਾਲਾ ਆਉਟਪੁੱਟਧਿਆਨ(Q,K,V) = softmax(QKᵀ XXTAG1 X8kd) ×861×8

1. ਭਾਸ਼ਾ ਦੇ ਮਾਡਲ (GPT ਸੀਰੀਜ਼)

ਆਰਕੀਟੈਕਚਰ:ਡੀਕੋਡਰ-ਸਿਰਫ ਟ੍ਰਾਂਸਫਾਰਮਰ

ਐਪਲੀਕੇਸ਼ਨ:TX19XT ਅਤੇ T ਜਨਰੇਸ਼ਨ ਸੰਪੂਰਨਤਾ

  • ਕੋਡ ਜਨਰੇਸ਼ਨ (GitHub Copilot)
  • ਕਨਵਰਸੇਸ਼ਨਲ AI (ChatGPT)
  • ਸਮਗਰੀ ਨਿਰਮਾਣ ਅਤੇ ਸੰਖੇਪ
  • ਸਕੈਲ Scale

    • GPT-1: 117M ਪੈਰਾਮੀਟਰ (2018)
    • GPT-2: 1.5B ਪੈਰਾਮੀਟਰ (2019)
    • GPT-3: 175B ਪੈਰਾਮੀਟਰ (2020)
    • : XTAG2418 ਪੈਰਾਮੀਟਰ (2023, ਅਨੁਮਾਨਿਤ)

    2. ਬਾਈ-ਡਾਇਰੈਕਸ਼ਨਲ ਮਾਡਲ (BERT)

    ਆਰਕੀਟੈਕਚਰ:ਏਨਕੋਡਰ-ਸਿਰਫ ਟ੍ਰਾਂਸਫਾਰਮਰ

    3XTAG209 ਐਪਲੀਕੇਸ਼ਾਂ:

    • ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣਾ
    • ਨਾਮੀ ਹਸਤੀ ਮਾਨਤਾ
    • ਭਾਵਨਾ ਵਿਸ਼ਲੇਸ਼ਣ
    • ਖੋਜ ਅਤੇ ਜਾਣਕਾਰੀ ਪ੍ਰਾਪਤੀ

    ਮਾੱਡਲ ਭਾਸ਼ਾ ਵਿੱਚ - XyTAG243X ਮਾੱਡਲ ਵਿੱਚਕੇ. ਦੋਵੇਂ ਦਿਸ਼ਾਵਾਂ ਵਿੱਚ ਸੰਦਰਭ ਤੋਂ ਸਿੱਖਦਾ ਹੈ

    3. ਕ੍ਰਮ-ਤੋਂ-ਕ੍ਰਮ ਮਾਡਲ (T5, BART)

    ਆਰਕੀਟੈਕਚਰ:ਫੁੱਲ ਟ੍ਰਾਂਸਫਾਰਮਰ (ਏਨਕੋਡਰ + ਡੀਕੋਡਰ)

    Applications: 25X

    • ਅਨੁਵਾਦ
    • ਸੰਖੇਪ
    • ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣਾ
    • ਟੈਕਸਟ ਰੀਰਾਈਟਿੰਗ

    4. ਵਿਜ਼ਨ XTAG2667 VTAG266X)ਆਰਕੀਟੈਕਚਰ: ਚਿੱਤਰਾਂ ਲਈ ਅਨੁਕੂਲਿਤਟ੍ਰਾਂਸਫਾਰਮਰ

    ਪ੍ਰਕਿਰਿਆ:

    1. ਚਿੱਤਰ ਨੂੰ ਪੈਚਾਂ (16x16 ਪਿਕਸਲ) ਵਿੱਚ ਵੰਡੋ
    2. ਪੋਜੀਸ਼ਨ ਏਮਬੈਡਿੰਗ ਸ਼ਾਮਲ ਕਰੋ
    3. ਟ੍ਰਾਂਸਫਾਰਮਰ ਦੁਆਰਾ ਪ੍ਰਕਿਰਿਆ

    ਐਪਲੀਕੇਸ਼ਨ:

    • ਚਿੱਤਰ ਵਰਗੀਕਰਨ XTAG2929X ਆਬਜੈਕਟ ਦਾ ਪਤਾ ਲਗਾਉਣਾ
    • ਆਬਜੈਕਟ ਚਿੱਤਰ ਵੰਡ
    • ਮੈਡੀਕਲ ਇਮੇਜਿੰਗ ਵਿਸ਼ਲੇਸ਼ਣ

    5. ਮਲਟੀਮੋਡਲ ਟ੍ਰਾਂਸਫਾਰਮਰ

    ਉਦਾਹਰਨਾਂ:CLIP, ਫਲੇਮਿੰਗੋ, GPT-4VTAG3070 ਐਪਲੀਕੇਸ਼:

    • ਚਿੱਤਰ ਕੈਪਸ਼ਨਿੰਗ
    • ਵਿਜ਼ੂਅਲ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦੇਣ ਵਾਲਾ
    • ਕ੍ਰਾਸ-ਮੋਡਲ ਮੁੜ ਪ੍ਰਾਪਤੀ
    • ਵੀਡੀਓ ਸਮਝ
    ਜਾਂ XTAG319ਐਪਲੀਕੇਸ਼ਨ I ਜਾਂ XTAG20 ਰੀਅਲ-ਐਕਸ.

    1. ਹੈਲਥਕੇਅਰ ਅਤੇ ਮੈਡੀਕਲ ਡਾਇਗਨੋਸਿਸ

    ਸਮੱਸਿਆ:ਤਸ਼ਖੀਸ ਲਈ ਮੈਡੀਕਲ ਚਿੱਤਰਾਂ ਅਤੇ ਮਰੀਜ਼ਾਂ ਦੇ ਰਿਕਾਰਡਾਂ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨਾ

    ਹੱਲ:ਵਿਜ਼ਨ ਟ੍ਰਾਂਸਫਾਰਮਰ + ਮੈਡੀਕਲ BERT ਮਾਡਲ XTAG31

    3 ਨਤੀਜੇ
    3X3X3X3X ਨਤੀਜੇ

    • 95%+ ਸ਼ੁੱਧਤਾ ਦੇ ਨਾਲ ਕੈਂਸਰ ਦਾ ਪਤਾ ਲਗਾਓ
    • ਰੇਡੀਓਲੋਜਿਸਟਸ ਨਾਲੋਂ ਤੇਜ਼ੀ ਨਾਲ ਐਕਸ-ਰੇ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰੋ
    • ਮੈਡੀਕਲ ਰਿਕਾਰਡਾਂ ਤੋਂ ਮਰੀਜ਼ ਦੇ ਨਤੀਜਿਆਂ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰੋ
    • ਮਹੀਨੇ → ਡਰੱਗ ਖੋਜ 4 (
    • ਮਹੀਨੇ)

    ਉਦਾਹਰਨ:Google ਦਾ Med-PaLM ਡਾਕਟਰੀ ਪ੍ਰੀਖਿਆਵਾਂ 'ਤੇ ਮਾਹਰ-ਪੱਧਰ ਦੀ ਕਾਰਗੁਜ਼ਾਰੀ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ

    2. ਵਿੱਤੀ ਸੇਵਾਵਾਂ

    ਸਮੱਸਿਆ:

    ਸਮੱਸਿਆ:, ਪੂਰਵ-ਜੋਖਮ, ਮਾਰਕਿਟ ਦੀ ਖੋਜ ਦੇ ਰੂਪ ਵਿੱਚ ਖੋਜ

    ਹੱਲ:ਟਰਾਂਸਫਾਰਮਰ ਟ੍ਰਾਂਜੈਕਸ਼ਨ ਪੈਟਰਨਾਂ ਅਤੇ ਮਾਰਕੀਟ ਡੇਟਾ ਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰ ਰਹੇ ਹਨ

    ਨਤੀਜੇ:

    • X6TAG3 X6TAG3 ਫਰਜ਼ੀ ਸਕਾਰਾਤਮਕ ਖੋਜਾਂ ਵਿੱਚ X6TAGX3 ਵਿੱਚ 90% ਕਮੀ ਕਰਜ਼ਿਆਂ ਲਈ ਰੀਅਲ-ਟਾਈਮ ਜੋਖਮ ਮੁਲਾਂਕਣ
    • ਆਟੋਮੇਟਿਡ ਪਾਲਣਾ ਨਿਗਰਾਨੀ
    • ਖਬਰਾਂ/ਸੋਸ਼ਲ ਮੀਡੀਆ ਤੋਂ ਮਾਰਕੀਟ ਭਾਵਨਾ ਵਿਸ਼ਲੇਸ਼ਣ

    3. ਗਾਹਕ ਸੇਵਾ

    ਪ੍ਰੋ

    ਪ੍ਰੋ XTAG377 ਸਕਾਈਬਲਿੰਗ ਗੁਣਵੱਤਾ ਬਣਾਈ ਰੱਖਣ ਦੌਰਾਨ:

    ਹੱਲ:GPT-ਸੰਚਾਲਿਤ ਚੈਟਬੋਟਸ ਅਤੇ ਸਹਾਇਕ

    ਨਤੀਜੇ:

    • 80% ਸਵਾਲਾਂ ਦਾ ਆਪਣੇ ਆਪ ਹੱਲ ਕੀਤਾ ਗਿਆ 100+ ਭਾਸ਼ਾਵਾਂ
    • ਗਾਹਕ ਸੰਤੁਸ਼ਟੀ ਵਿੱਚ 40%
    • ਦੁਆਰਾ ਸੁਧਾਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਸਹਾਇਤਾ ਲਾਗਤਾਂ ਵਿੱਚ 60%

    4. ਸੌਫਟਵੇਅਰ ਵਿਕਾਸ

    ਪ੍ਰੋ ਕੋਡ ਦੀ ਸਮੀਖਿਆ ਹੈ ਅਤੇ XbleTAG01 XbleTAG01 ਹੈ ਸਮਾਂ ਬਰਬਾਦ ਕਰਨ ਵਾਲਾ

    ਹੱਲ:ਕੋਡ-ਵਿਸ਼ੇਸ਼ ਟ੍ਰਾਂਸਫਾਰਮਰ (ਕੋਡੈਕਸ, CodeLlama)

    ਨਤੀਜੇ: