Үүсгэгч Урьдчилан Сургасан Трансформер (GPT)

Үүсгэгч урьдчилан сургасан трансформер (Generative pre-trained transformer буюу GPT) нь үүсгэгч хиймэл оюун бүхий чатботуудад өргөнөөр ашиглагддаг их хэлний загвар (LLM)ын нэг төрөл юм. GPT нь трансформер гэж нэрлэгддэг гүн сургалтын архитектурт суурилдаг. Тэдгээрийг тэмдэглэгээгүй контент бүхий асар их хэмжээний өгөгдлийн сан дээр урьдчилан сургадаг бөгөөд шинэ контент үүсгэх чадвартай байдаг.

OpenAI компани анх 2018 онд GPT-1 загварыг танилцуулснаар трансформер архитектурт үүсгэгч урьдчилсан сургалтыг (generative pre-training) хэрэглэсэн анхны тохиолдол болсон юм. Түүнээс хойш тус компани олон тооны илүү том GPT загваруудыг гаргасан. 2022 оны сүүлээр гарсан алдартай чатбот болох ChatGPT-ийн (GPT-3.5 ашигласан) араас Gemini, DeepSeek, Claude зэрэг өөрсдийн үүсгэгч урьдчилан сургасан трансформеруудыг ашиглан текст үүсгэдэг олон өрсөлдөгч чатботууд гарч ирсэн.

GPT нь үндсэндээ текст үүсгэхэд ашиглагддаг боловч өөр төрлийн өгөгдөл үүсгэхээр сургагдах боломжтой. Жишээлбэл, GPT-4o нь текст, зураг болон дууг боловсруулж, үүсгэж чаддаг. Нарийн төвөгтэй даалгаврын гүйцэтгэлийг сайжруулахын тулд OpenAI o3 зэрэг зарим GPT загварууд хариу үүсгэхээсээ өмнө асуудлыг дүн шинжлэхэд илүү их тооцооллын хугацаа зарцуулдаг бөгөөд эдгээрийг эргэцүүлэн бодох загварууд (reasoning models) гэж нэрлэдэг. 2025 онд даалгавраас хамааран хурдан загвар эсвэл удаан боловч эргэцүүлэн бодох загварыг ашиглах эсэхийг автоматаар сонгодог чиглүүлэгчтэй (router) GPT-5 загвар гарсан.

Ерөнхий

• The Economist* сэтгүүлд бичсэнээр сайжруулсан алгоритмууд, илүү хүчирхэг компьютерүүд болон цахимжуулсан материалын хэмжээ нэмэгдсэн нь 2010-аад оны үед машин сургалтын салбарт хувьсгал хийхэд нөлөөлсөн байна. Хиймэл оюун ухааны тэсрэлтийн өмнөх жилүүдэд гарсан шинэ арга техникүүд нь хэлтэй ажиллах зэрэг "даалгавруудыг гүйцэтгэхэд хурдацтай сайжруулалт" хийхэд хүргэсэн. Орчин үеийн программ хангамжийн загварууд нь биологийн мэдрэлийн бүтцээс санаа авсан хиймэл мэдрэлийн сүлжээнд сая сая жишээг ашиглан суралцдаг.

Үүний зэрэгцээ, үүсгэгч урьдчилсан сургалт (Generative pre-training - GP) нь машин сургалтын салбарт удаан хугацаанд ашиглагдаж ирсэн техник байв. GP нь өөрөө өөрийгөө хянаж суралцах (self-supervised learning) нэг хэлбэр бөгөөд загварыг эхлээд тэмдэглэгээгүй том өгөгдлийн сан дээр сургаж ("урьдчилан сургах" алхам) өгөгдлийн цэгүүдийг үүсгэж сургадаг. Энэхүү урьдчилан сургасан загварыг дараа нь тэмдэглэгээтэй өгөгдлийн сан ашиглан тодорхой даалгаварт зориулан өөрчилдөг ("нарийвчлан сургах" буюу fine-tuning алхам).

Гүн сургалтын трансформер архитектур нь GPT-ийн үндсэн технологи юм. Google-ийн судлаачдын боловсруулсан энэхүү архитектур нь 2017 оны 6-р сарын 12-нд нийтлэгдсэн "Attention Is All You Need" (Анхаарал л танд хэрэгтэй) өгүүллээр танилцуулагдсан. Трансформер архитектур нь байгалийн хэлний боловсруулалтад (NLP) ашиглагддаг байсан хуучин рекуррент мэдрэлийн сүлжээний (RNN) загваруудтай холбоотой гүйцэтгэлийн олон асуудлыг шийдсэн. Архитектурт анхаарлын механизмыг (attention mechanism) ашигласан нь загварт текстийн дарааллыг бүхэлд нь нэгэн зэрэг боловсруулах боломжийг олгож, илүү том, илүү боловсронгуй загваруудыг сургах боломжийг бүрдүүлсэн. 2017 оноос хойш текстийг боловсруулах, ухах, цэгцлэх, холбох, харьцуулах, хураангуйлах, мөн түүнчлэн текстэн өгөгдлөөс асуултад зөв хариулах чадвартай олон тооны трансформерт суурилсан NLP системүүд бий болсон.

Түүх

2018 оны 6-р сарын 11-нд OpenAI-ийн судлаачид болон инженерүүд "Improving Language Understanding by Generative Pre-Training" (Үүсгэгч урьдчилсан сургалтаар хэлний ойлголтыг сайжруулах нь) нэртэй өгүүллийг нийтэлж, анхны GPT загвар болох GPT-1-ийг танилцуулсан. Энэ нь BookCorpus хэмээх төрөл бүрийн сэдвүүд бүхий текстэн сан дээр үүсгэгч урьдчилсан сургалт (GP) хийж, дараа нь тодорхой хэлний даалгавруудад төвлөрүүлэхийн тулд ялгах нарийвчилсан сургалт (discriminative fine-tuning) хийсэн трансформерт суурилсан хэлний том загвар байхаар бүтээгдсэн. Энэхүү хагас хяналттай (semi-supervised) арга барил нь томоохон дэвшил гэж үнэлэгдсэн. Өмнө нь байгалийн хэлний боловсруулалтын (NLP) хамгийн сайн гүйцэтгэлтэй мэдрэлийн загварууд нь ихэвчлэн гараар тэмдэглэгээ хийсэн их хэмжээний өгөгдөл дээр хяналттай сургалт (supervised learning) ашигладаг байсан бол хэлний том загварыг энэ аргаар сургах нь хэт их зардалтай, цаг хугацаа их шаардсан ажил болох байв.

2019 оны 2-р сарын 14-нд OpenAI нь уялдаа холбоотой текст үүсгэх чадвартай, илүү том загвар болох GPT-2-ыг танилцуулсан. Өмнөх загварынхаа шууд өргөтгөл болгон бүтээсэн энэхүү загварын параметрийн тоо болон өгөгдлийн сангийн хэмжээг 10 дахин нэмэгдүүлсэн байв. GPT-2 нь 1.5 тэрбум параметртэй бөгөөд 8 сая вэб хуудаснаас бүрдсэн 40 гигабайт хэмжээтэй WebText өгөгдлийн сан дээр сургагдсан. Хорлонтойгоор ашиглах эрсдэлтэй гэж үзэн OpenAI "үе шаттайгаар гаргах" аргыг сонгож, эхлээд загварын жижиг хувилбаруудыг нийтэлж, улмаар 11-р сард бүрэн хэмжээний 1.5 тэрбум параметртэй загварыг гаргасан.

2020 оны 2-р сарын 10-нд Microsoft компани "17 тэрбум параметртэй, урьд өмнө нийтлэгдсэн хамгийн том хэлний загвар" гэж мэдэгдсэн Turing Natural Language Generation загвараа танилцуулсан. Энэхүү загвар нь текст хураангуйлах, асуултад хариулах зэрэг олон төрлийн даалгавар дээр өмнөх бүх хэлний загваруудаас илүү сайн гүйцэтгэлтэй байв.

2020 оны 5-р сарын 28-нд OpenAI нь GPT-2-той харьцуулахад илүү том өгөгдлийн сан дээр сургагдсан, 175 тэрбум параметртэй GPT-3 загварыг танилцуулсан. Энэ нь цөөн жишээгээр сурах (few-shot) болон жишээгүйгээр сурах (zero-shot) чадварт мэдэгдэхүйц ахиц дэвшил авчирсан. Цөөн хэдэн жишээгээр л энэ загвар нь өөрийн тусгайлан сургагдаагүй төрөл бүрийн даалгавруудыг гүйцэтгэх боломжтой байв.

GPT-3 гарсны дараа OpenAI нь загварын үйлдэл, зан төлөвийг хүний хүсэл сонирхолд илүү нийцүүлэхийн тулд хүний хариу үйлдэлд суурилсан бэхжүүлэн сургах аргыг (RLHF) ашиглаж эхэлсэн. Энэ нь GPT-3-ийн сайжруулсан хувилбар болох InstructGPT-ийг хөгжүүлэхэд хүргэсэн. OpenAI нь InstructGPT-ийг улам сайжруулж, 2022 оны 11-р сарын 30-нд өөрсдийн нэрийн хуудас болсон чатбот бүтээгдэхүүн болох ChatGPT-ийг зах зээлд гаргасан. ChatGPT нь анх GPT-3.5 дээр суурилж байсан боловч сүүлдээ 2023 оны 3-р сарын 14-нд гарсан GPT-4 загвар руу шилжсэн. GPT-4 нь Microsoft Copilot, GitHub Copilot, Snapchat, Khan Academy, Duolingo зэрэг хэд хэдэн программуудын хэсгүүдэд нэгтгэгдсэн.

ChatGPT-ийн асар их нэр хүнд нь бусад байгууллагуудын GPT-д суурилсан өрсөлдөгч системүүдийг өргөнөөр хөгжүүлэхэд түлхэц болсон. EleutherAI нь 2021 онд GPT-J гэх мэт хэд хэдэн нээлттэй жинтэй (open-weight) загваруудыг гаргасан. Бусад томоохон технологийн компаниуд ч мөн адил өөрсдийн GPT загваруудыг хөгжүүлсэн бөгөөд үүнд Google-ийн PaLM болон Gemini, мөн Meta AI-ийн Llama зэрэг багтана.

Дараа дараагийн олон GPT загварууд нь мультимодал (олон төрлийн өгөгдлийг боловсруулах эсвэл үүсгэх чадвартай) байхаар сургагдсан. Жишээлбэл, GPT-4o нь текст, зураг, дууг аль алиныг нь боловсруулж, үүсгэж чаддаг. Түүнчлэн, o3 болон DeepSeek R1 зэрэг GPT загварууд нь математик зэрэг салбарын нарийн төвөгтэй асуудлыг шийдвэрлэхэд тусалдаг олон алхамт "бодлын хэлхээ" (chain-of-thought) бүхий эргэцүүлэл хийсний дараа эцсийн хариултыг гаргахаар бэхжүүлэн сургах аргаар сургагдсан байдаг.

2025 оны 8-р сарын 7-нд OpenAI нь даалгавраас хамааран хурдан загвар эсвэл удаан боловч эргэцүүлэн бодох загварыг ашиглах эсэхийг автоматаар сонгодог чиглүүлэгч бүхий GPT-5 загварыг гаргасан.

Суурь загварууд

Суурь загвар (foundation model) гэдэг нь өргөн цар хүрээтэй өгөгдөл дээр сургагдсан хиймэл оюун ухааны загвар бөгөөд үүнийг олон төрлийн даалгаварт тохируулан ашиглах боломжтой байдаг.

Өнөөг хүртэл хамгийн алдартай GPT суурь загварууд нь OpenAI-ийн GPT-n цувралууд байсан. Үүний хамгийн сүүлийнх нь GPT-5 юм.

Бусад ийм төрлийн загваруудад Google-ийн PaLM (GPT-3-тай харьцуулагддаг, хөгжүүлэгчид API-аар ашиглах боломжтой өргөн хүрээний суурь загвар), мөн GPT-3-тай хамгийн ойролцоо гүйцэтгэлтэй нээлттэй эхийн хувилбар гэж мэдээлэгддэг Together-ийн GPT-JT (өмнөх нээлттэй эхийн GPT загваруудаас гаралтай) зэрэг багтана. Meta AI (хуучнаар Facebook) мөн LLaMA гэж нэрлэгддэг, үүсгэгч трансформерт суурилсан суурь хэлний том загвартай.

Суурь GPT загварууд нь оролт болон гаралтад текстээс гадна өөр төрлүүдийг ашиглах боломжтой. GPT-4 нь текст болон зурган оролтыг боловсруулах чадвартай мультимодал LLM юм (гэхдээ гаралт нь зөвхөн текстээр хязгаарлагддаг). Мультимодал гаралтын тухайд, диффуз (diffusion) болон зэрэгцээ декодчилол (parallel decoding) зэрэг текстээс зураг үүсгэх технологиудад зарим үүсгэгч трансформерт суурилсан загваруудыг ашигладаг. Ийм төрлийн загварууд нь зурагтай ажиллах боломжтой дараагийн шатны системүүдийг хөгжүүлэхэд харааны суурь загвар (VFM) болж чаддаг.

Даалгаварт зориулсан загварууд

Суурь GPT загварыг тодорхой даалгавар эсвэл сэдвийн хүрээнд чиглэсэн илүү зорилтот системийг бий болгохын тулд цааш нь өөрчлөх боломжтой. Ийм өөрчлөлт хийх аргуудад нэмэлт нарийвчилсан сургалт (суурь загварт хийснээс гадна), мөн промпт инженерчлэлийн (prompt engineering) тодорхой хэлбэрүүд багтдаг.

Үүний нэг чухал жишээ бол заавар дагахад зориулан загваруудыг нарийвчлан сургах явдал юм. Энэ нь мэдээж нэлээд өргөн хүрээний даалгавар боловч суурь загвартай харьцуулахад илүү зорилтот юм. 2022 оны 1-р сард OpenAI нь "InstructGPT"-ийг танилцуулсан бөгөөд энэ нь GPT-3 суурь хэлний загварууд дээр хяналттай сургалт болон хүний хариу үйлдэлд суурилсан бэхжүүлэн сургах аргыг (RLHF) хослуулан ашиглаж, заавар дагахад зориулан нарийвчлан сургасан цуврал загварууд байв. Энгийн суурь загваруудтай харьцуулахад үүний давуу тал нь өндөр нарийвчлалтай, сөрөг/хортой агуулга багатай, ерөнхийдөө хэрэглэгчийн хэрэгцээнд илүү нийцсэн байдал байв. Тиймээс OpenAI үүнийг өөрийн API үйлчилгээний санал болгох үндэс болгон ашиглаж эхэлсэн. Заавар дагахад нарийвчлан сургасан бусад загваруудыг өөр газрууд ч гаргасан бөгөөд үүнд бүрэн нээлттэй хувилбар ч багтсан.

Даалгаварт зориулсан загваруудын өөр нэг (холбоотой) төрөл бол хүнтэй төстэй харилцан яриа өрнүүлдэг чатботууд юм. 2022 оны 11-р сард OpenAI нь InstructGPT-тэй төстэй аргаар сургасан, заавар дагахад нарийвчлан сургасан хэлний загвараар ажилладаг онлайн чат интерфэйс болох ChatGPT-ийг эхлүүлсэн. Тэд энэ загварыг RLHF ашиглан сургасан бөгөөд хүн-AI сургагчид хэрэглэгч болон хиймэл оюун ухааны аль алиных нь дүрд тоглож харилцан яриа үүсгэн, энэхүү шинэ харилцан ярианы өгөгдлийн санг InstructGPT-ийн өгөгдлийн сантай хольж чатботад тохиромжтой харилцан ярианы хэлбэрийг бий болгосон. Одоогоор бусад томоохон чатботуудад Microsoft-ын Bing Chat (OpenAI болон Microsoft-ын өргөн хүрээний нягт хамтын ажиллагааны хүрээнд OpenAI-ийн GPT-4-ийг ашигладаг) болон Google-ийн өрсөлдөгч чатбот Gemini (анх харилцан ярианд сургагдсан LaMDA бүлийн хэлний загварууд дээр суурилж байсан бөгөөд PaLM руу шилжихээр төлөвлөсөн) багтаж байна.

GPT-ийг ашиглаж болох өөр нэг төрлийн даалгавар бол хэрэглэгчийн өгсөн илүү ерөнхий зорилгыг хэрэгжүүлэхийн тулд 'өөртөө' зориулан цуврал промпт (даалгавар) боловсруулах зэрэг өөрийн зааврыг үүсгэх мета-даалгавар юм. Үүнийг AI агент (AI agent), тэр дундаа рекурсив агент гэж нэрлэдэг, учир нь энэ нь дараагийн промптоо бүрдүүлэхэд туслахын тулд өмнөх өөртөө өгсөн зааврын үр дүнг ашигладаг. Үүний анхны томоохон жишээ нь Auto-GPT (OpenAI-ийн GPT загваруудыг ашигладаг) байсан бөгөөд түүнээс хойш бусад хувилбарууд ч хөгжүүлэгдсэн.

Салбарын онцлог

GPT системийг тодорхой салбар эсвэл чиглэл рүү чиглүүлж болно. Ийм загвар болон аппликейшнуудын зарим мэдээлэгдсэн жишээг доор дурдав:

• **EinsteinGPT** – борлуулалт, маркетингийн салбарт хэрэглэгчтэй харилцах менежментэд туслах зориулалттай (GPT-3.5 ашигладаг).
• **BloombergGPT** – санхүүгийн салбарт санхүүгийн мэдээ, мэдээлэлд туслах зориулалттай ("чөлөөтэй ашиглах боломжтой" AI аргуудыг өөрсдийн өмчийн өгөгдөлтэй хослуулан ашигладаг).
• **Khanmigo** – боловсролын салбарт хичээл заахад зориулагдсан GPT хувилбар гэж тодорхойлогддог бөгөөд Khan Academy ашиглаж буй оюутнуудад хариултыг шууд өгөхгүйгээр хичээлээ хийхэд нь чиглүүлж тусалдаг (GPT-4-өөр ажилладаг).
• **SlackGPT** – Slack шуурхай мессежийн үйлчилгээнд зориулагдсан бөгөөд хэлэлцүүлгийг чиглүүлэх, хураангуйлахад тусалдаг (OpenAI-ийн API-г ашигладаг).
• **BioGPT** – био-анагаахын салбарт зориулагдсан бөгөөд био-анагаахын уран зохиолын текст үүсгэх, олборлоход тусалдаг (GPT-2 ашигладаг).

Заримдаа салбарын онцлогийг программ хангамжийн нэмэлт өргөтгөл (plug-in) эсвэл нэмэлт хэрэгслээр (add-on) шийддэг. Жишээлбэл, хэд хэдэн өөр компаниуд OpenAI-ийн ChatGPT интерфэйстэй шууд харьцдаг тусгай плагинуудыг хөгжүүлсэн бөгөөд Google Workspace-д Google Sheets дэх хүснэгтийн функцийг ашиглахад тусалдаг гэх "GPT for Sheets and Docs" зэрэг нэмэлт хэрэгслүүд байдаг.

Брэндийн асуудлууд

OpenAI нь ChatGPT болон түүний загварын хувилбаруудын нэршилтэй холбоотойгоор "GPT"-ийг өөрийн брэнд гэж мэдэгддэг.

2018 онд анхны үүсгэгч урьдчилан сургасан трансформерыг (GPT) бүтээсэн OpenAI компани 2023 онд "GPT"-ийг OpenAI-ийн брэнд гэж үзэх ёстой гэж мэдэгдсэн. 2023 оны 4-р сард OpenAI нь үйлчилгээний нөхцөл дэх брэндийн удирдамжаа шинэчилж, хиймэл оюун ухааны үйлчилгээгээ явуулахдаа тус компанийн API-г ашиглаж буй бусад бизнесүүд нэр, брэнддээ "GPT" гэсэн үгийг оруулах боломжгүй болсныг заасан. 2023 оны 5-р сард OpenAI нь API харилцагчиддаа энэхүү бодлогын талаар мэдэгдэхийн тулд брэндийн менежментийн үйлчилгээг хөлсөлсөн боловч эдгээр мэдэгдлүүд нь хууль ёсны илэрхий нэхэмжлэл (барааны тэмдгийн зөрчлийн тухай мэдэгдэл эсвэл үйл ажиллагааг зогсоох шаардлага гэх мэт) гаргах хэмжээнд хүрээгүй. 2023 оны 11-р сарын байдлаар OpenAI нь API лиценз эзэмшигчдээ өөрсдийн бүтээгдэхүүнийг "GPT" гэж нэрлэхийг хориглосон хэвээр байгаа боловч ChatGPT Plus захиалагчдад OpenAI сайт дээр GPTs гэж нэрлэгдэх "ChatGPT-ийн тусгай хувилбарууд"-ыг хийх боломжийг олгож эхэлсэн. OpenAI-ийн үйлчилгээний нөхцөлд захиалагчид эдгээрийн нэрэнд "GPT"-ийг ашиглаж болох боловч үүнийг "дэмжихгүй" гэж заасан байдаг.

Үүнтэй холбоотойгоор OpenAI нь хиймэл оюун ухааны салбарт "GPT" гэсэн нэр томьёог дотоодын барааны тэмдэг болгон бүртгүүлэхээр АНУ-ын Патент, барааны тэмдгийн албанд (USPTO) хүсэлт гаргасан. OpenAI хүсэлтээ яаралтай шийдвэрлүүлэхийг хүссэн боловч USPTO 2023 оны 4-р сард уг хүсэлтээс татгалзсан. 2023 оны 5-р сард USPTO уг өргөдөлд хариу өгөхдөө "GPT" нь тодорхойлсон болон ерөнхий нэр томьёо гэсэн дүгнэлт гаргасан. 2023 оны 11-р сарын байдлаар OpenAI боломжит процессуудаар дамжуулан өөрийн байр суурийг хамгаалсаар байна. Гэсэн хэдий ч АНУ-д бүртгэгдсэн барааны тэмдэг авч чадахгүй байх нь АНУ дахь нийтлэг эрх зүйн (common-law) барааны тэмдгийн зарим түвшний эрх болон бусад улс орнууд дахь барааны тэмдгийн эрхийг үгүйсгэхгүй.

АНУ-д барааны тэмдгийн аливаа төрлийн хамгаалалт авахын тулд OpenAI нь уг нэр томьёог тухайн технологийн төрлийг илэрхийлсэн өргөн хүрээний техникийн нэр томьёо байхаас гадна, тэдний тусгай санал болгож буй бүтээгдэхүүнд "онцгой" хамааралтай болохыг нотлох шаардлагатай болно. 2023 онд зарим хэвлэл мэдээллийн хэрэгслүүд OpenAI-ийг өөрийн GPT-д суурилсан чатбот бүтээгдэхүүн болох ChatGPT-ийн алдар хүндэд шууд бусаар тулгуурлан барааны тэмдгийн бүртгэл авах боломжтой гэж таамаглаж байсан бөгөөд ChatGPT-ийн хувьд OpenAI тусдаа хамгаалалт хүсч (мөн илүү хүчтэй хэрэгжүүлэхийг зорьж) байгаа юм. Бусад мэдээллүүдэд зүгээр л "GPT" гэсэн нэр томьёонд бүртгэл олгох магадлал бага гэж үзэж байгаа бөгөөд учир нь энэ нь үүсгэгч урьдчилан сургасан трансформер бүхий AI системийг энгийнээр нэрлэхэд нийтлэг хэрэглэгддэг нэр томьёо болсон. Ямар ч тохиолдолд АНУ-д уг нэр томьёонд онцгой эрх үүссэн ч бусад этгээдүүд үүнийг төстэй бүтээгдэхүүн, үйлчилгээнд ашиглахдаа төөрөгдөл үүсгэхүйц байдлаар хэрэглэхээс зайлсхийх шаардлагатай болно. Хэрэв ийм эрхүүд нь салбарын бусад тогтсон хэрэглээг хамрахаар өргөн хүрээтэй болвол тайлбарласан шударга хэрэглээний (descriptive fair use) барааны тэмдгийн сургаал нь брэндтэй холбоогүй хэрэглээг үргэлжлүүлэх боломжийг олгож магадгүй юм.

Европын Холбоонд Европын Холбооны Оюуны Өмчийн Газар "GPT"-ийг 2023 оны хавар OpenAI-ийн барааны тэмдэг болгон бүртгэсэн. Гэвч 2024 оны хавраас хойш уг бүртгэлийг эсэргүүцэж байгаа бөгөөд цуцлагдахаар хүлээгдэж байна.

Швейцарьт Швейцарийн Холбооны Оюуны Өмчийн Институт "GPT"-ийг 2023 оны хавар OpenAI-ийн барааны тэмдэг болгон бүртгэсэн.