Бүгінде жасанды интеллект саласында есептеу ресурстарын тиімді пайдалану, модельдерді оқытуды жеделдету, күрделі деректермен жұмыс істеу және қымбат қолмен белгілеуге тәуелділікті азайту мәселелері өзекті болып отыр. Осы сұрақтарға Сеулде (Оңтүстік Корея) 6-11 шілде аралығында өтетін International Conference on Machine Learning (ICML) конференциясында зерттеушілер мен инженерлер ұсынған ғылыми жұмыстар сериясы арналған.

Машиналық оқыту бойынша халықаралық конференция

ICML — машиналық оқыту саласындағы әлемдегі ең ірі конференциялардың бірі. Ол жыл сайын жетекші университеттер, ғылыми орталықтар мен технологиялық компаниялардың мамандарын біріктіреді. 2026 жылы қарастыруға 23 918 ғылыми жұмыс ұсынылып, олардың 6 352-сі (өтініштердің 26,6%-ы) негізгі бағдарламаға қабылданды.

Есептеу ресурстарын тиімді пайдалану

Қазіргі жасанды интеллект әзірлеушілері модельдердің өнімділігін есептеу қуатын арттырмай-ақ жоғарылатуға ұмтылады. Бір жұмыста графтық нейрондық желілерге арналған жаңа бағдарламалық модульдер ұсынылды. Бұл модульдер тек объектілерді ғана емес, олардың арасындағы байланыстарды да (мысалы, пайдаланушылар мен тауарлар, құжаттар немесе жол желісінің учаскелері арасындағы) талдайды. Бұл шешімдер видеокартаның жадын әлдеқайда тиімді пайдалануға мүмкіндік береді: тәжірибелерде есептеулерді 8,5 есеге дейін жеделдетуге, жадтың шекті тұтынуын 76 есеге дейін азайтуға, ал жекелеген операцияларды 3,9–10 есеге дейін жылдамдатуға қол жеткізілді. Модульдердің коды ашық қолжетімді. Жұмыс жоғары бағаланған мақалаларға берілетін Spotlight мәртебесін алды (2026 жылы мұндай мәртебені 536 жұмыс — барлық өтініштердің 2,2%-ы — иеленді).

Үлкен тілдік модельдерді оқытуды жеделдету

Тағы бір жұмыста үлкен тілдік модельдерді оқытуды Pipeline Parallelism әдісі арқылы жеделдету мәселесі қарастырылды. Бұл әдісте кейбір видеокарталар басқа құрылғыларды күтіп, бос тұрады. Асинхронды схемалар бұл кідірістерді жоя алады, бірақ бұрын градиенттердің кешігуі үлкен тілдік модельдер (LLM) үшін тұрақсыздық тудырады деп есептелген. Зерттеулер көрсеткендей, сапаның төмендеуі кешігуге емес, оңтайландыру алгоритмін таңдауға байланысты. Қазіргі әдістер, мысалы, Muon, градиенттердің кешігуімен классикалық AdamW-ге қарағанда жақсы күреседі. Сонымен қатар, оптимизатор қадамдарында жеңіл түзету енгізілді, бұл асинхронды әдіске 10 миллиард параметрі және 200 миллиард токенге оқытылған Mixture of Experts (MoE) модельдерінде синхронды оқытумен салыстырмалы сапаға қол жеткізуге мүмкіндік берді.

Жаңа оңтайландыру алгоритмдері

Тағы бір жұмыста SoftSignum және SoftMuon деп аталатын екі жаңа оңтайландыру алгоритмі ұсынылды. Олар модельдің оқыту кезінде параметрлерді қалай жаңартатынын анықтайды. Тәжірибелерде бұл әдістер бірнеше кең таралған тәсілдерден, соның ішінде AdamW-ден, тұрақты түрде асып түсті.

Күрделі деректермен жұмыс

Графтық тапсырмалар үшін GraphPFN моделі жасалды, ол 1,6 миллионнан астам синтетикалық графта алдын ала оқытылған. Бұл модель қосымша баптаусыз-ақ жоғары сапа көрсетті, ал нақты тапсырмаға бейімделгенде, жұмыста қарастырылған тәсілдердің көпшілігінен асып түсті. Бұл әдіс жаңа тапсырмаларға арналған модельдерді тезірек құруға және оқыту үшін аз деректер пайдалануға мүмкіндік береді.

Тағы бір зерттеу қазіргі нейрондық желілер кестелік деректермен тиімдірек жұмыс істейтінін көрсетті, егер деректердегі белгісіздік ескерілсе. Осы мақсатта сандық белгілерді ұсынудың тиімді әдісі ұсынылды.

Деректер жетіспеген жағдайда модельдерді оқыту

Көптеген қолданбалы тапсырмаларда деректер жеткілікті, бірақ сапалы белгілеу жетіспейді, әсіресе сарапшылардың қатысуы қажет салаларда (мысалы, медицина мен өнеркәсіп). Бұл мәселені шешу үшін аздаған белгіленген деректерді көп мөлшердегі белгіленбеген деректермен біріктіріп пайдалануға мүмкіндік беретін тәсіл ұсынылды. Бұл жаңа деректерді белгілеу тым қымбат немесе көп уақыт алатын жағдайларда модельдерді оқытуға көмектеседі.

Іздеу мен ұсыныстарды жеделдету

Іздеу және ұсыныс жүйелері күн сайын үлкен көлемдегі деректерді өңдейді. Бұл жұмысты жеделдету үшін жаңа әдіс ұсынылды: ең дәл модельді барлық нұсқаларға қолдану тым ресурсты қажет ететін тапсырмаларда, жаңа әдіс алдын ала ең қолайлы кандидаттарды іріктеп, кейін оларды дәлірек модельмен бағалауға мүмкіндік береді. Бұл есептеу шығындарын азайтады.