ЖИ хакатоны: шешімді финалдық питчке дейін қалай тексеруге болады

Бақылау жиынтығына жауапты адамды белгілеңіз. Шешімдер бекітілгенше ол кіріс деректері мен күтілетін жауаптарды командалардан бөлек сақтайды. Бір іс-шара туралы қайталанған хабарландыруларды топтастырыңыз, олардың нұсқалары бөлудің екі жағына түсіп кетпеуі керек. Біздің мысалда алдын ала таңдалған орысша және қазақша мәтіндерді, мәні жоқ өрістерді және екіұшты күндерді қосыңыз.

Алдын ала өңдеу қадамы деректерден үйренетін болса, оны тек оқыту бөлігінде үйретіңіз. scikit-learn құжаттамасы алдын ала өңдеу арқылы бақылау деректерінің модельді баптауға араласып кетуі туралы арнайы ескертеді. Бұл ереже қарапайым дерек дайындау болып көрінетін қадамдарға да қатысты.

3. Салыстыру үшін қарапайым шешім дайындаңыз

Baseline, яғни салыстыруға арналған бастапқы шешім құрыңыз: қала атауларының сөздігі, форматтың анық белгілері және толық көрсетілген күндерді тану ережелері. Ақпарат жеткіліксіз болса, ол да null қайтарады. Бақылау тексерісіне дейін сөздік нұсқасы мен ережелерін бекітіңіз.

Baseline мен ЖИ шешімін бірдей кіріс деректерінде, бірдей салыстыру тәртібімен тексеріңіз. Сонда модельдің қарапайым тәсілден қай жерде жақсы жұмыс істейтіні және қай жерде қате қосатыны көрінеді. Google-дың ML жөніндегі нұсқаулығы қарапайым шешімнен бастауды және өлшенетін нәтижені алдын ала анықтауды ұсынады.

Өрістерді бөлек тексеріңіз: қала, формат, мерзім және дерек жоқ кездегі жауап. Дұрыс жауаптар санымен бірге тексерілген өрістер санын сақтаңыз. Нені санағаны түсініксіз болса, оларды бір ғана «дәлдік» көрсеткішіне біріктірмеңіз. Бұл тексерулердің жалпы бағаға әсерін қазыларға арналған критерийлер арқылы келісіңіз.

4. Әр іске қосудың жазбасын сақтаңыз

Бақылау деректерін ашпай тұрып шешімнің коммитін және тексеру параметрлерін бекітіңіз. Командадан мына өрістері бар қысқа іске қосу жазбасын сұраңыз:

API нұсқасы сыртқы сервистің ішкі күйін әрдайым бекіте бермейді. Провайдер қандай параметрлерді бекітуге мүмкіндік беретінін және команда қандай шарттарды басқара алмайтынын жазыңыз. Файлға кілттерді, токендерді және нақты пайдаланушылардың деректерін қоспаңыз.

Жауаптарды форматын түзетпей тұрып сақтаңыз. Әйтпесе модель дұрыс JSON қайтарды ма, әлде қолданба қатеден кейін оны қалпына келтірді ме, анықтау мүмкін емес. Пайдаланушы көрген өңделген нәтижені бөлек жазыңыз.

Нәтижесі әр іске қосқанда өзгеруі мүмкін шешім үшін қайталау санын алдын ала анықтап, әр нәтижені сақтаңыз. Тексеруден кейін сәтті шыққан нұсқаны ғана таңдамаңыз. Бекітілген seed өздігінен бірдей жауапқа кепіл болмайды. PyTorch құжаттамасында нұсқалар, платформалар және CPU/GPU арасында айырмашылық болуы мүмкін екені ескертіледі. Сыртқы API үшін оның провайдерінің шектеулерін де ескеріңіз.

5. Қателерді әр мысал бойынша талдаңыз

Қазыға әр іске қосудағы әр кіріс мәтініне бір жазба келетін журнал қажет. Мына үлгіні қолданыңыз: run_id, example_id, кіріс мәтіні, күтілетін өрістер, бастапқы жауап, өңделген жауап, қате түрі, іске қосу мәртебесі және тексерушінің ескертпесі.

Біздің мысалда жоғалған күнді, ойдан шығарылған қаланы, қате JSON форматын, дұрыс null мәнін және ақаудан жауап келмеген жағдайды ажыратыңыз. Ақпарат жеткіліксіз кезде болжаудан бас тарту деректі бөліп алу қатесінен өзгеше. API-ға кіру мәселесіне де бөлек мәртебе қажет.

Орындалмай тұрып қалған сұраулар мен келмеген жауаптарды есептен алып тастамаңыз. Барлық жоспарланған мысалдардың, аяқталған іске қосулардың және ақаулардың санын көрсетіңіз. Күтілетін жауап қате белгіленсе, түзетуді жазып, екі шешімді де бірдей ережемен қайта есептеңіз. Команда бақылау қателеріне қарап шешімін баптағаннан кейін бұрынғы жиынтық келесі нұсқаны тәуелсіз тексеруге жарамайды.

6. Қазыға тексеруді қайталауға мүмкіндік беріңіз

Алдымен тапсырылған пакет нұсқаулық бойынша іске қосыла ма, тексеріңіз. Қолжетімділік, бекітілген нұсқа және резервтік демо үшін техникалық қабылдау чек-парағын қолданыңыз. Тексерілмеген кодты жұмыс құпиялары жоқ бір реттік оқшауланған ортада, бөлек тесттік есептік жазбамен іске қосыңыз.

Содан кейін қазы келісілген бақылау жиынтығынан мысалдарды таңдап, жазылған параметрлермен іске қосуды қайталайды. Бастапқы жауаптарды сақталған жауаптармен салыстырыңыз. Олар өзгеше болса, айырмашылықты, шарттарды және команданың түсіндірмесін жазыңыз. Видео көрсетілген нәтижені растайды, бірақ бұл іске қосуды алмастырмайды.

Питчке дейін қазыларға шешім нұсқасын, іске қосу жазбасын, baseline салыстыруын және қателер журналын беріңіз. Шектеулерде тексерудің көлемі мен құрамын, тексерілмеген кіріс түрлерін, сыртқы сервиске тәуелділікті және адам тексеруі қажет тұстарды көрсетіңіз. Команда прототиптің қазір не істей алатынын және келесіде қандай тексеру керегін түсіндіргенде, қазы нақты жауаптар мен ақауларға сүйене алады.