Хакатон қазыларын калибрлеу: алғашқы питчке дейінгі екі оқу жобасы

Мұндағы нөл тексерудің анықталған нәтижесін білдіреді. Сілтеме ашылмай, рұқсат етілген балама материал әлі қаралмаса, балл анықталмаған күйде қалады. Төртінші деңгей де өнімнің өндірістік пайдалануға дайын екенін білдірмейді.

RUBRIC.csv файлында әр критерийдің барлық бес деңгейіне арналған белгілер бар. C1 тапсырмамен байланысты, C2 орындалуды, C3 тұжырымның негізін тексереді. Бір сәтті тест үш бағанның бәрінде автоматты түрде ең жоғары балл бермеуі керек.

Қазыларға екі анық оқу жобасын беріңіз

Оқу тапсырмасы: бір менторға бір уақытта екі кездесу тағайындамай, командаларға шектеулі ментор слоттарын бөлу. Барлық өтінім жасанды деректерден тұрады. Жаттығуда нақты пайдаланушылар немесе клиент деректері жоқ.

A жобасы, «Слоттар», алты өтінімді қабылдайды. Қазы нұсқаулық бойынша жүйені қайта іске қосып, қабаттаспайтын кесте алады. Бір слотты қайта брондау хабарламамен қабылданбайды. Команда осы тексерудің журналын және шектеулерін берген, бірақ шешімді баламамен салыстырмаған. Оқу матрицасының тірек бағалары: C1 = 2, C2 = 3, C3 = 2.

B жобасы, «Панель», өтінім формасы мен әдемі кестені көрсетеді. Форманы толтыруға болады; содан кейін оператор кездесулерді қолмен жылжытады. Сақталған оқу кестесінде бір менторға бір уақытқа екі кездесу тағайындалған. Қолайлылық тексерілгені айтылған, бірақ бақылау жазбалары жоқ. Тірек бағалары: негізгі тапсырманың көрсетілген бұзылуы үшін C1 = 0, сценарийдің жұмыс істейтін бөлігі үшін C2 = 1. C3 ереже бойынша нақтылағанға дейін баллсыз қалады.

Бұл бағалар тек сипатталған материалдар мен оқу рубрикасының белгілеріне қатысты. Басқа трек немесе рұқсат етілген тексеру тәсілі басқа нәтижеге әкелуі мүмкін. Қазіргі қатысушының танылатын жобасын жасырын эталон ретінде пайдаланбаңыз.

Фактіні, түсіндіруді және баллды бөліңіз

Бағалау парағында қазы үш бөлек жазба толтырады. Факт қандай әрекет болғанын және оны қайдан тексеруге болатынын көрсетеді. Түсіндіру критерийдің қай белгісі расталғанын анықтайды. Балл сол белгіге сәйкес мән болады. Материал сілтемесін не идентификаторын, ал демо жазбасы үшін қажет уақыт белгісін қосыңыз.

A үшін былай жазуға болады: «A-NEG-1 оқу тексеруінде бос емес слотқа екінші өтінім қабылданбады». Түсіндіру: негізгі жол қайталанды және бір қате енгізу өңделді. C2 баллы: 3. Басқа қазы осы шешімнің негізін тексере алады.

B үшін «түсінікті интерфейс» деген сөз қолайлылықты тексеру хаттамасын алмастырмайды. Журнал берілмегенін жазып, needs_clarification мәртебесін қойып, сұрақты тұжырымдаңыз. Балл өрісі бос қалады. Қазы команданың сенімді сөйлеуіне қарап зерттеу нәтижесін ойдан шығармайды және дизайннан алған әсерін техникалық критерийге ауыстырмайды.

Алдымен жеке бағаларды жинаңыз

Жүргізуші бәріне бірдей материал беріп, әр қазыдан форманы өз бетінше толтыруды сұрайды. Алғашқы мәндер талқылауға дейін сақталады. Қазылар төрағаның бағасын көрмейді және көпшілік таңдаған санды қоюға міндетті емес.

Содан кейін жазбаларды критерийлер бойынша салыстырыңыз. A жобасының C2 бағалары 2 және 3 болса, әркім нені қайталағанын және үшінші деңгейдің қай белгісін тексергенін сұраңыз. Бір қазы теріс тесті байқамай қалуы, екіншісі команданың жазбасын тәуелсіз іске қосу деп қабылдауы мүмкін. Қолжетімділікті қалпына келтіріңіз немесе бұрын жарияланған тексеру тәсілін түсіндіріңіз. Алғашқы бағалар мен нақтылаудың негізін сақтаңыз.

B жобасын да осы тәртіппен талқылаңыз. C3 үшін ақпарат жеткіліксіз деген ортақ түсінік кездесудің пайдалы нәтижесі болады. Ол ортақ сандық баллды талап етпейді. Калибрлеу хаттамасына анықталған екіұштылықты, ережеге сілтемені, жауапты адамды және келесі әрекетті жазыңыз.

Қазылар деңгей шекараларын түсіндіріп, рәсімді бірдей орындай алғанда жалғастырыңыз. Уақыт аз болса, оқу материалын қысқартыңыз, бірақ жеке қарау мен бір даулы жағдайды талқылауды сақтаңыз.

Жетіспейтін деректер мен мүдделер қақтығысын өңдеңіз

Алғашқы жобаға дейін мәртебелерді түсіндіріңіз. scored балл бар және негізделген дегенді білдіреді. needs_clarification жетіспейтін ақпаратты тіркейді. recused қазының бағалаудан бас тартуын көрсетеді. not_applicable тек ереже критерийді қолданбауды қарастырғанда рұқсат етіледі. Кәдімгі бос ұяшық pending күйін білдіреді, нөлді емес.

Қазы командаға кеңес берсе, қатысушымен бірге жұмыс істесе немесе жеке мүддесі болса, байланысты келісілген арна арқылы ұйымдастырушыға хабарлайды. Бас тарту жарияланған рәсіммен өңделеді: алмастырушы тағайындалады немесе тәуелсіз бағалардың белгіленген тәртібі қолданылады. Мұндай қазының бос бағасын орташа мәнге нөл ретінде қоспаңыз.

Жетіспейтін дерек сұрауына жауапты адам мен мерзім белгілеңіз. Нақтылау тапсыру уақыты өткен соң жобаны жетілдіруге рұқсатқа айналмауы керек. Тапсырылған нұсқа мен шешімнің түсіндірмесін сақтаңыз. Жалпы хаттамаға байланыстың қажетті сипаттамасын енгізіңіз; қатысушыға берілетін кері байланысқа жеке мәліметтер қажет емес.

Нәтижені тексеріп, үш үлгіні қолданыңыз

Нәтижені жарияламас бұрын міндетті бағалардың жиналғанын, бас тартулардың өңделгенін, формуланың жарияланған салмақтарды пайдаланғанын және тең балл рәсімінің орындалғанын тексеріңіз. Міндетті баға анықталмаса, нәтиже аяқталған деп саналмайды. Енгізу қатесін түзетуді себебі мен жауапты адам көрсетілген бөлек жазба ретінде сақтаңыз.

RUBRIC.csv, score-sheet.csv және calibration-record.csv файлдарын жүктеп алыңыз. Файлдарда A/B деп белгіленген оқу жазбалары бар. Нақты бағалау алдында құрылымды көшіріп, мысалдарды алып тастаңыз. Салмақтар мен жарияланған ережеге сілтемені ұйымдастырушы толтырады. CSV файлдары қорытынды баллды автоматты есептемейді.

Матрицаңызды бағалау критерийлері құралдарымен салыстырыңыз. Құралдарда бөлек 100 балдық үлгі бар; іс-шараңыз үшін бірізді бағалау жүйесін алдын ала жариялаңыз. Бекітілген рубриканы, жеке бағаларды және калибрлеу хаттамасын іс-шара ережелері бойынша қабылданған соңғы шешіммен бірге сақтаңыз.