TutorMoments: Do AI tutors know when to help and when to hold back?
Di cosa parla
TutorMoments è una anteprima di una valutazione che prova se i modelli linguistici — programmi che generano testi e qui usati come tutor — sanno bilanciare quando intervenire e quando trattenersi. Si parte da trascrizioni reali di lezioni private di matematica: insegnanti esperti segnalano i momenti decisionali e il modello prende il ruolo del tutor in una simulazione con un altro modello che fa lo studente.
Cosa permette di osservare
Permette di esplorare se i modelli linguistici sanno scegliere quando semplificare un esercizio o quando stimolare lo studente a ragionare da sé, osservando decisioni prese in conversazioni reali tra tutor e studente.
Dalla fonte
📄 Tech Report: https://tutormoments.allen.ai/static/paper/tutormoments-preview.pdf | 📊 Data: https://huggingface.co/datasets/allenai/tutormoments-preview | 💻 Code: https://github.com/allenai/tutormoments Today we're introducing a preview of TutorMoments , a framework to measure whether cutting-edge LLMs can balance one of the hardest trade-offs in education: when to step in and help a student and when to hold back and let the student do more of the work. TutorMoments is a replay-based evaluation built off real one-on-one math tutoring sessions. Experienced math teachers go through transcripts collected from a U.S. tutoring program and flag the moments where a tutor had to choose between making a problem easier to get started on and pushing the student to do more of the reasoning themselves. TutorMoments then takes the transcript up to that decision point, hands it to a language model, a…