Боюсь что заставят вернуть зарплату за несколько отработанных лет

Здравствуйте! Я работаю в центре дополнительного образования, веду кружки на базе общеобразовательной школы. Во время весенних каникул у меня была ситуация, что на занятия одной группы пришло всего 2 ребенка вместо 15, а вторая группа не явилась вообще. Директор потребовал с меня слово, что такая ситуация больше не повторится, иначе он уволит меня по статье и заставит вернуть всю выплаченную за несколько лет зарплату. Теперь я боюсь остаться работать - и боюсь что если подам заявление об увольнении по собственному желанию, он уволит меня по этой статье. Что мне делать? Дети даже в учебные дни ходят в кружок добровольно, не всегда группа является в полном составе, я оказалась в каком-то трудовом рабстве.