Настройка FILE-задач
FILE — задачи, где участник загружает файл с решением. Подходит для документов, презентаций, кода и ML-соревнований с автоматической проверкой.
Типы FILE-задач
| Тип | Проверка | Результат | Применение |
|---|---|---|---|
| Документы | Ручная | Отложенный | Презентации, отчёты |
| Код/архивы | Ручная | Отложенный | Проекты без автопроверки |
| ML-решения | Автоматическая | Мгновенный | Data Science соревнования |
Создание FILE-задачи
Шаг 1: Основные поля
| Поле | Описание | Обязательное |
|---|---|---|
| Название | Название задачи | ✅ |
| Условие | Что нужно загрузить (Markdown) | ✅ |
| Баллы | Максимальное количество баллов | ✅ |
| Порядок | Позиция в треке | ✅ |
Шаг 2: Настройки файла
| Параметр | Описание |
|---|---|
| Разрешённые форматы | Какие типы файлов принимать |
| Максимальный размер | Лимит размера файла |
| Количество файлов | Один или несколько |
Шаг 3: Тип проверки
| Тип | Описание |
|---|---|
| Ручная | Организатор проверяет файл |
| Автоматическая (ML) | Система рассчитывает метрику |
Ручная проверка
Когда использовать
- Презентации и документы
- Код проектов для code review
- Творческие работы
- Материалы без формального критерия оценки
Настройка форматов
Документы:
PDF, DOC, DOCX, PPT, PPTX, ODT
Архивы:
ZIP, RAR, TAR, TAR.GZ, 7Z
Изображения:
PNG, JPG, JPEG, GIF, SVG
Код:
PY, JS, TS, JAVA, CPP, C, GO, RS
Размер файла
| Тип контента | Рекомендуемый лимит |
|---|---|
| Документы | 10-20 МБ |
| Презентации | 20-50 МБ |
| Архивы с кодом | 50-100 МБ |
| Изображения | 5-10 МБ |
Критерии оценки
Укажите критерии для проверяющих:
## Критерии оценки презентации (100 баллов)
### Содержание (50 баллов)
- Полнота раскрытия темы
- Актуальность информации
- Логика изложения
### Оформление (30 баллов)
- Дизайн слайдов
- Читаемость текста
- Качество визуализаций
### Техническое решение (20 баллов)
- Реализуемость идеи
- Техническая грамотность
Автоматическая проверка (ML)
Когда использовать
- ML-чемпионаты и Data Science соревнования
- Kaggle-подобные задачи
- Любые задачи с числовой метрикой качества
Процесс проверки
1. Участник загружает CSV с предсказаниями
2. Система читает файл
3. Сравнивает с ground truth (правильными ответами)
4. Рассчитывает метрику
5. Показывает скор участнику
6. Обновляет лидерборд
Настройка ML-задачи
Подготовка данных
Вам нужно подготовить:
| Файл | Описание | Доступ |
|---|---|---|
| train.csv | Обучающая выборка | Участникам |
| test.csv | Тестовая выборка (без ответов) | Участникам |
| ground_truth.csv | Правильные ответы для test | Только системе |
| sample_submission.csv | Пример формата ответа | Участникам |
Формат submission
Стандартный формат файла с предсказаниями:
id,prediction
1,0.75
2,0.23
3,0.91
4,0.44
| Колонка | Описание |
|---|---|
id | Идентификатор объекта (должен совпадать с test.csv) |
prediction | Предсказание модели |
Метрики качества
| Метрика | Тип задачи | Описание |
|---|---|---|
| RMSE | Регрессия | Root Mean Square Error |
| MAE | Регрессия | Mean Absolute Error |
| R² | Регрессия | Коэффициент детерминации |
| Accuracy | Классификация | Доля правильных |
| F1 | Классификация | F1-мера |
| AUC-ROC | Классификация | Площадь под ROC-кривой |
| Log Loss | Классификация | Логарифмическая функция потерь |
Настройка метрики
| Параметр | Описание |
|---|---|
| Метрика | Выберите из списка |
| Направление | Больше лучше / Меньше лучше |
| Округление | До скольки знаков показывать |
Пример для RMSE:
Метрика: RMSE
Направление: Меньше лучше
Округление: 4 знака
Пример для Accuracy:
Метрика: Accuracy
Направление: Больше лучше
Округление: 4 знака (например, 0.8567)
Публичный и приватный лидерборд
Для ML-соревнований можно настроить два лидерборда:
| Лидерборд | Описание |
|---|---|
| Публичный | Скор на части тестовой выборки (видимый) |
| Приватный | Скор на полной выборке (скрыт до конца) |
Настройка:
- Public split: 30% тестовой выборки
- Private split: 100% (или оставшиеся 70%)
Зачем:
- Предотвращает переобучение на public тестах
- Финальный результат по private скору
Ограничения попыток
Для ручной проверки
| Значение | Использование |
|---|---|
| 1 | Финальная загрузка |
| Без ограничений | Можно обновлять файл |
Для ML-соревнований
| Тип ограничения | Описание |
|---|---|
| В день | Например, 5 попыток в сутки |
| Всего | Общий лимит за соревнование |
Рекомендации:
- Короткое соревнование (1-3 дня): 10-20 попыток в день
- Длинное соревнование (1-4 недели): 3-5 попыток в день
- Без ограничений: только для обучающих соревнований
Учёт результата
| Режим | Описание |
|---|---|
| Лучший | В зачёт идёт лучший скор |
| Последний | В зачёт идёт последняя загрузка |
| Выбор участника | Участник сам выбирает финальный submission |
Условие ML-задачи
Структура описания
# Название задачи
## Описание
Краткое описание бизнес-задачи и цели.
## Данные
- **train.csv** — обучающая выборка (N объектов, M признаков)
- **test.csv** — тестовая выборка (K объектов)
- **sample_submission.csv** — пример формата ответа
### Описание признаков
| Колонка | Тип | Описание |
|---------|-----|----------|
| id | int | Уникальный идентификатор |
| feature_1 | float | Описание признака 1 |
| ... | ... | ... |
| target | float | Целевая переменная (только в train) |
## Метрика
RMSE (Root Mean Square Error) — чем меньше, тем лучше.
## Формат ответа
CSV-файл с колонками `id` и `prediction`.
## Ограничения
- 5 попыток в день
- Максимальный размер файла: 10 МБ
## Baseline
RMSE = 0.45 (среднее значение target)
Чек-лист условия
- Описана бизнес-задача
- Приложены все файлы данных
- Описаны все колонки
- Указана метрика и её направление
- Приложен sample_submission
- Указаны ограничения попыток
- Указан baseline
Валидация файла
Проверки при загрузке
| Проверка | Действие при ошибке |
|---|---|
| Формат файла | Отклонить |
| Размер файла | Отклонить |
| Структура CSV | Показать ошибку |
| Количество строк | Показать ошибку |
| Типы данных | Показать ошибку |
Сообщения об ошибках
❌ Неверный формат файла. Ожидается CSV.
❌ Файл превышает максимальный размер (10 МБ).
❌ Отсутствует колонка 'id'.
❌ Количество строк (100) не совпадает с ожидаемым (150).
❌ Колонка 'prediction' содержит нечисловые значения.
Примеры задач
Презентация проекта
Название: Презентация MVP
Условие:
Загрузите презентацию вашего MVP.
**Требования:**
- Формат: PDF или PPTX
- Объём: 10-15 слайдов
- Содержание: проблема, решение, демо, бизнес-модель
**Критерии оценки:**
- Качество идеи: 40%
- Презентация решения: 30%
- Бизнес-потенциал: 30%
Настройки:
- Форматы: PDF, PPTX
- Размер: до 50 МБ
- Проверка: ручная
- Баллы: 100
ML-соревнование
Название: Предсказание оттока клиентов
Условие:
Предскажите вероятность оттока клиентов телеком-компании.
## Данные
- train.csv — 5000 клиентов с историей
- test.csv — 2000 клиентов для предсказания
## Метрика
AUC-ROC — площадь под ROC-кривой.
## Формат ответа
```csv
id,prediction
1,0.75
2,0.12
Baseline
AUC-ROC = 0.50 (случайное предсказание)
**Настройки:**
- Формат: CSV
- Размер: до 10 МБ
- Метрика: AUC-ROC
- Направление: больше лучше
- Попытки: 5 в день
- Учёт: лучший результат
## Статистика
### Для ручной проверки
| Метрика | Описание |
|---------|----------|
| **Загружено** | Количество загруженных файлов |
| **На проверке** | Ожидают проверки |
| **Проверено** | Оценённые работы |
| **Средний балл** | Средняя оценка |
### Для ML
| Метрика | Описание |
|---------|----------|
| **Submissions** | Общее количество загрузок |
| **Уникальных участников** | Сколько человек загружали |
| **Лучший скор** | Лучший результат |
| **Средний скор** | Средний по всем |
| **Медианный скор** | Медианное значение |
## Частые ошибки
### При создании
| Ошибка | Последствие |
|--------|-------------|
| Нет sample_submission | Участники не знают формат |
| Нет описания колонок | Непонятно что предсказывать |
| Слишком много попыток | Переобучение на тесте |
| Нет baseline | Непонятно хороший ли результат |
### При проверке
| Ошибка | Решение |
|--------|---------|
| Файлы участников не открываются | Укажите конкретные форматы |
| Критерии субъективны | Опишите шкалу оценок |
| Долгая проверка | Привлеките нескольких проверяющих |
## Частые вопросы
**В: Можно ли менять метрику после старта?**
О: Технически да, но это нечестно по отношению к участникам. Не рекомендуется.
**В: Как скрыть ground truth от участников?**
О: Ground truth загружается отдельно и недоступен для скачивания. Система использует его только для расчёта скора.
**В: Участник загрузил неверный формат. Что делать?**
О: Система автоматически отклонит файл. Если участник обратился в поддержку — объясните требуемый формат.
**В: Как организовать командное ML-соревнование?**
О: Лимит попыток устанавливается на команду. Все члены команды видят общий скор.
## Связанные статьи
- [Создание задач](/docs/organizer/tracks-tasks/create-tasks)
- [Настройка CODING-задач](/docs/organizer/tracks-tasks/coding-task-setup)
- [Управление участниками](/docs/organizer/community/participants)