# Выбирайте модель на основе проверок

Taiga Learning · Рабочий лист
https://taiga.training/ru/lessons/evaluate-models/

Используйте вымышленную или разрешённую информацию. Не записывайте секреты в этот рабочий лист.

## Цели обучения
- Составлять небольшой набор проверок из реальных типов задач.
- Отделять качество модели от влияния инструментов и контекста.
- Фиксировать условия, при которых оценку нужно повторить.

## Упражнение
Создайте лист оценки для трёх типов задач: известного дефекта, небольшой функции и объяснения репозитория. Определите критерии приёмки до сравнения моделей. Включите один случай сбоя для каждой задачи. Запишите версию модели, контекст, разрешения инструментов, попытки, стоимость и затраты на review.

## Ваш ответ
- Сценарий и объём:
- Предположения и открытые вопросы:
- Предлагаемый ответ или решение с обоснованием:

## Проверьте свой ответ
| Утверждение или критерий | Подтверждение или тест | Результат или пробел | Ответственный |
| --- | --- | --- | --- |
| | | | |
| | | | |
| | | | |

## Следующее действие
- Действие, ответственный и дата:
- Когда вы пересмотрите этот ответ?

## Принцип, который нужно сохранить
Выбирайте модель для конкретной задачи и окружения. Пересматривайте решение при изменении модели, инструментов или требований.

## Источники
- [NIST: Generative AI Profile](https://doi.org/10.6028/NIST.AI.600-1)
- [METR: Developer productivity study methodology](https://metr.org/blog/2025-07-10-early-2025-ai-experienced-os-dev-study/)

Этот рабочий лист помогает обучению. Его заполнение само по себе не разрешает изменение production.