Виталий Богачев

CI всегда гоняет новые тесты на новом коде. pr-witness запускает тесты базовой ветки на коде PR, показывает каждый переписанный тест со старым и новым утверждением, сверяет заявления из описания («412 passed») с реальным прогоном и подписывает результат через GitHub attestations. Проверен на коммитах из реальных сессий Claude Code — с замороженным кодом и метками, закоммиченными заранее: кросс-прогон совпал с меткой во всех 11 доведённых до конца прогонах; итоговый вердикт — в 7 из 12, причина каждого промаха найдена и исправлена в следующем релизе.

Регрессионные проверки малых дообученных моделей на вызове инструментов: побайтовое сравнение обучающего и runtime-промпта (оно измерило цену известной ошибки Ollama: схема инструмента доходит до модели в виде дампа Go-структуры), линтер датасетов с токенизатором модели и оценка вызовов base/tuned/quantized. Обследованы шесть публичных датасетов.

Golden-наборы, метрики groundedness и галлюцинаций, абсолютные пороги и пер-кейсовое сравнение с baseline. Возвращает ненулевой код, чтобы CI блокировал ухудшение — а сам CI проверяет, что гейт отклоняет заведомо плохой прогон.

Строгие JSON-схемы, чтобы модель вызывала инструмент правильно с первого раза, ошибки, написанные для модели, а не стектрейсы, и калькулятор, защищённый от выполнения кода четырьмя независимыми слоями.

Откалиброванные пороги уверенности, гибридный поиск (векторный + лексический) и цитаты с источником и заголовком. Реальные слабости зафиксированы тестами, чтобы README не стал незаметно неправдой.