Anthropic построила собственную систему контроля версий, потому что Claude пишет слишком много кода

Модели Anthropic Claude стали генерировать столько кода, что существующая инфраструктура разработки перестала справляться с нагрузкой. Ответом на это стала собственная система контроля версий Scion.

Для Anthropic написание кода перестало быть узким местом, ограничивающим темпы работы. Главная проблема сместилась в сторону управления кодом уже после его создания: контроль версий, системы сборки и непрерывной интеграции. Если в мае в среде разработки компании фиксировалось около 2500 слияний в день, то к сентябрю показатель достиг 30 000. Темпы только растут, и «устранение любого препятствия немедленно приводит к дальнейшему увеличению объёма создаваемого кода», отметили в Anthropic. Свою систему контроля версий Scion построили на базе монорепозитория, а миграция заняла пять месяцев.

Высокая продуктивность Claude не только создала проблему, но и подсказала путь к её решению: понадобились масштабируемые инфраструктурные инструменты. Помимо Scion, ИИ создал интерфейс для код-ревью Antique, средство поиска по коду и систему управления правами доступа к исходникам. Децентрализованный подход, реализованный в Git, оптимален для большинства репозиториев, однако в самой компании основная ветка занимает около 100 Гбайт, а сжатая рабочая копия примерно четверть этого объёма. Ежедневно производится более 25 млн операций по извлечению кода, и при обычном подходе к загрузке объём трафика Git превысил бы 600 Пбайт в сутки.

Scion проектировали с учётом потребностей ИИ-агентов, поэтому значительную часть работы перенесли с клиентской части на серверную. Запросы идут через API, благодаря чему внутренние инструменты обходятся без локального репозитория. Потребность в синхронизации снижается, а требования к скорости сервера, напротив, растут.

Работу над Scion начали в январе. Когда внутри компании появился доступ к модели Claude Mythos Preview, инженеры поручили ей переписать первоначальный конвейер переноса данных из Git в Scion. Та предложила версию, которая потребляла в 20 раз меньше памяти и работала вчетверо быстрее. К тому, что ИИ стал писать код лучше их, инженеры относятся спокойно. Сейчас их задача сводится к контролю за работой ИИ и пресечению инициатив, нарушающих заданные ограничения.

Выпускать Scion как проект с открытым исходным кодом в Anthropic не планируют, но допускают, что с похожей проблемой в обозримом будущем могут столкнуться и другие организации. Поэтому компания решила поделиться своим подходом.