🎯 О чём этот конспект: Глубокое погружение в философию и техническое устройство Cody — AI-ассистента от Sourcegraph. Создатели обсуждают, почему чистые LLM-агенты сегодня переоценены, как объединить классические алгоритмы поиска (Chomsky) с нейросетями (Norvig) и почему контекст важнее размера модели.
👤 Кому будет полезно: Вайбкодерам, системным архитекторам и разработчикам, которые хотят понять «под капотом» работу современных AI-инструментов и научиться эффективно использовать контекст в своих промптах.
✨ Что получите: Понимание гибридной архитектуры поиска кода, методику «бинарной упаковки» контекста и инсайты о том, как Sourcegraph планирует автоматизировать сложные цепочки разработки без потери надежности.
1. Гибридная архитектура «Normski»: Соединение Chomsky и Norvig
Контекст: Разработчики Sourcegraph выделяют два подхода к AI: «школа Хомского» (формальные системы, парсеры, компиляторы) и «школа Норвига» (статистические модели, LLM). Проблема современных AI-инструментов в том, что они слишком полагаются на статистику (Norvig), игнорируя точную структуру кода. Это приводит к галлюцинациям и ошибкам в типах данных. Решение — архитектура Normski (Non-agentic Rapid Multisource Code Intelligence), которая использует детерминированные графы для подготовки идеального контекста перед отправкой запроса в LLM.
Выгода: Радикальное снижение ошибок (особенно Type Errors) и ускорение работы за счет отсутствия лишних «размышлений» модели о том, где искать файлы.
Как применить:
- Шаг 1: Использование графа ссылок — Инструмент: Sourcegraph BFG (Big Friendly Graph) — Вместо того чтобы просто делать векторный поиск (RAG), Cody строит граф символов. Он находит определение функции и все места её вызова, упаковывая эти точные данные в контекстное окно.
- Шаг 2: Анализ структуры через парсеры — Инструмент: Tree-sitter — При подготовке промпта Cody разделяет сигнатуру функции, её тело и документацию, чтобы модель понимала иерархию, а не просто видела «плоский текст».
Результат: Модель получает не просто похожие куски кода, а логически связанные компоненты системы.
2. RAG против Агентов: Почему «Fire and Forget» пока не работает
Контекст: Сейчас в индустрии бум «агентов», которые якобы могут сами закрывать тикеты. Спикеры Sourcegraph настроены скептически (bearish) к полностью автономным агентам на базе только трансформеров. Они утверждают, что надежность генерации кода с первой попытки всё еще слишком низка для цепочек из 10+ шагов без участия человека. Вместо этого они фокусируются на «Developer-in-the-loop» — когда AI предлагает точные правки, но человек остается финальным валидатором.
Выгода: Экономия времени на отладке «галлюцинированного» кода, который мог бы нагенерировать автономный агент.
Как применить:
- Шаг 1: Локальное уточнение — Вместо промпта «напиши всё приложение», используйте Cody для решения конкретных ошибок компиляции.
- Шаг 2: Использование контекстных фильтров — В Cody можно явно указать репозитории или файлы через символ
@, чтобы ограничить область «фантазии» AI.
Результат: Предсказуемый результат работы AI, который легко проверить и внедрить в основную ветку.
3. Секрет «Bin Packing»: Как впихнуть невпихуемое в контекстное окно
Контекст: Контекстное окно (Context Window) — это ограниченный ресурс. Даже если у вас 100k токенов, модель лучше всего помнит начало и конец (эффект «Lost in the Middle»). Sourcegraph использует сложную приоритизацию: они не просто кидают файлы в промпт, а занимаются «упаковкой контейнеров» (bin packing).
Выгода: Максимальная релевантность ответов даже при огромных кодовых базах.
Как применить:
- Шаг 1: Рекурсивная суммаризация — Если файл слишком большой, Cody сначала просит маленькую модель суммаризировать его части, и только потом передает суммаризацию в основную модель (GPT-4 или Claude 3).
- Шаг 2: Ранжирование по близости к курсору — Приоритет всегда отдается коду, который находится в том же модуле или импортируется напрямую в текущем файле.
Результат: Модель «видит» архитектуру всей системы, не перегружая окно бесполезными деталями.
4. Open Code Graph: Протокол для обмена контекстом
Контекст: Sourcegraph продвигает идею, что контекст для AI должен поступать не только из Git. Настоящие знания о проекте лежат в логах, PR-описаниях, документации в Notion и Slack. Они разрабатывают протокол Open Code Graph (аналог LSP для AI), чтобы любые инструменты могли отдавать свои данные в Cody.
Выгода: AI сможет отвечать на вопросы типа «Почему мы внедрили это решение?» или «Какие ошибки падали в продакшене вчера?».
Как применить:
- Шаг 1: Подключение внешних источников — В будущем Cody позволит подключать API документации или логов через стандартные коннекторы.
- Шаг 2: Использование Cody Web — Для быстрого анализа чужих репозиториев (например, Open Source библиотек) используйте веб-интерфейс Cody, где можно объединять несколько репо в один чат.
Результат: Единая точка входа для понимания всей экосистемы продукта, а не только кода.
FAQ
В: Чем Cody принципиально отличается от GitHub Copilot? О: Главное отличие в глубине контекста. Copilot в основном видит открытые вкладки. Cody использует полноценный поисковый движок Sourcegraph и граф символов (BFG), что позволяет ему «понимать» зависимости во всем репозитории, даже если файлы закрыты.
В: Какую модель лучше использовать для написания кода внутри Cody? О: Для автодополнения (inline completion) Sourcegraph рекомендует StarCoder или другие быстрые open-source модели. Для чата и сложных архитектурных вопросов — Claude 3 Opus или GPT-4, так как они лучше работают с длинным контекстом.
В: Безопасно ли отдавать свой код в Cody? О: Да, Sourcegraph делает на этом акцент. В отличие от базовых версий других ассистентов, они гарантируют (Zero Retention), что ваш код не будет использован для дообучения глобальных моделей.
В: Что такое BFG в контексте Sourcegraph? О: BFG (Big Friendly Graph) — это внутренний движок, который на лету индексирует локальный код без необходимости сложной настройки системы сборки. Он находит связи между функциями и типами, чтобы передать их в AI.
В: Стоит ли сейчас инвестировать в создание AI-агентов? О: Спикеры советуют быть осторожными. Вместо полной автоматизации лучше инвестировать в «усиление» разработчика (AI-enhanced engineer). Полная замена инженера агентом пока упирается в надежность самих моделей.
Конспект создан на основе видео «Sourcegraph Cody: The Normski Architecture and the Future of AI Agents» канала Latent Space. Все права на оригинальный материал принадлежат авторам. Источник: https://www.youtube.com/watch?v=hKEE3dPuYVk
SourceCraft (Яндекс)