Gemini-SQL2 набрала 80,04% точности на тесте BIRD для преобразования текста в SQL

Google объявила о Gemini-SQL2 — возможности преобразовывать запросы на естественном языке в SQL. По сообщению об испытании, система на базе Gemini 3.1 Pro вернула правильный результат для 80,04% запросов в треке одиночных моделей BIRD. На опубликованной Google диаграмме результат выше, чем у предыдущего лидера Gemini-SQL.

Показатель оценивает не то, насколько правдоподобно выглядит сгенерированный SQL, а то, выполняется ли запрос и возвращает ли правильные результаты. Gemini-SQL2 — не отдельная базовая модель, а функция, которая, по описанию Google, создаёт «готовые к выполнению SQL-запросы».

Что измеряет тест BIRD

BIRD (BIg Bench for LaRge-scale Database Grounded Text-to-SQL Evaluation) — отраслевой тест для оценки преобразования текста в SQL. Он включает 12 751 пару «вопрос — SQL-запрос» для 95 баз данных из 37 профессиональных областей; общий объём данных составляет 33,4 ГБ. В базах есть некорректные значения, а для ответа на вопросы требуется использовать внешние знания. Этим тест отличается от более ранних наборов, например Spider.

BIRD оценивает точность выполнения: сгенерированный запрос должен успешно запускаться и возвращать результаты, совпадающие с эталонным запросом. В треке одиночных обученных моделей ограничены методы предварительной обработки, поиска информации и агентные схемы, которые ансамбли могут использовать для повышения результата. Поэтому трек проверяет базовые способности модели преобразовывать текст в SQL.

Google сообщила, что предыдущий результат компании в этом треке составлял 76,13%. По оценке Google, результат человека — 92,96%, то есть от показателя Gemini-SQL2 его отделяют 12,92 процентного пункта.

Сравнение результатов на диаграмме Google

На диаграмме Gemini-SQL2 опережает восемь названных систем и несколько точек без подписей. Только показатель 80,04% приведён в тексте объявления; остальные значения приблизительно оценены по положению точек на диаграмме.

Система Организация Точность выполнения BIRD, одиночная модель
Gemini-SQL2 Google 80,04% (указано явно)
Gemini-SQL Google около 77,2%
Q-SQL AWS около 76,5%
Databricks RLVR 32B Databricks около 75,7%
SiriusAI-Text2SQL-32B-v2 Tencent около 75,0%
Arctic-Text2SQL-R1-32B Snowflake около 73,9%
GPT-5.5-xhigh OpenAI около 72,5%
SQLWeaver-32B Alibaba около 71,7%
Claude Opus 4.6 Anthropic около 70,1%

На диаграмме Google занимает две верхние позиции среди названных систем — их удерживают Gemini-SQL2 и Gemini-SQL. Несколько специализированных SQL-моделей с 32 млрд параметров также показывают результат выше, чем некоторые универсальные передовые модели.

Где может пригодиться преобразование текста в SQL

  • Самостоятельная аналитика. Например, менеджер по выручке может запросить ежемесячный регулярный доход по регионам для клиентов, которые ушли в течение 90 дней после перехода на другой тариф. Такой запрос требует объединения таблиц, оконных функций и арифметики дат. Проверка выполнения помогает выявлять запросы, которые запускаются, но возвращают неверные строки.
  • Подготовка преобразований данных. Разработчики могут создавать черновики преобразований BigQuery на обычном языке и затем проверять их, вместо того чтобы писать запросы с нуля. В предыдущей работе Google отмечала, что сложность заключается в понимании схемы данных. Более высокий результат BIRD может указывать на улучшенную работу с неоднозначными названиями столбцов и неаккуратными значениями.
  • Функции «задай вопрос своим данным». Для запросов в реальном сервисе нужна отдельная проверка: показатель BIRD не измеряет долю ошибок на данных конкретной компании. Результат помогает оценить возможности системы, но не отменяет контроля.

Возможная интеграция и доступность

В объявлении Google отмечала, что генерировать точный SQL из естественного языка трудно из-за тонких особенностей данных и сложного контекста. Компания также заявила, что улучшенное понимание SQL может повысить возможности работы с естественным языком в её сервисах для данных.

В качестве возможных направлений интеграции можно рассматривать BigQuery Studio, AlloyDB AI и Cloud SQL Studio: в этих продуктах уже есть генерация SQL на базе Gemini. Однако Google пока не подтвердила, какие именно продукты получат Gemini-SQL2. Компания также не опубликовала идентификатор модели или API, карточку модели и технический отчёт. Сама Gemini-SQL2 пока публично недоступна.

Пример схемы реализации на Gemini

Поскольку отдельный идентификатор модели Gemini-SQL2 пока не опубликован, приведённый пример использует существующую модель Gemini через SDK google-genai. Пример показывает общий вызов Gemini API и не воспроизводит результат Gemini-SQL2.

from google import genai

client = genai.Client()  # читает GEMINI_API_KEY из переменных окружения

schema = """
CREATE TABLE orders (
  order_id INTEGER, customer TEXT, region TEXT,
  amount REAL, status TEXT, created_at DATE
);
"""

question = "Total paid order amount by region in 2026, highest first."

prompt = f"""You are a text-to-SQL system.
Schema:{schema}
Question: {question}
Return only one executable SQLite query. No explanation."""

resp = client.models.generate_content(
    model="gemini-3.1-pro-preview",  # базовая модель из объявления; замените, когда появится идентификатор Gemini-SQL2
    contents=prompt,
)
print(resp.text)

Сгенерированный SQL сначала проверяют. Пробное выполнение проводят в отдельной среде или с доступом только для чтения; отсутствие ошибки при запуске ещё не означает правильный результат.

Главное

  • По данным Google, Gemini-SQL2 набрала 80,04% точности выполнения на таблице лидеров BIRD для одиночных моделей.
  • Возможность работает на базе Gemini 3.1 Pro и предназначена для создания запросов, готовых к выполнению, а не просто похожих на корректный SQL.
  • На диаграмме Google Gemini-SQL2 и Gemini-SQL занимают две верхние позиции среди названных систем; оценка результата человека составляет 92,96%.
  • Google пока не опубликовала API, карточку модели, технический отчёт или сведения о её интеграции в продукты.