Почти все составляющие модели параллельных запросов в планировщике дают скидку: строки распределяются между процессами, а вместе с ними делится и стоимость вычислений процессора. Параметры parallel_setup_cost и parallel_tuple_cost — два исключения: именно они учитывают дополнительные затраты на использование параллельного выполнения. Первый задаёт фиксированную плату за каждый узел Gather, второй — плату за каждую строку, поступающую через него. Значения по умолчанию — 1000 и 0.1. Они выражены в тех же условных единицах, что и все остальные оценки стоимости планировщика: чтение одной страницы при последовательном сканировании стоит 1, обработка одной строки — 0.01. Оба параметра имеют тип с плавающей точкой, допускают значение не меньше нуля и относятся к контексту user. Поэтому их можно задавать отдельно для сеанса, роли, базы данных или функции. Значения по умолчанию для обоих параметров были зафиксированы в коде 30 сентября 2015 года и с тех пор не менялись.
Практические шаблоны Python, которые спокойно переводят скрипты в настоящие автоматизированные системы.
Большинство людей пишут скрипты, а не системы.
В этом разница.
Скрипт решает одну задачу. Система решает рабочий процесс - то, о чем вы совершенно перестаете думать, потому что Python просто обрабатывает это в фоновом режиме.
Значение max_parallel_workers_per_gather = 2 означает, что в выполнении запроса участвуют три процесса. Третий — это серверный процесс, к которому подключён клиент, так называемый ведущий процесс (leader). Он запускает два рабочих процесса, но вместо того, чтобы просто ждать их завершения, сам выполняет свою копию того же плана запроса. Параметр parallel_leader_participation определяет, будет ли он это делать. Это логический параметр, значение по умолчанию — on, контекст — user (изменить его может любая сессия, работает и команда ALTER ROLE ... SET). Параметр появился в PostgreSQL 11.
Исправление: в июльской статье о escape_string_warning я рекомендовал оставлять этот параметр включённым. Однако в PostgreSQL 19 его удалили — соответствующий коммит появился почти за полгода до публикации статьи. В конце этой статьи я проверю и остальные подобные случаи.
Почти десятилетие способ, которым вы сохраняли документ JSON в SQL Server, вообще не сохранял документ JSON. Вы сохраняли строку. NVARCHAR(MAX), проверочное ограничение ISJSON, чтобы не допустить попадание мусора, и молчаливое согласие с самим собой, что столбец был JSON, потому что вы так решили.
SQL Server 2025 ввел настоящий тип данных JSON. Бинарное хранилище, анализируется один раз, запросы выполняются без повторного анализа каждой строки. Эта статья представляет собой демонстрацию: старое мучение, новое поведение, и одно слово в документации Microsoft, которую необходимо прочесть, прежде чем реализовать тип данных JSON в производственной системе. Продолжить чтение "Ваш столбец JSON никогда не был столбцом JSON"
Параметр num_os_semaphores появился потому, что документация PostgreSQL на протяжении двенадцати лет то и дело неверно складывала числа. Это предустановленный параметр (preset): контекст internal, доступен только для чтения, появился в PostgreSQL 18. Он показывает, сколько семафоров операционной системы сервер запрашивает при запуске. В стандартной установке PostgreSQL 18 это число равно 174.
В комментарии в начале файла async.c сказано, что notify_buffers «можно изменять, не затрагивая ничего, кроме производительности». Я решил проверить, насколько заметно это влияет на производительность. Максимальный эффект, который мне удалось обнаружить, составил 10% пропускной способности. И чтобы добиться его, пришлось передавать более 100 МБ уведомлений в секунду.
Это один из семи параметров размеров кэшей SLRU, которые в PostgreSQL 17 сделали настраиваемыми. В статье о commit_timestamp_buffers я подробно рассказывал, что такое SLRU.
Рассматриваемый параметр кэширует страницы очереди LISTEN/NOTIFY. Именно длину этой очереди ограничивает max_notify_queue_pages.
Параметр multixact_offset_buffers по умолчанию выделяет 16 буферов. В версиях PostgreSQL вплоть до 18 включительно этого достаточно для хранения смещений 32 768 мультитранзакций. Параметр multixact_member_buffers по умолчанию выделяет 32 буфера, в которых помещается 52 352 участника мультитранзакций. Достаточно ли этих значений или, напротив, они совершенно неприемлемы, зависит от одного обстоятельства: сколько мультитранзакций создаёт ваша система, пока остаётся открытой самая продолжительная транзакция, удерживающая блокировки строк.
Вы уже обрабатываете файлы, тестируете SQL и проверяете данные локально. Вы просто используете для этого больше инфраструктуры, чем необходимо.
Это из категорий проблем в обработке данных, которые слишком малы для Spark, слишком медленны для Pandas и слишком раздражают, чтобы ради них открывать хранилище данных Snowflake. Чтение 2Гб файла Parquet для проверки схемы. Запуск быстрой агрегации дампа CSV от поставщика. Тестирование сложного преобразования SQL локально перед развертыванием его в производстве. Годами на это был ответ "просто используйте Pandas" или "просто подключитесь к хранилищу данных". DuckDB - это лучший ответ на большинство подобных вопросов.
Продолжить чтение "DuckDB для инженеров данных"
Автор Christophe Pettus: All Your GUCs in a Row: min_wal_size
У параметра min_wal_size описание в представлении pg_settings лучше, чем в документации: «Задаёт минимальный размер, до которого можно уменьшить объём WAL». Вот и всё, что он делает. Это нижняя граница, до которой разрешено сокращать размер каталога pg_wal. При этом параметр не сохраняет ни одного сегмента WAL, который кто-либо мог бы прочитать, хотя его название подталкивает воспринимать его как настройку срока хранения.
В названиях обоих параметров есть слово «минимальный», и оба действительно задают минимальный порог. Если, по оценке планировщика, при просмотре таблицы потребуется прочитать меньше объёма, заданного параметром min_parallel_table_scan_size (по умолчанию 8MB), или при просмотре индекса — меньше объёма, заданного параметром min_parallel_index_scan_size (по умолчанию 512kB), такой вариант не будет рассматриваться для параллельного плана. Это та часть, которая описана в документации.
Но есть и вторая часть: каждое из этих значений служит также нижней ступенью лестницы, по которой планировщик определяет, сколько рабочих процессов запросить. Поэтому изменение минимального порога сдвигает все ступени выше него.
Вы построили пять индексов для таблицы с 339М строками, индексы JOIN подбираются нормально, но оптимизатор игнорирует каждый созданный вами индекс для предложения WHERE. Это один из самых неприятных моментов в разработке SQL главным образом потому, что причина не является очевидной. Индекс существует. Он на правильной таблице. Так почему оптимизатор совершенно игнорирует его?