Skip to content

Всё о GUC по порядку: num_os_semaphores

Автор Christophe Pettus: All Your GUCs in a Row: num_os_semaphores


Параметр num_os_semaphores появился потому, что документация PostgreSQL на протяжении двенадцати лет то и дело неверно складывала числа. Это предустановленный параметр (preset): контекст internal, доступен только для чтения, появился в PostgreSQL 18. Он показывает, сколько семафоров операционной системы сервер запрашивает при запуске. В стандартной установке PostgreSQL 18 это число равно 174.

Продолжить чтение "Всё о GUC по порядку: num_os_semaphores"

Всё о GUC по порядку: notify_buffers

Christophe Pettus: All Your GUCs in a Row: notify_buffers


В комментарии в начале файла async.c сказано, что notify_buffers «можно изменять, не затрагивая ничего, кроме производительности». Я решил проверить, насколько заметно это влияет на производительность. Максимальный эффект, который мне удалось обнаружить, составил 10% пропускной способности. И чтобы добиться его, пришлось передавать более 100 МБ уведомлений в секунду.



Это один из семи параметров размеров кэшей SLRU, которые в PostgreSQL 17 сделали настраиваемыми. В статье о commit_timestamp_buffers я подробно рассказывал, что такое SLRU.



Рассматриваемый параметр кэширует страницы очереди LISTEN/NOTIFY. Именно длину этой очереди ограничивает max_notify_queue_pages.

Продолжить чтение "Всё о GUC по порядку: notify_buffers"

Всё о GUC по порядку: multixact_member_buffers и multixact_offset_buffers

Автор Christophe Pettus: All Your GUCs in a Row: multixact_member_buffers and multixact_offset_buffers


Параметр multixact_offset_buffers по умолчанию выделяет 16 буферов. В версиях PostgreSQL вплоть до 18 включительно этого достаточно для хранения смещений 32 768 мультитранзакций. Параметр multixact_member_buffers по умолчанию выделяет 32 буфера, в которых помещается 52 352 участника мультитранзакций. Достаточно ли этих значений или, напротив, они совершенно неприемлемы, зависит от одного обстоятельства: сколько мультитранзакций создаёт ваша система, пока остаётся открытой самая продолжительная транзакция, удерживающая блокировки строк.


Продолжить чтение "Всё о GUC по порядку: multixact_member_buffers и multixact_offset_buffers"

DuckDB для инженеров данных

Пересказ статьи Joachim Hodana. DuckDB for data engineers


Вы уже обрабатываете файлы, тестируете SQL и проверяете данные локально. Вы просто используете для этого больше инфраструктуры, чем необходимо.

Это из категорий проблем в обработке данных, которые слишком малы для Spark, слишком медленны для Pandas и слишком раздражают, чтобы ради них открывать хранилище данных Snowflake. Чтение 2Гб файла Parquet для проверки схемы. Запуск быстрой агрегации дампа CSV от поставщика. Тестирование сложного преобразования SQL локально перед развертыванием его в производстве. Годами на это был ответ "просто используйте Pandas" или "просто подключитесь к хранилищу данных". DuckDB - это лучший ответ на большинство подобных вопросов. Продолжить чтение "DuckDB для инженеров данных"

Всё о GUC по порядку: min_wal_size

Автор Christophe Pettus: All Your GUCs in a Row: min_wal_size


У параметра min_wal_size описание в представлении pg_settings лучше, чем в документации: «Задаёт минимальный размер, до которого можно уменьшить объём WAL». Вот и всё, что он делает. Это нижняя граница, до которой разрешено сокращать размер каталога pg_wal. При этом параметр не сохраняет ни одного сегмента WAL, который кто-либо мог бы прочитать, хотя его название подталкивает воспринимать его как настройку срока хранения.

Продолжить чтение "Всё о GUC по порядку: min_wal_size"

Новости за 2026-11-07 - 2026-11-13

§ Претенденты на попадание в TOP 100

Рейтинг	 Участник (решенные задачи, время в днях)
101 Paulus73 (161, 24.735)
136 Murderface_ (155, 735.414)
196 _GUERNIKA_ (118, 163.150)
213 saah (124, 72.192)
218 gmansur88 (109, 208.675)
325 junopark1 (88, 41.963)
399 NowOrNever (71, 40.120)

§ Авторы недели на форуме

Автор		Сообщений
pegoopik 3
gennadi_s 3

Продолжить чтение "Новости за 2026-11-07 - 2026-11-13"

Всё о GUC по порядку: min_parallel_index_scan_size и min_parallel_table_scan_size

Автор Christophe Pettus: All Your GUCs in a Row: min_parallel_index_scan_size and min_parallel_table_scan_size


В названиях обоих параметров есть слово «минимальный», и оба действительно задают минимальный порог. Если, по оценке планировщика, при просмотре таблицы потребуется прочитать меньше объёма, заданного параметром min_parallel_table_scan_size (по умолчанию 8MB), или при просмотре индекса — меньше объёма, заданного параметром min_parallel_index_scan_size (по умолчанию 512kB), такой вариант не будет рассматриваться для параллельного плана. Это та часть, которая описана в документации.



Но есть и вторая часть: каждое из этих значений служит также нижней ступенью лестницы, по которой планировщик определяет, сколько рабочих процессов запросить. Поэтому изменение минимального порога сдвигает все ступени выше него.

Продолжить чтение "Всё о GUC по порядку: min_parallel_index_scan_size и min_parallel_table_scan_size"

Почему ваш индекс не используется? Анализ планов выполнения для выявления причины

Пересказ статьи sanketparmar. Why Your Index Isn't Being Used? - Reading Execution Plans to Find the Real Culprit


Вы построили пять индексов для таблицы с 339М строками, индексы JOIN подбираются нормально, но оптимизатор игнорирует каждый созданный вами индекс для предложения WHERE. Это один из самых неприятных моментов в разработке SQL главным образом потому, что причина не является очевидной. Индекс существует. Он на правильной таблице. Так почему оптимизатор совершенно игнорирует его?

Ответом редко бывает "индекс поломался". Почти всегда дело в запросе или в состоянии базы данных, которое является причиной для оптимизатора игнорировать индекс. В этой статье мы обсудим, как читать план выполнения, чтобы обнаружить эту причину, и как после этого исправить проблему.
Продолжить чтение "Почему ваш индекс не используется? Анализ планов выполнения для выявления причины"

Всё о GUC по порядку: md5_password_warnings

Автор Christophe Pettus: All Your GUCs in a Row: md5_password_warnings


md5_password_warnings — это переключатель, отключающий уведомление об устаревшем механизме. В PostgreSQL 18 хеши паролей MD5 были объявлены устаревшими. С этого момента сервер выдаёт предупреждение WARNING каждый раз, когда такой хеш сохраняется в системе. В том же изменении кода появился и этот параметр, позволяющий отключить предупреждение.

Продолжить чтение "Всё о GUC по порядку: md5_password_warnings"

Всё о GUC по порядку: max_wal_size

Автор Christophe Pettus: All Your GUCs in a Row: max_wal_size


max_wal_size — это не максимальный размер и даже не размер чего-либо, что можно измерить командой du. Это порог запуска контрольной точки, выраженный в байтах. Как только объём WAL, записанного с момента начала последней контрольной точки, достигает определённой доли этого значения, начинается следующая контрольная точка — независимо от того, наступило ли время очередного запуска по параметру checkpoint_timeout. Оба условия запуска и причины, по которым желательно, чтобы срабатывало именно временное ограничение, разобраны в статье «Экскурсия по контрольным точкам». Об этом параметре я уже писал дважды раньше. Но в тех статьях нет ни расчётов, ни измерений, ни объяснения двух способов, которыми название параметра вводит в заблуждение. Этим и займёмся сейчас.

Продолжить чтение "Всё о GUC по порядку: max_wal_size"

Оптимизация запросов: EXPLAIN для разработчиков Python

Пересказ статьи Jamal Hansen. Optimizing Queries: EXPLAIN for Python Developers


Читайте вывод EXPLAIN для понимания того, почему запросы выполняются медленно. Узнайте, когда добавить индексы, а когда перестать беспокоиться о производительности.

По мере роста базы данных запросы начинают работать медленнее. Это ожидаемо.

Если ваши запросы постоянно выполняются медленно, сам запрос может быть проблемой.

Мы говорили ранее о том, что SQL является декларативным языком. Вы говорите базе данных, что вам нужно, и она решает, как получить это. Но вы также видите, что SQL дает вам свободу выбора среди множества способов написания запроса, и некоторые из них оказываются более эффективными, чем другие.

Иногда медленный запрос означает, что вы не выбрали наиболее эффективный подход. А иногда ваши данные просто переросли тот способ, принимаемый базой данных по умолчанию, чтобы найти записи, и вам необходимо оказать ей небольшую помощь.

Сегодня мы рассмотрим, как решить оба эти сценария, углубившись в оптимизацию запросов. Освоение этой темы может потребовать некоторого времени и практики, но основы просты. Продолжить чтение "Оптимизация запросов: EXPLAIN для разработчиков Python"

Всё о GUC по порядку: max_wal_senders

Автор Christophe Pettus: All Your GUCs in a Row: max_wal_senders


Поправка: в статье о max_connections я рекомендовал учитывать при расчёте этого параметра «подключения репликации». Начиная с PostgreSQL 12 так делать не нужно. Для процессов отправки WAL предусмотрены собственные места в отдельном пуле, размер которого задаётся этим параметром. С версии 12 они больше не используют места, выделенные параметром max_connections. Всё остальное в той статье остаётся верным: ошибочным было только это утверждение, причём для всех версий, которые вам следует использовать.


max_wal_senders определяет количество процессов, которым разрешено читать ваш WAL в интересах других узлов. Проблема в том, что список таких «других узлов» гораздо длиннее, чем можно предположить, учитывая только резервные серверы.

Продолжить чтение "Всё о GUC по порядку: max_wal_senders"

Всё о GUC по порядку: max_sync_workers_per_subscription

Автор Christophe Pettus: All Your GUCs in a Row: max_sync_workers_per_subscription


max_sync_workers_per_subscription определяет, сколько таблиц одна подписка копирует одновременно. Это не параметр, задающий скорость первоначального копирования, хотя именно для её увеличения многие и повышают его значение. Каждый рабочий процесс синхронизации таблиц копирует ровно одну таблицу — от начала до конца. Таким образом, параметр обеспечивает параллельную обработку разных таблиц, но никак не ускоряет копирование одной отдельной таблицы. Самая большая таблица будет копироваться одинаково долго независимо от того, установлено здесь значение 2, 8 или 200. А первоначальная синхронизация подписки не завершится раньше, чем закончится копирование этой таблицы.

Продолжить чтение "Всё о GUC по порядку: max_sync_workers_per_subscription"

Всё о GUC по порядку: max_standby_archive_delay и max_standby_streaming_delay

Christophe Pettus: All Your GUCs in a Row: max_standby_archive_delay and max_standby_streaming_delay


max_standby_streaming_delay — это не ограничение времени выполнения запроса, какими бы ни казались его название и значение по умолчанию. Этот параметр задаёт величину отставания реплики, на которую вы готовы пойти ради выполнения запросов на резервном сервере. Когда отведённый запас исчерпан, отменяют именно запросы. max_standby_archive_delay выполняет ту же функцию для WAL, поступающего через restore_command, а не от процесса отправки WAL. Я буду рассматривать их как один параметр с двумя именами и объясню, зачем нужны оба.

Продолжить чтение "Всё о GUC по порядку: max_standby_archive_delay и max_standby_streaming_delay"

Всё о GUC по порядку: max_slot_wal_keep_size

Автор Christophe Pettus: All Your GUCs in a Row: max_slot_wal_keep_size


Параметр max_slot_wal_keep_size определяет, кто погибнет, если реплика перестанет получать WAL: реплика или основной сервер. Значение по умолчанию выбирает основной сервер.

Продолжить чтение "Всё о GUC по порядку: max_slot_wal_keep_size"