Skip to content

Новости за 2026-11-14 - 2026-11-20

§ Изменения среди лидеров рейтинга

Рейтинг	Участник (решенные задачи)
13 gennadi_s (211)
101 Paulus73 (264)

§ Претенденты на попадание в TOP 100

Рейтинг	 Участник (решенные задачи, время в днях)
101 Paulus73 (164, 24.968)
204 gmansur88 (115, 212.918)
212 saah (125, 79.966)
285 junopark1 (97, 45.898)
Продолжить чтение "Новости за 2026-11-14 - 2026-11-20"

Всё о GUC по порядку: parallel_setup_cost и parallel_tuple_cost

Автор Christophe Pettus: All Your GUCs in a Row: parallel_setup_cost and parallel_tuple_cost


Почти все составляющие модели параллельных запросов в планировщике дают скидку: строки распределяются между процессами, а вместе с ними делится и стоимость вычислений процессора. Параметры parallel_setup_cost и parallel_tuple_cost — два исключения: именно они учитывают дополнительные затраты на использование параллельного выполнения. Первый задаёт фиксированную плату за каждый узел Gather, второй — плату за каждую строку, поступающую через него. Значения по умолчанию — 1000 и 0.1. Они выражены в тех же условных единицах, что и все остальные оценки стоимости планировщика: чтение одной страницы при последовательном сканировании стоит 1, обработка одной строки — 0.01. Оба параметра имеют тип с плавающей точкой, допускают значение не меньше нуля и относятся к контексту user. Поэтому их можно задавать отдельно для сеанса, роли, базы данных или функции. Значения по умолчанию для обоих параметров были зафиксированы в коде 30 сентября 2015 года и с тех пор не менялись.

Продолжить чтение "Всё о GUC по порядку: parallel_setup_cost и parallel_tuple_cost"

10 трюков Python, которые превращают новичков в создателей

Пересказ статьи Malik Matloob. 10 Python Tricks That Turn Beginners Into Builders


Практические шаблоны Python, которые спокойно переводят скрипты в настоящие автоматизированные системы.

Большинство людей пишут скрипты, а не системы.

В этом разница.

Скрипт решает одну задачу. Система решает рабочий процесс - то, о чем вы совершенно перестаете думать, потому что Python просто обрабатывает это в фоновом режиме.

Эта статья о таком сдвиге в мышлении. Продолжить чтение "10 трюков Python, которые превращают новичков в создателей"

Всё о GUC по порядку: parallel_leader_participation

Автор Christophe Pettus: All Your GUCs in a Row: parallel_leader_participation


Значение max_parallel_workers_per_gather = 2 означает, что в выполнении запроса участвуют три процесса. Третий — это серверный процесс, к которому подключён клиент, так называемый ведущий процесс (leader). Он запускает два рабочих процесса, но вместо того, чтобы просто ждать их завершения, сам выполняет свою копию того же плана запроса. Параметр parallel_leader_participation определяет, будет ли он это делать. Это логический параметр, значение по умолчанию — on, контекст — user (изменить его может любая сессия, работает и команда ALTER ROLE ... SET). Параметр появился в PostgreSQL 11.

Продолжить чтение "Всё о GUC по порядку: parallel_leader_participation"

Всё о GUC по порядку: array_nulls (особое предупреждение)

Автор: Christophe Pettus: All Your GUCs in a Row: array_nulls (Special Update)


Исправление: в июльской статье о escape_string_warning я рекомендовал оставлять этот параметр включённым. Однако в PostgreSQL 19 его удалили — соответствующий коммит появился почти за полгода до публикации статьи. В конце этой статьи я проверю и остальные подобные случаи.


Продолжить чтение "Всё о GUC по порядку: array_nulls (особое предупреждение)"

Ваш столбец JSON никогда не был столбцом JSON

Пересказ статьи rebecca@sqlfingers. Your JSON Column Was Never a JSON Column


Почти десятилетие способ, которым вы сохраняли документ JSON в SQL Server, вообще не сохранял документ JSON. Вы сохраняли строку. NVARCHAR(MAX), проверочное ограничение ISJSON, чтобы не допустить попадание мусора, и молчаливое согласие с самим собой, что столбец был JSON, потому что вы так решили.



SQL Server 2025 ввел настоящий тип данных JSON. Бинарное хранилище, анализируется один раз, запросы выполняются без повторного анализа каждой строки. Эта статья представляет собой демонстрацию: старое мучение, новое поведение, и одно слово в документации Microsoft, которую необходимо прочесть, прежде чем реализовать тип данных JSON в производственной системе.
Продолжить чтение "Ваш столбец JSON никогда не был столбцом JSON"
Категории: T-SQL

Всё о GUC по порядку: num_os_semaphores

Автор Christophe Pettus: All Your GUCs in a Row: num_os_semaphores


Параметр num_os_semaphores появился потому, что документация PostgreSQL на протяжении двенадцати лет то и дело неверно складывала числа. Это предустановленный параметр (preset): контекст internal, доступен только для чтения, появился в PostgreSQL 18. Он показывает, сколько семафоров операционной системы сервер запрашивает при запуске. В стандартной установке PostgreSQL 18 это число равно 174.

Продолжить чтение "Всё о GUC по порядку: num_os_semaphores"

Всё о GUC по порядку: notify_buffers

Christophe Pettus: All Your GUCs in a Row: notify_buffers


В комментарии в начале файла async.c сказано, что notify_buffers «можно изменять, не затрагивая ничего, кроме производительности». Я решил проверить, насколько заметно это влияет на производительность. Максимальный эффект, который мне удалось обнаружить, составил 10% пропускной способности. И чтобы добиться его, пришлось передавать более 100 МБ уведомлений в секунду.



Это один из семи параметров размеров кэшей SLRU, которые в PostgreSQL 17 сделали настраиваемыми. В статье о commit_timestamp_buffers я подробно рассказывал, что такое SLRU.



Рассматриваемый параметр кэширует страницы очереди LISTEN/NOTIFY. Именно длину этой очереди ограничивает max_notify_queue_pages.

Продолжить чтение "Всё о GUC по порядку: notify_buffers"

Всё о GUC по порядку: multixact_member_buffers и multixact_offset_buffers

Автор Christophe Pettus: All Your GUCs in a Row: multixact_member_buffers and multixact_offset_buffers


Параметр multixact_offset_buffers по умолчанию выделяет 16 буферов. В версиях PostgreSQL вплоть до 18 включительно этого достаточно для хранения смещений 32 768 мультитранзакций. Параметр multixact_member_buffers по умолчанию выделяет 32 буфера, в которых помещается 52 352 участника мультитранзакций. Достаточно ли этих значений или, напротив, они совершенно неприемлемы, зависит от одного обстоятельства: сколько мультитранзакций создаёт ваша система, пока остаётся открытой самая продолжительная транзакция, удерживающая блокировки строк.


Продолжить чтение "Всё о GUC по порядку: multixact_member_buffers и multixact_offset_buffers"

DuckDB для инженеров данных

Пересказ статьи Joachim Hodana. DuckDB for data engineers


Вы уже обрабатываете файлы, тестируете SQL и проверяете данные локально. Вы просто используете для этого больше инфраструктуры, чем необходимо.

Это из категорий проблем в обработке данных, которые слишком малы для Spark, слишком медленны для Pandas и слишком раздражают, чтобы ради них открывать хранилище данных Snowflake. Чтение 2Гб файла Parquet для проверки схемы. Запуск быстрой агрегации дампа CSV от поставщика. Тестирование сложного преобразования SQL локально перед развертыванием его в производстве. Годами на это был ответ "просто используйте Pandas" или "просто подключитесь к хранилищу данных". DuckDB - это лучший ответ на большинство подобных вопросов. Продолжить чтение "DuckDB для инженеров данных"

Всё о GUC по порядку: min_wal_size

Автор Christophe Pettus: All Your GUCs in a Row: min_wal_size


У параметра min_wal_size описание в представлении pg_settings лучше, чем в документации: «Задаёт минимальный размер, до которого можно уменьшить объём WAL». Вот и всё, что он делает. Это нижняя граница, до которой разрешено сокращать размер каталога pg_wal. При этом параметр не сохраняет ни одного сегмента WAL, который кто-либо мог бы прочитать, хотя его название подталкивает воспринимать его как настройку срока хранения.

Продолжить чтение "Всё о GUC по порядку: min_wal_size"

Новости за 2026-11-07 - 2026-11-13

§ Претенденты на попадание в TOP 100

Рейтинг	 Участник (решенные задачи, время в днях)
101 Paulus73 (161, 24.735)
136 Murderface_ (155, 735.414)
196 _GUERNIKA_ (118, 163.150)
213 saah (124, 72.192)
218 gmansur88 (109, 208.675)
325 junopark1 (88, 41.963)
399 NowOrNever (71, 40.120)

§ Авторы недели на форуме

Автор		Сообщений
pegoopik 3
gennadi_s 3

Продолжить чтение "Новости за 2026-11-07 - 2026-11-13"

Всё о GUC по порядку: min_parallel_index_scan_size и min_parallel_table_scan_size

Автор Christophe Pettus: All Your GUCs in a Row: min_parallel_index_scan_size and min_parallel_table_scan_size


В названиях обоих параметров есть слово «минимальный», и оба действительно задают минимальный порог. Если, по оценке планировщика, при просмотре таблицы потребуется прочитать меньше объёма, заданного параметром min_parallel_table_scan_size (по умолчанию 8MB), или при просмотре индекса — меньше объёма, заданного параметром min_parallel_index_scan_size (по умолчанию 512kB), такой вариант не будет рассматриваться для параллельного плана. Это та часть, которая описана в документации.



Но есть и вторая часть: каждое из этих значений служит также нижней ступенью лестницы, по которой планировщик определяет, сколько рабочих процессов запросить. Поэтому изменение минимального порога сдвигает все ступени выше него.

Продолжить чтение "Всё о GUC по порядку: min_parallel_index_scan_size и min_parallel_table_scan_size"

Почему ваш индекс не используется? Анализ планов выполнения для выявления причины

Пересказ статьи sanketparmar. Why Your Index Isn't Being Used? - Reading Execution Plans to Find the Real Culprit


Вы построили пять индексов для таблицы с 339М строками, индексы JOIN подбираются нормально, но оптимизатор игнорирует каждый созданный вами индекс для предложения WHERE. Это один из самых неприятных моментов в разработке SQL главным образом потому, что причина не является очевидной. Индекс существует. Он на правильной таблице. Так почему оптимизатор совершенно игнорирует его?

Ответом редко бывает "индекс поломался". Почти всегда дело в запросе или в состоянии базы данных, которое является причиной для оптимизатора игнорировать индекс. В этой статье мы обсудим, как читать план выполнения, чтобы обнаружить эту причину, и как после этого исправить проблему.
Продолжить чтение "Почему ваш индекс не используется? Анализ планов выполнения для выявления причины"