Получил пустяковую задачу - прокинуть данные из таблицы-источника в целевую витрину. Точнее, данные и так уже идут, но в некоторых колонках некоторых источников часть данных удаляется. Сделано это потому что целевая витрина - реально огромная (клики по рекламе за месяц) и содержит ещё и несколько проекций (всё работает на Vertica), поэтому невостребованные данные по возможности выкидываются. Эта самая витрина служит источником для личных кабинетов рекламодателей и размещателей рекламы, максимально оптимизирована под из запросы. Ну вот собственно часть текстовых строк, которые раньше затирались пустой строкой, надо довести до итога как есть.

Формально - ни о чём, пару строк в даге поправить. Но на утреннем дейли тимлид предупредил, что прежде чем делать, хорошо бы посчитать на сколько это увеличит объем таблицы (миллиарды строк * несколько проекций, где эта колонка используется). А после - понаблюдать за временем работы дага - насколько оно увеличится. Вроде бы элементарно, но… самому в голову не пришло.

Вот интересно, такой навык (правильно подумать о последствиях) как то прокачивается? Понятно, что опыт и количество собранных грабель понемногу прокачивают, но очень уж долго и через упавший прод боль. Думаю в сторону системного мышления, но где взять время :(