Продолжаю свою историю. Первая компания, где я работал дата-инженером - Вайлдберриз. И мне реально повезло с этой компанией.

Первое - там как раз переезжали с Vertika на Greenplum, и именно богатый опыт работы с GP это то, что обеспечивает меня вакансиями всё это время (а сейчас и знакомство с Vertika похоже сыграло). Опыта по GP на тот момент ни у кого в команде не было, учились на своих ошибках, но всё таки учились :)

Те самые ошибки, что с ходу вспоминается:

1. Подозреваю, что с количеством сегментов мы промахнулись, но это не точно :)
2. Оптимизация запросов была в первую очередь через обмазывание индексами - уже сильно позже узнал, что если индексы помогают оптимизировать запросы, то скорее всего вы используете GP не по назначению, это аналитическая, а не транзакционная БД.
3. Партиционировать по одному дню - хорошая идея, если смотреть с точки зрения запросов на конкретный день, но не очень по накладным расходам.
4. Обновление данных через подмену партиций - красивая идея, реально работает, но если таких процессов куча, то 100% будут deadlocks.

Второе - как раз при мне начали внедрять Airflow - тоже полезная строчка в резюме. Самое забавное, что хотя по факту я был джуном, если не стажером, - Airflow с самого начала было почти целиком моё направлением. Из того, чем до сих пор горжусь - написал собственный оператор для перекладки данных в GP, который прятал под капотом всю механику. Т.е., конечный пользователь через переменные задает - откуда и куда копировать, тип обновления (полное/инкримент), поле отсечки и т.д., а оператор сам реализует правильную логику. Такая автоматизация позволяла на потоке создавать даги для разных таблиц. Когда уходил с компании, около 90% дагов работало на этом операторе.

Третье - реально классная команда, у которой я многому научился. Вспоминается ситуация - я поставил Ubuntu на домашний ноут и напрочь забыл, какой там пароль :) Коллега, специалист по администрированию Linux, БЕЗ использования загрузочной флешки, минут за 10 получил доступ из под рута. Тимлид делал доклад на Highload. Базу промышленной разработки, то что сложно освоить, занимаясь программированием для развлечения - версионирование, деплой, логирование и т.п. - всё это я освоил благодаря команде.

Четвёртое - после работы на производстве, работа в IT реально кажется раем. Как квалифицированный специалист, на последней работе до Москвы, я получал 60 тыс. грязными ( 60 * 0.87 = 52.2 на руки), а как IT-шником с нулевым стажем на испыталке, я получал 50 тыс. чистыми - почти столько же, но есть нюанс. Вкусный бесплатный и безлимитный кофе (кофе я реально люблю - в итоге где то в первый месяц реально передоз кофеина получил :) пришлось как-то контролировать потребление). Монитор на столе - не знаю сколько дюймов, но навскидку как блок из 4 по 17”. Макбук в качестве рабочей лошадки. Спортзал с бассейном прямо под офисом. Бесплатное питание. Дважды “выездной офис” - когда всей командой прилетали за счет компании в Красную поляну и работали оттуда.

Работал много и с удовольствием. Как итог, быстро рос по скиллам и зарплате. Но где-то в сентябре 2019 обстановка начала меняться - питание отменили, мониторы убрали (мотивируя тем, что на удалёнке можно работать с мака - но экран мака сильно меньше)… Рабочие макбуки, к слову, пришлось выкупать - сильно дешевле рыночной стоимости и в рассрочку, но сам факт, что это не твой выбор, а тебе навязывают - это уже не очень. Вдобавок, распоряжения команде стал отдавать менеджер, который был далёк от технической части. Поставленные перед командой планы были имхо невыполнимы, я пытался обсуждать это в команде, народ предлагал не паниковать, но всё это как то начало напрягать, очень уж кучно пошли изменения не в лучшую сторону. Я обновил резюме на HH и через пару недель получил оффер от Сбера с плюс 50 тыс. к зарплате - но это уже другая история :)

З.Ы. Как выяснилось, я ушёл вовремя - буквально через месяц после моего ухода в Вайлдберриз прошли массированные сокращения - так что “Это Ж-ж-ж было неспроста!” (ц).

Продолжение следует…