Дата-инженер с 2019 года.
- Отличные знания SQL (оптимизация запросов, оконные функции, встроенные процедуры), опыт работы с разными СУБД. Много и регулярно - Greenplum и Postgress, эпизодически - MS SQL, Vertica, Clickhouse, Teradata и т.д.
- Хорошее знание Python
- Hadoop, небольшой опыт Scala + Spark
- Airflow (написание своих операторов), Informatica Power Center
- Командная строка Linux, Git, CI/CD
АО “Тинькофф Банк” (апрель 2022 - по настоящее время)
Перенос формирования отчетов для ЦБ с Oracle на Greenplum - множество задач по оптимизации запросов из-за жесткой политики по времени выполения и размеров спиллов
ПАО “Сбербанк” (октябрь 2020 - апрель 2022)
Пайплайны (Informatica PowerCenter, Airflow) между Teradata, Greenplum, Hadoop.
Небольшой опыт использования Scala + Spark.
Учебник по переходу с Airflow на CTL (внутренний инструмент).
ООО “Вайлдберриз” (ноябрь 2019 - октябрь 2020)
Участие в миграции с Vertica на Greenplum, переход с Jenkins на Airflow.
Написал собственный оператор Airflow, который прятал под капотом все нюансы обновления таблиц. К моменту моего ухода на нём работало порядка 90% дагов.
Contact me
- Telegram: @sergushenkov
- Блог в Telegram: hangry DE
- sergushenkov@gmail.com