Старший инженер по данным (Senior Data Engineer)

Описание вакансии

компания "admitad"

мы ищем senior data engineer, который усилит нашу команду.

задачи:

• поддержка инфраструктуры dwh в рабочем состоянии;
• развитие архитектуры системы;
• развитие и рефакторинг etl сервиса (airflow / python);
• написание тестов (pytest);
• поддержка legacy пайплайнов etl (logstash);
• добавление/изменение поставок данных из kafka и api сторонних сервисов;
• создание и изменение dbt моделей агрегатов и вьюх;
• участие в инициативах по снижению стоимости dwh (оптимизация хранения, compute, пайплайнов и моделей);
• участие в ревью и командных встречах;
• взаимодействие с другими командами разработки;
• поддержание технической документации и wiki в актуальном состоянии.

мы ожидаем:

• 3+ года опыта работы data engineer;
• знание python 3.9+, asyncio, pytest;
• опыт написания sql запросов;
• умение работать с системой контроля версий git;
• знание docker, gitlab ci, unix cli;
• знание и опыт работы с kafka;
• опыт работы с dbt и clickhouse (или аналогичными olap);
• знакомство с экосистемой yandex.cloud;
• опыт оптимизации стоимости dwh: снижение объёма хранения и compute за счёт ttl/партиционирования, инкрементальных etl, оптимизации sql/olap-моделей;
• умение измерять и объяснять эффект по деньгам/ресурсам.

будет плюсом:

• data lifecycle: hot/cold хранение, архивация, политики retention;
• опыт миграции и упрощения legacy etl в более дешёвый и управляемый контур;
• практический опыт оптимизации ресурсов в yandex.cloud (диски, compute/managed-сервисы, сетевой трафик);
• dbt: инкрементальные модели, тесты на рост объёма, контроль «дорогих» агрегатов.

условия:

• работа в международной компании;
• гибридный формат работы (офис/домашний офис);
• современный офис;
• корпоративное обучение - курсы и тренинги, встречи и конференции;
• добровольное медицинское страхование после испытательного срока;
• частичная компенсация расходов на посещение тренажерного зала;
• корпоративные мероприятия и тимбилдинги.

Метки