Data Engineer (Middle)

Описание вакансии

Что будет входить в твои задачи:

• Разрабатывать и оркестрировать пайплайны: проектировать и оптимизировать ELT/ETL-процессы с использованием Apache Airflow и dbt;
• Интегрировать внешние и внутренние источники данных: REST API, базы данных, Kafka, Web Scraping, Google Sheets;
• Проектировать и развивать DWH и аналитические витрины на базе Trino / Apache Iceberg в S3;
• Обеспечивать качество данных: разрабатывать автоматические проверки (dbt tests, Soda / Great Expectations), настраивать мониторинг аномалий и алертинг;
• Оптимизировать SQL-запросы и процессы обработки данных, повышать производительность DWH;
• Поддерживать существующие пайплайны и интеграции, находить и устранять возникающие проблемы;
• Вести техническую документацию по архитектуре данных, слоям DWH и интеграциям.

Наши ожидания:

• От 3 лет опыта в Data Engineering;
• Уверенное знание SQL: сложные запросы, оконные функции, агрегации, понимание планов выполнения и оптимизации запросов;
• Уверенное владение Python для задач Data Engineering: работа с API, библиотеками обработки данных и написание скриптов автоматизации;
• Практический опыт построения и оркестрации пайплайнов в Apache Airflow;
• Практический опыт работы с dbt: модели, макросы, тесты;
• Понимание принципов проектирования DWH и построения слоев данных; знание подходов Data Vault, Kimball / Inmon;
• Практический опыт настройки проверок Data Quality;
• Базовые навыки работы с Docker и Git.

Будет плюсом:

• Опыт системного анализа источников данных: умение самостоятельно разбираться в структуре данных и преобразовывать её в аналитическую модель;
• Понимание принципов хранения данных в объектных хранилищах (AWS S3) и опыт работы с форматами таблиц Apache Iceberg / Delta Lake;
• Опыт работы с распределенными SQL-движками (Trino / Presto) или аналитическими БД (ClickHouse);
• Опыт работы с каталогами данных (Project Nessie, Apache Polaris, AWS Glue);
• Базовый опыт работы с PySpark;
• Опыт работы с потоковыми данными и Apache Kafka;
• Базовое понимание Kubernetes, в том числе запуск задач через KubernetesPodOperator;
• Опыт взаимодействия с BI-системами (Apache Superset, Power BI, Tableau).

Что мы предлагаем:

• Конкурентная заработная плата, а также бонусы;
• Приятный график 5/2 с 10:00 до 18:00 и гибридный формат работы после испытательного срока;
• 5 Days Off и 16 Hours off для решения личных дел в рабочее время;
• Современный офис около метро в одном из самых ярких зданий нашего города – БЦ "Футурис". Для тебя в офисе есть зоны отдыха с массажным креслом, настольным теннисом, бильярдом, PS, скалодромом и настольными играми;
• Оплата внешнего обучения для повышения твоих hard skills, а также внутренняя база для обучения;
• Компенсация транспорта – на твой выбор проездной на общественный транспорт, такси или топливо;
• Компенсация медицинской страховки и занятий спортом, а также бесплатный шеринг велосипедов и билеты на спортивные мероприятия;
• Ты сможешь участвовать в насыщенной корпоративной жизни за счет компании: ежегодные летние и зимние корпоративные мероприятия. Вместе с Betera Team плаваем на байдарках, участвуем в полумарафонах, сажаем деревья и просто круто отдыхаем;
• Ты также сможешь присоединиться к нашим волонтерским проектам: мы помогаем приютам для животных, а также поддерживаем экологию в нашем “зеленом офисе” и за его пределами.

Звучит интересно? Ждем твое CV!

*Если твой опыт окажется подходящим для данной вакансии, мы обязательно свяжемся с тобой в течение недели. Если нет, то не расстраивайся, возможно, "твоя" вакансия ждет тебя впереди!

Ссылка на Общереспубликанский банк вакансий на информационном портале государственной службы занятости о вакансии на должность не размещается на основании абз.5 ст. 34 закона Республики Беларусь <О занятости населения>

Метки

О компании «Betera»