Data Engineer (Middle)

Описание вакансии

компания "пари-матч"

что будет входить в твои задачи:

• разрабатывать и оркестрировать пайплайны: проектировать и оптимизировать elt/etl-процессы с использованием apache airflow и dbt;
• интегрировать внешние и внутренние источники данных: rest api, базы данных, kafka, web scraping, google sheets;
• проектировать и развивать dwh и аналитические витрины на базе trino / apache iceberg в s3;
• обеспечивать качество данных: разрабатывать автоматические проверки (dbt tests, soda / great expectations), настраивать мониторинг аномалий и алертинг;
• оптимизировать sql-запросы и процессы обработки данных, повышать производительность dwh;
• поддерживать существующие пайплайны и интеграции, находить и устранять возникающие проблемы;
• вести техническую документацию по архитектуре данных, слоям dwh и интеграциям.

наши ожидания:

• от 3 лет опыта в data engineering;
• уверенное знание sql: сложные запросы, оконные функции, агрегации, понимание планов выполнения и оптимизации запросов;
• уверенное владение python для задач data engineering: работа с api, библиотеками обработки данных и написание скриптов автоматизации;
• практический опыт построения и оркестрации пайплайнов в apache airflow;
• практический опыт работы с dbt: модели, макросы, тесты;
• понимание принципов проектирования dwh и построения слоев данных; знание подходов data vault, kimball / inmon;
• практический опыт настройки проверок data quality;
• базовые навыки работы с docker и git.

будет плюсом:

• опыт системного анализа источников данных: умение самостоятельно разбираться в структуре данных и преобразовывать её в аналитическую модель;
• понимание принципов хранения данных в объектных хранилищах (aws s3) и опыт работы с форматами таблиц apache iceberg / delta lake;
• опыт работы с распределенными sql-движками (trino / presto) или аналитическими бд (clickhouse);
• опыт работы с каталогами данных (project nessie, apache polaris, aws glue);
• базовый опыт работы с pyspark;
• опыт работы с потоковыми данными и apache kafka;
• базовое понимание kubernetes, в том числе запуск задач через kubernetespodoperator;
• опыт взаимодействия с bi-системами (apache superset, power bi, tableau).

что мы предлагаем:

• конкурентная заработная плата, а также бонусы;
• приятный график 5/2 с 10:00 до 18:00 и гибридный формат работы после испытательного срока;
• 5 days off и 16 hours off для решения личных дел в рабочее время;
• современный офис около метро в одном из самых ярких зданий нашего города – бц "футурис". для тебя в офисе есть зоны отдыха с массажным креслом, настольным теннисом, бильярдом, ps, скалодромом и настольными играми;
• оплата внешнего обучения для повышения твоих hard skills, а также внутренняя база для обучения;
• компенсация транспорта – на твой выбор проездной на общественный транспорт, такси или топливо;
• компенсация медицинской страховки и занятий спортом, а также бесплатный шеринг велосипедов и билеты на спортивные мероприятия;
• ты сможешь участвовать в насыщенной корпоративной жизни за счет компании: ежегодные летние и зимние корпоративные мероприятия. вместе с betera team плаваем на байдарках, участвуем в полумарафонах, сажаем деревья и просто круто отдыхаем;
• ты также сможешь присоединиться к нашим волонтерским проектам: мы помогаем приютам для животных, а также поддерживаем экологию в нашем “зеленом офисе” и за его пределами.

звучит интересно? ждем твое cv!

*если твой опыт окажется подходящим для данной вакансии, мы обязательно свяжемся с тобой в течение недели. если нет, то не расстраивайся, возможно, "твоя" вакансия ждет тебя впереди!

ссылка на общереспубликанский банк вакансий на информационном портале государственной службы занятости о вакансии на должность не размещается на основании абз.5 ст. 34 закона республики беларусь <о занятости населения>

Метки