Data Engineer

з/п не указана

Требуемый опыт работы: 3–6 лет

Полная занятость, удаленная работа

Возможно временное оформление: договор услуг, подряда, ГПХ, самозанятые, ИП

Мы строим единую аналитическую платформу, включающую в себя централизованное корпоративное хранилище данных, витрины отчетности и BI-инструменты, аналитические «песочницы» данных и инфраструктуру для применения моделей искусственного интеллекта.

Какие задачи ждут именно вас:

  • Проектирование и разработка процессов загрузки данных в единое хранилище данных Apache Hadoop;
  • Оптимизация и настройка производительности ETL процессов (Apache Airflow, Oozie, Pentaho);
  • Проведение исследований новых технологий в рамках R&D;
  • Рефакторинг существующих решений по загрузке данных, перевод их на новую модель и инструменты.

Мы ждем от вас:

  • Опыт работы c Linux (Centos/Ubuntu), Docker
  • Опыт работы с экосистемой Apache (HDFS, Hive/Spark, Apache Airflow);
  • Уверенные знания одного из языков Python/Java/Scala;
  • Сильные знания SQL;
  • Кругозор в сфере ИТ;
  • Навык создания, структурирования и применения организации потоков данных (pipelines);

Мы НЕ ждем от вас специфичных глубоких знаний по инструментам и технологиям для работы с BIG DATA, мы готовы делиться опытом и помогать нашим коллегам успешно осваивать новые технологии;

Будет плюсом:

  • Опыт ML(catboost,lightgbm)/DL(pytorch,tensorflow)/Web(fastapi,django,flask)/Ansible/MLFlow.
  • Опыт работы с промышленными ETL средствами (Informatica, Pentaho, IBM Datastage);
    Опыт работы в распределённой (территориально) команде.

Мы готовы предложить:

  • З/п по итогам технического собеседования и оформление в штат;
  • Интересные проекты, адекватное руководство и квалифицированная проектная команда с огромным опытом;
  • Возможность профессионального и карьерного роста;
  • Топовое железо (I7, SSD, 32gb ddr4 + 2 Монитора либо аналогичный laptop);
  • Возможность работать как удаленно, так и на территории работодателя: комфортные офисы в г. Калининград и г. Москва;
  • Интересные корпоративные мероприятия.

Ключевые навыки

Hadoop
Python
Big Data
Spark
Hive
Apache Airflow
ETL
SCALA
Docker-compose
Ubuntu
SQL
ООП
Java

Вакансия опубликована 28 июня 2022 в Екатеринбурге

Отзывы о компании

О данном работодателе пока нет отзывов или он скрыл их на нашем сайте
Ваши отзывы помогают людям принимать взвешенные карьерные решения
Оставить отзыв о компании

Похожие вакансии

Можно работать из дома
Екатеринбург
Разработка, тестирование и поддержка архитектуры данных (витрина данных) для нужд отчетности. Обеспечение актуальности и пригодности архитектуры данных для бизнеса.
Опыт работы с различными СУБД (MySQL, PostgreSQL, Oracle, MSSQL и др.). Опыт написания скриптов с нуля, знание языков программирования (Python...
Можно работать из дома
Екатеринбург
Будьте первыми
Участие в разработке ядра продуктов Data Platform. Разработка и оптимизация процессов выгрузки данных.
Знание одного из языков программирования: Python, Java, Go. Знание основ ООП, теории алгоритмов, структур данных. Знание SQL. Опыт написания процессов...

Data Engineer

от 160 000 руб.
Можно работать из дома
Екатеринбург
Будьте первыми
Доработка ядра платформы. Автоматизация витрин данных. Доступ к данным ХД/витрин (column_level, row_level). Оркестрация ETL/ELT. Визуализация data lineage.
Знание методологий моделирования ХД (3NF, DataVault, AnchorModeling и т.д.). Понимание, что такое "платформа данных", какие инструменты взять готовые...
Можно работать из дома
Екатеринбург
Будьте первыми
Работа с большими данными на входе. Развитие культуры визуализации информации. Кросс-валидация по различным источникам. Формирование и ревью схемы данных...
Опыт работы с Tableau. Хорошее знание SQL. Понимание ООП, design patterns. Опыт работы с Docker. Опыт работы с UNIX-based...
Можно работать из дома
Екатеринбург
Будьте первыми
Быть экспертом по данным: помогать аналитикам в решении вопросов с источниками данных, моделью данных DWH. Разрабатывать витрины в помощь аналитикам.
Высшее техническое образование. Опыт работы с базами данных в качестве разработчика от 1 года. Свободное владение SQL. Опыт проектирования объектов...
Можно работать из дома
Екатеринбург
Будьте первыми
Команда платформы консолидирует данные из различных внешних и внутренних источников, запускает пилотные проекты и обогащает данными в соответствии с требованиями...
Необходимые навыки: Навыки программирования на Java. Опыт программирования и разработки алгоритмов и структур данных. Фундаментальные знания принципов построения распределенных систем...