Вакансия: Инженер данных (Data Engineer) в Москва

Полное описание вакансии: Инженер данных (Data Engineer) в Москва

ID Название вакансии Город Компания От До Валюта Тип вакансии Дата и время публикации вакансии Роль
1459300 Инженер данных (Data Engineer) Москва > Ютек-НН 180000 300000 RUR open 2024-05-03
Необходимые навыки
  • > Python
  • > SQL
  • > Kafka
  • > Big Data
  • > Hadoop
  • > DWH
  • > ETL
  • > Spark
  • > Airflow
  • > Superset
  • > NiFi
Требования

Что нужно знать/уметь: - Иметь представление о принципах построения систем хранения и обработки данных. - Опыт работы с популярными протоколами обмена...

Обязанности

Организовывать бесперебойную поставку данных в популярных форматах по разнообразным протоколам. - Исследовать организацию и структуру данных. - Строить пайплайны витрин. -

Описание

Мы ищем кандидата в команду дата-инженеров для запуска нового проекта по анализу научных публикаций.

Работа в офисе.

Что делать:

- Организовывать бесперебойную поставку данных в популярных форматах по разнообразным протоколам;

- Исследовать организацию и структуру данных;

- Строить пайплайны витрин;

- Обеспечивать качество данных;

- Участвовать в проектировании хранилища данных.

Что нужно знать/уметь:

- Иметь представление о принципах построения систем хранения и обработки данных;

- Опыт работы с популярными протоколами обмена информации (REST, SOAP, очереди сообщений, FTP и т.п.);

- Опыт работы с популярными форматами данных (JSON, XML, CSV, Parquet);

- Опыт работы с реляционными СУБД на языке SQL (PostgreSQL, Greenplum);

- Опыт программирования на Python;

- Опыт работы с экосистемой Hadoop (Hdfs, Spark, Yarn);

- Приветствуется опыт построения ETL на Apache AirFlow.

Вверх