Вимоги:
- Знання інструментів для веб-скрейпінгу та обробки неструктурованих даних;
- Знання Python (Numpy, Pandas);
- Знання одного з фреймворків (Django, Flask);
- Знання баз даних SQL, NoSQL;
- Система контролю версій: Git;
- Знання Excel, Power Query.
Буде плюсом:
- Досвід роботи з інструментами ETL/ELT;
- Досвід роботи з сервісами у хмарі (AWS, Azure);
- Розуміння розподілених брокерів повідомлень;
- Досвід роботи з інструментами візуалізації Power BI;
- Досвід роботи з ГІС (наприклад, QGIS).
Обов’язки:
- Збір, вилучення, обробка необроблених даних з різних джерел – каталогів, сайтів, каналів Viber, Telegram, файлів Excel, PDF, Word;
- Збір інформації про ціни на товари від онлайн-продавців, інтеграція з тендерними майданчиками;
- Обробка структурованої та неструктурованої інформації з усуненням помилок, дублюванням даних, нормалізацією та перетворенням у необхідний формат;
- Створення RESTful API для передачі та обміну інформацією, інтеграція з внутрішніми та зовнішніми клієнтами;
- Автоматизація повторюваних завдань, обробка даних пристроїв IoT, агрегація машинних даних, аналіз журналів.