Разработка новой архитектуры и ее реализация для основного продукта компании. Продукт представляет из себя коллектор данных о категориях доменов из открытых и закрытых источников данных c API для управления обновлениями источников и создание экспортов данных в хешированных форматах для клиентов. Продукт реализован и выведен в прод. Также было разработано несколько мелких вспомогательных сервисов сбора данных для ML отдела. Стэк: FastAPI, Postgresql + SQLAlchemy + Alembic, Redis Далее занимался поддержкой реализованного проекта, решением задач оптимизации. При изменении работы проекта с доменной обработки на урловую производительность коллектора упала в разы. Для решения изменил логику обработки, эффективно обработал данные встроенными типами и оптимизировал запросы к бд, покрыл тестами. Переход на урловую обработку и оптимизация помогли привлечь новых клиентов в сфере кибербеза. Доработка функционала основного сайта проекта на Django: изменение доступных фичей при переводе клиентов с не актуальных тарифов, экспорт статистики клиента на почту и в S3, оптимизация количества запросов при создании профиля фильтрации в кабинете клиента и более мелкие.

Работа в перспективном стартапе на рынке аналитики рекламных конструкций. Используемые технологи: - FastAPI (JSON-RPC), Django - peewee, Django ORM - PostgreSQL, MongoDB - Docker - Bitbucket - git по git-flow - Общение команды Slack - Треккинг задач Jira Микросервисная архитектура проекта позволила поработать с разными backend фреймворками. Основной деятельностью были разработка новых и поддержка имеющихся API методов. Из реализованный крупных backend задач: - Разработка совместно с аналитиками и внедрение в проект расчета охвата с частотой 15+ для аудитории рекламных конструкций на основе данных сотовых операторов. - Разработка API и асинхронного (Aiohttp) клиента для получения данных с серверов, занимающихся ран-тайм парсингом источников данных. - Рефакторинг текущих методов по расчету используемых в проекте метрик для ускорения вывода информации на фронт. Так же решал задачи Data engineer / scientist: - Сбор информации из открытых источников. Использовал Aiohttp и rotating-proxy для постоянной смены tor ip адресов. Среди источников Циан, Авито, catering и DIY компании, каршеринги. Для автоматизации процесса использовался планировщик задач AirFlow. - Дизайн архитектуры хранения собранной информации для более эффективного использования. - Анализ и предиктивные прогнозы. Ключевые решения, реализованные в проекте: -Написание алгоритма подбора помещений для клиента на основе данных от сотовых операторов и данных, находящихся в свободном доступе. - Поддержание уже существующей системы расчёта аналитики для рекламных конструкций и её доработка. - Десятки кастомных отчётов для клиента на предмет проверки гипотез с последующей разработкой алгоритмов на их основе. Плотная работа с клиентом, понимание поставленных им задач и ожиданий, подготовка отчётов и ведение деловой переписки. Изначально приходил в компанию на должность Data engineer, но после развития навыков и погружения в IT понял, что мне ближе бэк. С 0 за 3 месяца развил навыки работы с данными до необходимого уровня и в полном объеме смог заменить своего наставника после его ухода. В течение последующих 3 месяцев поддерживал работу с данными и аналитику проекта самостоятельно. Далее переключился на backend.

ФТИ, Инноватика