Comparor: преобразование разнородных источников в сопоставимую информацию.
Программа Comparor объединяет в себе функции сбора, нормализации, поиска и обновления данных. Это программное обеспечение, ценность которого зависит как от качества данных, так и от приложения, использующего их.
Проблема, лежащая в основе продукта.
Коммерческие источники меняют структуру, доступность и частоту поставок. Для обеспечения полезного сравнения система должна учитывать происхождение, свежесть и качество для каждого параметра, поддерживая при этом рабочие процессы, которые могут частично давать сбои.
- Вносите каталоги различных форматов и качества.
- Обнаружение изменений в исходном коде без нарушения всего потока данных.
- Нормализация товаров и их характеристик с сохранением отслеживаемости.
- Обновление информации при контролируемых эксплуатационных расходах.
- Разделяйте временную недоступность и постоянный сбой.
Возможности, встроенные в систему
В описании рассматриваются только наблюдаемые возможности, и не приводятся данные о недокументированных метриках.
Соединители, сканирование и импорт с использованием системы контроля версий.
Преобразовывать поля, категории, единицы измерения и атрибуты.
Проверка данных, состояния и обработка неполных записей.
Возобновляемые пакетные задания с возможностью повторных попыток и ограничениями.
Структуры, оптимизированные для поиска и сравнения.
Мониторинг источника, ошибок, охвата и свежести.
Превратите операционную сложность в поддерживаемые возможности.
Объяснить суть дела можно не только с помощью используемых технологий. Выбор границ, условий работы и способов проверки результатов также имеет значение.
В процессе проектирования необходимо отделить то, что должно оставаться согласованным, от того, что может развиваться независимо. Бизнес-правила, данные, асинхронные процессы и интеграции имеют разные ритмы и режимы сбоев; выявление этих различий позволяет изменять одну функцию, не распространяя исключения по всей платформе.
Операционная деятельность является частью решения. Каждому важному процессу необходимы сигналы для распознавания его состояния, обработки ошибок, определения ответственного лица и пути восстановления. Доказательством эффективности являются возможности, которые продукт может использовать, и возможности, которые команда может поддерживать, а не идеализированная архитектура.
- КонтекстПользователи, операции, ограничения и фактический риск.
- ГраницыОбязанности и контракты, снижающие взаимозависимость.
- ОперацииНаблюдение, ошибки, повторные попытки и восстановление.
- ДоказательствоНаблюдаемые возможности и многократно используемые знания.
Как распределяются обязанности
Это объяснительная модель, а не воспроизведение конфиденциальной инфраструктуры.
- Процесс обработки данных разделен на этапы: сбор данных, проверка, нормализация и публикация.
- Для пояснения каждого значения сохранены источник и штат.
- Пакетные задания можно возобновить без повторного выполнения всей работы.
- Модель чтения оптимизирована для удобства поиска.
Что демонстрирует этот опыт
- Архитектура, разделяющая качество данных и их представление.
- Возможность добавлять или исправлять источники без перепроектирования продукта.
- Опыт работы с каталогами, импортом, поиском и обработкой больших объемов данных.
Принципы повторного использования
В конвейере обработки данных необходимо объяснить, почему запись не была опубликована.
Наблюдаемость по каждому источнику более полезна, чем глобальная частота ошибок.
Для нормализации необходимы не только технические преобразования, но и бизнес-решения.
Материалы, связанные с этим решением
Продолжить с диагностикой, выполнением или смежным опытом.
Давайте обсудим, что нужно вашему PHP-приложению.
Расскажите нам о контексте, основной проблеме и желаемом результате. Мы ответим вам, задав вопросы, необходимые для проведения первоначальной оценки.
- Никаких коммерческих обязательств
- Непосредственный контакт с командой
- Ваши данные не продаются третьим лицам.