hewoxa
本站致力于IT相关技术的分享
  文章分类
后端架构 8 分布式系统 3 DevSecOps 1 API 与架构 1 DevOps 4 架构与设计 4 数据工程 2 架构设计 3 可观测性 3 MLOps 1
利用Debezium与PubSub构建从MySQL到Weaviate及ArangoDB的实时数据管道 利用Debezium与PubSub构建从MySQL到Weaviate及ArangoDB的实时数据管道
最初的系统架构非常清晰，甚至有些过时：一个核心的Java服务，背后是单一的MySQL实例。它处理着所有的业务逻辑——用户注册、商品管理、订单交易，以及日益增长的搜索和推荐请求。当数据量和并发量还处在可控范围时，这种单体架构凭借其简单性表现尚
2023-10-27 数据工程
MySQL Weaviate Google Cloud Pub/Sub ArangoDB CDC Debezium
基于Vault动态数据库凭证与NumPy向量化实现高吞吐读写分离数据处理 基于Vault动态数据库凭证与NumPy向量化实现高吞吐读写分离数据处理
一个线上服务的实时风控模块，其核心数据库的CPU负载在高峰期持续告警。瓶颈很明确：大量的复杂只读查询与核心的写事务在争抢同一个PostgreSQL实例的资源。这些查询并非简单的SELECT * FROM ... WHERE id = ?，而
2023-10-27 数据工程
读写分离 NumPy HashiCorp Vault