winunify
本站致力于IT相关技术的分享
构建基于 Sidecar 模式的轻量级服务发现系统以支持 Go 与 Python 异构微服务 构建基于 Sidecar 模式的轻量级服务发现系统以支持 Go 与 Python 异构微服务
技术痛点：异构环境下的服务注册与发现难题在一个典型的微服务项目中，我们团队同时维护着两套技术栈：Go 用于构建高性能的核心 API 和网络中间件，Python 则负责数据处理、算法模型等上层业务逻辑。这种组合发挥了各自语言的优势，但也带来了
2023-10-27 分布式架构
微服务 Python Go 服务发现 API 与架构 Sidecar Gossip
基于 Apache Flink 与 Clean Architecture 构建流式驱动的静态站点生成管道 基于 Apache Flink 与 Clean Architecture 构建流式驱动的静态站点生成管道
一个棘手的需求摆在面前：为高吞吐量的用户行为日志（每秒数万次页面浏览）构建一个近实时的监控仪表盘。传统方案，如使用ELK或直连时序数据库的前端轮询，因其高昂的实时查询成本和复杂的后端维护而被否决。我们的目标是极致的性能、低廉的成本和最小的运
2023-10-27 数据工程
Apache Flink Clean Architecture AWS SSG
构建从PostgreSQL到Elasticsearch的准实时、最终一致性同步管道 构建从PostgreSQL到Elasticsearch的准实时、最终一致性同步管道
我们面临一个在分布式系统中极为常见但又充满挑战的问题：如何维持一个事务型数据库（PostgreSQL）和一个搜索系统（Elasticsearch）之间的数据一致性。业务要求对数据的查询维度非常复杂，单纯依赖PostgreSQL的索引难以满足
2023-10-27 数据工程
消息队列 搜索 分布式一致性 CDC Debezium
基于 Flink 与 Redux 构建高吞吐 IoT 平台的端到端状态一致性架构 基于 Flink 与 Redux 构建高吞吐 IoT 平台的端到端状态一致性架构
定义问题：实时风力发电机组监控的状态同步困境设想一个场景：我们需要为一个大型风力发电场构建一个实时监控指挥中心。该系统需要处理数千台风力发电机上传感器每秒产生的数据流，数据点包括风速、转速、功率、偏航角、设备温度等。指挥中心的大屏幕上，前端
2023-10-27 分布式架构
Apache Flink Redux Node.js 测试 事件驱动
使用Jib构建内嵌Hugging Face模型与SQLite向量存储的独立搜索服务 使用Jib构建内嵌Hugging Face模型与SQLite向量存储的独立搜索服务
团队内部一个监控看板需要一个简单的日志搜索功能。需求很明确：能在数万条结构化日志中，根据自然语言描述找到相关的异常信息。常规的grep或者LIKE查询效果差强人意，而引入Elasticsearch或一个专门的向量数据库，对于这个非核心的内部
2023-10-27 后端架构
LLM Jib Search Hugging Face Transformers SQLite
基于Spring Boot与Cassandra构建支持DVC版本追溯的高吞吐实时特征API 基于Spring Boot与Cassandra构建支持DVC版本追溯的高吞吐实时特征API
在任何严肃的机器学习系统中，训练-服务偏斜（Training-Serving Skew）都是一个潜藏的、难以根除的顽疾。其中一个核心诱因，就是线上实时推理所用的特征，与线下模型训练所用的特征，在生成逻辑上出现了细微但致命的偏差。问题的根源在
2023-10-27 数据工程
Spring Boot Loki API 设计 Cassandra DVC
2 / 5