winunify
本站致力于IT相关技术的分享
  文章分类
数据工程 8 分布式架构 3 后端架构 7 云原生 1 安全架构 1 数据工程与存储 1 全栈架构 2 分布式系统 3 MLOps 3 DevOps 1
构建基于Phoenix与WebRTC的大规模实时音视频数据管道以驱动AI分析 构建基于Phoenix与WebRTC的大规模实时音视频数据管道以驱动AI分析
我们面临的第一个问题不是信令，也不是媒体传输，而是数据出口。当上千路 WebRTC 音视频流在我们的 SFU (Selective Forwarding Unit) 集群中穿梭时，业务方的数据科学团队提出了一个看似简单却极难实现的需求：他们
2023-10-27 分布式系统
Phoenix WebRTC AI 数据科学 大数据
使用Go、Nginx、Pulsar与SQLite构建高可用的边缘数据采集网关 使用Go、Nginx、Pulsar与SQLite构建高可用的边缘数据采集网关
我们面临一个棘手的工程问题：需要从部署在全球上千个边缘节点的设备上，实时采集大量的遥测数据。这些节点所处的网络环境极不稳定，从时常抖动的Wi-Fi到信号微弱的4G网络，无所不有。业务要求是数据绝对不能丢失，即便边缘节点与中心云端的连接中断数
2023-10-27 分布式系统
SQLite Pulsar Go Nginx
基于 AWS EKS 构建利用 Memcached 加速状态流转的 Saga 分布式事务协调器 基于 AWS EKS 构建利用 Memcached 加速状态流转的 Saga 分布式事务协调器
一个看似简单的下单操作，背后联动了订单、库存、积分三个微服务。在一次大促压测中，积分服务因为负载过高出现短暂不可用，导致大量用户的订单创建成功、库存也扣减了，但积分发放失败。数据不一致的烂摊子，花了我和团队整整两天时间手动修复，这个教训足够
2023-10-27 分布式系统
Kubernetes Ant Design 分布式事务 AWS EKS Memcached