winunify
本站致力于IT相关技术的分享
  文章分类
数据工程 8 分布式架构 3 后端架构 7 云原生 1 安全架构 1 数据工程与存储 1 全栈架构 2 分布式系统 3 MLOps 3 DevOps 1
构建基于Playwright、NATS JetStream与数据湖的弹性非结构化数据采集总线 构建基于Playwright、NATS JetStream与数据湖的弹性非结构化数据采集总线
获取高质量、结构化的API数据是一回事，但现实世界中，大量关键信息被锁定在动态渲染、需要复杂用户交互才能访问的Web应用里。单纯依赖API，我们丢失了用户视角下的真实页面呈现、第三方脚本行为以及通过交互才能触发的数据。最初我们尝试构建一个简
2023-10-27 数据工程
Playwright Data Lake NATS JetStream TypeScript MinIO
构建金融风控实时特征平台中利用分布式锁保证 Spark 计算一致性的架构权衡 构建金融风控实时特征平台中利用分布式锁保证 Spark 计算一致性的架构权衡
在金融风控场景下，特征计算平台的稳定性和数据一致性是整个系统的基石。我们面临的核心挑战是：如何在一个分布式的环境中，调度数百个 Apache Spark 作业，对海量的用户数据进行周期性、分片区的特征计算，同时确保任何一个计算单元（例如，某
2023-10-27 数据工程
Apache Spark GraphQL 分布式锁 Apollo Client 金融风控
2 / 2