归档: 2023 | zezeful

2023

10

27

定义问题：从批处理到实时推理的架构鸿沟项目背景很明确：我们需要将核心推荐系统的模型推理从每日批处理迁移到实时在线服务。当前的架构依赖 T+1 的 Spark 作业生成特征，这导致用户行为无法在24小时内影响推荐结果，业务增长已触及瓶颈。新的

2023-10-27 分布式架构

Pulsar C# Cilium Kubeflow eBPF MLOps Feature Store

27

要为上千路并发的视频流提供实时的计算机视觉（CV）分析，并将其结果无延迟地呈现在Web前端，技术挑战不在于CV算法本身，而在于如何构建一个能承载这一切的数据流和状态管理架构。一个朴素的实现，即将CV处理逻辑直接耦合在Web后端中，会在并发量

2023-10-27 分布式架构

Kafka Ktor CV Recoil WebSocket

27

我们接手了一个新的多租户SaaS平台项目，技术栈初步定为Node.js + React。第一个需要攻克的堡垒就是认证系统。在当前的安全环境下，传统的密码认证方式已经成了一个巨大的责任包袱，不仅用户体验差（需要记忆复杂密码），而且安全风险极高

2023-10-27 后端架构

Couchbase Ant Design WebAuthn Webpack Memcached

27

我们SaaS平台的微前端架构一直运行良好，直到产品团队提出了一个看似简单的需求：为每个租户提供基于自然语言的智能文档检索功能。这意味着我们需要引入向量数据库。技术选型很快落定在Milvus上，但真正的挑战随之而来：在一个共享的基础设施上，如

2023-10-27 分布式架构

JWT Milvus Azure Micro-frontends GitHub Actions

27

前端团队的CI流水线最近变得异常缓慢和脆弱。根本原因在于我们的PostCSS构建流程，它集成了大量的插件，包括代码风格检查、未来CSS语法转译、性能优化和自定义属性生成。单个构建任务在复杂的项目中耗时可能超过一分钟，并且偶尔会因为插件冲突或

2023-10-27 后端架构

Python Sanic Dead Letter Queue PostCSS 异步任务系统设计

27

我们面临一个典型的现代数据工程困境：业务分析团队需要对生产 PostgreSQL 数据库中的数据进行近乎实时的分析，但直接查询生产库是绝对禁止的。传统的每小时或每日批处理ETL作业导致的数据延迟，已经无法满足快速决策的需求。数据仓库中的数据

2023-10-27 数据工程

CDC Python OpenFaaS Apache Iceberg Serverless