zezeful
本站致力于IT相关技术的分享
构建从事务数据库到Apache Iceberg的事件驱动型实时摄取函数 构建从事务数据库到Apache Iceberg的事件驱动型实时摄取函数
我们面临一个典型的现代数据工程困境：业务分析团队需要对生产 PostgreSQL 数据库中的数据进行近乎实时的分析，但直接查询生产库是绝对禁止的。传统的每小时或每日批处理ETL作业导致的数据延迟，已经无法满足快速决策的需求。数据仓库中的数据
2023-10-27 数据工程
CDC Python OpenFaaS Apache Iceberg Serverless
基于 Pulsar, TimescaleDB 与 OpenSearch 构建事件驱动的混合存储特征管道 基于 Pulsar, TimescaleDB 与 OpenSearch 构建事件驱动的混合存储特征管道
我们的机器学习模型推理服务遇到了一个棘手的性能瓶颈。它需要实时访问两种截然不同的特征数据：一种是基于时间窗口的用户行为聚合特征（例如，“过去15分钟内用户的点击次数”），另一种是基于内容的复杂文本与向量化特征（例如，“搜索与用户历史画像最相
2023-10-27 数据工程
Pulsar Ktor Search TimescaleDB Argo CD
运用图数据库与Turbopack为内部开发者平台构建实时Monorepo依赖分析器 运用图数据库与Turbopack为内部开发者平台构建实时Monorepo依赖分析器
我们团队的 Monorepo 已经膨胀到了一个临界点：超过两千个内部包，横跨前端应用、共享组件、Node.js 服务和工具库。一个看似无害的底层工具函数变更，竟然触发了长达45分钟的CI流水线，影响了上百个包的构建和测试。最可怕的是，这种“
2023-10-27 前端工程化
NoSQL (图) Prettier 状态管理 Turbopack
基于 Couchbase 为 Serverless 函数提供 SAML 协议有状态会话支持的架构决策 基于 Couchbase 为 Serverless 函数提供 SAML 协议有状态会话支持的架构决策
定义技术难题：Serverless 的无状态性与 SAML 的有状态会话之间的固有矛盾SAML 2.0 协议，特别是其常用的 HTTP-Redirect 和 HTTP-POST 绑定，本质上是一个有状态的多步骤流程。一个典型的认证流程如下：
2023-10-27 架构设计
Couchbase Serverless SAML Knative Google Cloud Functions
构建基于 Linkerd mTLS、Redis Streams 与 ASP.NET Core 的零信任事件驱动架构 构建基于 Linkerd mTLS、Redis Streams 与 ASP.NET Core 的零信任事件驱动架构
我们团队最近在重构一个核心业务系统，目标是将其从一个紧耦合的单体应用拆分为一组基于事件驱动的微服务。技术栈选型很快确定下来：ASP.NET Core 提供高性能的服务运行时，Redis Streams 作为轻量级、支持持久化和消费组的消息代
2023-10-27 云原生
mTLS ASP.NET Core Redis Streams Linkerd
在AWS上构建服务于TensorFlow模型的实时时序特征存储架构 在AWS上构建服务于TensorFlow模型的实时时序特征存储架构
项目初期，时序预测模型在Jupyter Notebook里表现完美，验证集上的MAE和RMSE指标都无可挑剔。然而，当模型被部署为线上服务后，灾难降临了。线上模型的性能与离线评估结果存在巨大鸿沟，告警邮件塞满了收件箱。问题的根源很快被定位：
2023-10-27 数据工程
MLOps Feature Store 时序 TensorFlow AWS
4 / 5