zezeful
本站致力于IT相关技术的分享
构建基于 Scala 与 Knative 的时序数据 Serverless 采集网关 构建基于 Scala 与 Knative 的时序数据 Serverless 采集网关
我们需要处理一个棘手的时序数据采集场景：数据源是百万级的物联网设备，它们并非持续上报，而是在特定时间窗口（例如每小时的头五分钟）内集中爆发式地提交数据。峰值 QPS 可达成千上万，但其余 90% 的时间里，系统几乎处于空闲状态。为一个短暂的
2023-10-27 后端架构
Ktor Knative Scala Time Series Clean Architecture
基于 Pulsar, TimescaleDB 与 OpenSearch 构建事件驱动的混合存储特征管道 基于 Pulsar, TimescaleDB 与 OpenSearch 构建事件驱动的混合存储特征管道
我们的机器学习模型推理服务遇到了一个棘手的性能瓶颈。它需要实时访问两种截然不同的特征数据：一种是基于时间窗口的用户行为聚合特征（例如，“过去15分钟内用户的点击次数”），另一种是基于内容的复杂文本与向量化特征（例如，“搜索与用户历史画像最相
2023-10-27 数据工程
Pulsar Ktor Search TimescaleDB Argo CD
构建从事务数据库到Apache Iceberg的事件驱动型实时摄取函数 构建从事务数据库到Apache Iceberg的事件驱动型实时摄取函数
我们面临一个典型的现代数据工程困境：业务分析团队需要对生产 PostgreSQL 数据库中的数据进行近乎实时的分析，但直接查询生产库是绝对禁止的。传统的每小时或每日批处理ETL作业导致的数据延迟，已经无法满足快速决策的需求。数据仓库中的数据
2023-10-27 数据工程
CDC Python Serverless OpenFaaS Apache Iceberg
构建混合架构下的Saga分布式事务协调器：结合Java的ACID核心与OpenFaaS的补偿机制 构建混合架构下的Saga分布式事务协调器：结合Java的ACID核心与OpenFaaS的补偿机制
在一个必须保证核心账务数据绝对一致性的系统中，引入分布式架构总是一场关于风险与收益的博弈。当业务流程扩展到单一数据库事务无法承载的长度时——例如，一个包含订单创建、库存扣减、支付网关交互、优惠券核销和邮件通知的完整流程——我们被迫在强一致性
2023-10-27 分布式架构
OpenFaaS SQL ACID Redux Java
基于 XState 状态机实现 Raft 协议与 MariaDB 持久化的分布式服务注册器 基于 XState 状态机实现 Raft 协议与 MariaDB 持久化的分布式服务注册器
我们团队最近面临一个棘手的挑战：为一组内部的、对延迟敏感的计算服务构建一个轻量级、嵌入式的服务发现机制。使用 Consul 或 etcd 这样成熟的方案固然是行业标准，但在我们的场景下，引入一个独立的、重量级的中间件集群带来了额外的运维复杂
2023-10-27 分布式系统
分布式一致性 XState 服务发现 MariaDB Raft
实现基于 KEDA 自定义指标的 Elixir SSR 应用在 Azure K8s 上的状态感知自动伸缩 实现基于 KEDA 自定义指标的 Elixir SSR 应用在 Azure K8s 上的状态感知自动伸缩
我们团队的一个核心产品，其前端交互体验是基于 Elixir 的 Phoenix LiveView 构建的。这种选择为我们带来了服务端渲染 (SSR) 的所有好处，同时通过持久化的 WebSocket 连接提供了类似 SPA 的富交互体验。最
2023-10-27 云原生与运维
SSR Azure Elixir Cloud Native & DevOps KEDA Kubernetes
5 / 5