归档 | keytophub

2023

10

27

在一个高并发的风控或推荐场景下，对特征计算和存储系统的要求是极为苛刻的。系统必须能以毫秒级延迟响应在线服务的请求，同时处理来自实时事件流的瞬时特征、来自批处理作业的深度历史特征，以及在特定请求下才能触发的复杂关系网络特征。任何单一的架构范式

2023-10-27 数据工程

Hadoop Apache Flink NoSQL Celery ScyllaDB

27

我们团队的GitLab CI/CD流水线数量在过去一年里增长了十倍，随之而来的是一个棘手的问题：流水线本身成了一个难以观测的黑盒。当被问及“上个季度最不稳定的十个测试是哪些？”、“某个关键服务的部署频率变化趋势如何？”或者“P0级告警后，回

2023-10-27 DevOps

Webpack GitLab CI/CD DynamoDB Pandas SQL

27

在一次复杂的全链路压测中，我们面临一个棘手的问题：如何实时、低延迟地聚合来自数十个微服务的海量性能指标（QPS、Latency P99、错误率等），并将其推送至一个统一的监控仪表盘，同时确保这个指标收集过程本身不会成为新的性能瓶颈。传统的日

2023-10-27 后端架构

Relay SSE Lua OpenResty 性能测试可观测性

27

项目初期，我们依赖第三方SaaS产品进行用户行为分析。这套方案在启动阶段确实便捷，但随着PWA（Progressive Web App）业务的深入，其弊端愈发明显：阻塞主线程的JS脚本、数据所有权的缺失，以及无法将原始事件数据导入我们内部的

2023-10-27 后端架构

Fastify Data Lake PWA Node.js 数据工程

27

一切始于一个失控的数据流。生产环境的事件生产者开始以每秒数千次的频率向我们的系统推送特征向量，而负责处理这些数据的机器学习推理服务却频繁地内存溢出、响应超时，最终彻底崩溃。最初的实现方案简单得可笑：一个直接从消息队列拉取数据、调用模型API

2023-10-27 架构与设计

Redis Streams MLflow Koa MLOps System Design

27

当一个推荐系统的核心指标从“准确”升级为“实时响应”时，整个技术栈的复杂度会发生质的变化。用户在页面上的每一次悬停、点击或滚动，都可能成为触发推荐列表动态更新的信号。在这种场景下，传统的“请求-响应”模式很快就会暴露出其固有的延迟和资源浪费

2023-10-27 架构设计

C# 推荐系统 MobX SignalR WebSockets 实时通信