归档: 2023/10 | keytophub

2023

10

27

一切始于一个失控的数据流。生产环境的事件生产者开始以每秒数千次的频率向我们的系统推送特征向量，而负责处理这些数据的机器学习推理服务却频繁地内存溢出、响应超时，最终彻底崩溃。最初的实现方案简单得可笑：一个直接从消息队列拉取数据、调用模型API

2023-10-27 架构与设计

Redis Streams MLflow Koa MLOps System Design

27

当一个推荐系统的核心指标从“准确”升级为“实时响应”时，整个技术栈的复杂度会发生质的变化。用户在页面上的每一次悬停、点击或滚动，都可能成为触发推荐列表动态更新的信号。在这种场景下，传统的“请求-响应”模式很快就会暴露出其固有的延迟和资源浪费

2023-10-27 架构设计

C# 推荐系统 MobX SignalR WebSockets 实时通信

27

我们面临一个典型的技术债务与现代化改造的冲突场景。数据平台团队已经成功在Hadoop上构建了新的数据湖，技术栈统一为Scala和Spark。然而，业务的核心价值——数百个经过多年迭代、复杂且高度优化的SQL查询，被牢牢地锁在旧有Java单体

2023-10-27 数据工程

Hadoop Scala MyBatis ETL 架构设计

27

在任何一个有一定规模的技术团队中，开发人员获取基础设施资源的过程都充满了摩擦。一个新服务的上线，可能需要申请数据库、消息队列、缓存，每个申请都意味着工单流转、与SRE团队的沟通、以及漫长的等待。即便是引入了基础设施即代码（IaC）工具如Te

2023-10-27 云原生

Crossplane Micronaut Qwik 平台工程 IaC

27

在生产环境中，任何形式的静态、长生命周期的凭证都是一颗定时炸弹。下面这种配置在无数个项目中屡见不鲜： # application.yml (典型但不安全的配置) datasources: default: url: jdbc:p

2023-10-27 架构与设计

Micronaut 密钥管理 Nuxt.js Vault DevSecOps

27

在尝试将AI推理能力从中心化的云端下沉到分布式边缘节点时，我们面临的第一个棘手问题并非模型本身，而是网络拓扑与服务生命周期的不确定性。边缘节点，无论是工厂车间的工控机还是零售店的服务器，它们的网络环境复杂多变，且随时可能因为断电、维护或网络

2023-10-27 分布式架构

服务发现 ZeroMQ Hugging Face Transformers 边缘计算 Python