keytophub
本站致力于IT相关技术的分享
  文章分类
DevOps 5 后端架构 4 云原生与DevOps 1 数据工程 3 架构设计 1 架构与设计 4 DevSecOps 1 分布式架构 3 云原生 1 客户端架构 1 分布式系统 2 可观测性 2 大前端 1 前端工程化 1
构建基于 Flink 实时特征流与 LangChain 的动态上下文 API 网关 构建基于 Flink 实时特征流与 LangChain 的动态上下文 API 网关
我们基于 LangChain 构建的初代智能客服 API 已经上线，但很快就暴露了一个根本性问题：缺乏实时上下文。无论用户前一秒在我们的平台上做了什么，API 返回的回答总是千篇一律，它对用户的“当下”一无所知。业务方要求模型能够感知用户最
2023-11-15 分布式架构
Apache Flink API Gateway LangChain Java Spring Cloud Gateway
构建基于ZeroMQ的动态服务发现层以支持边缘侧Hugging Face模型推理 构建基于ZeroMQ的动态服务发现层以支持边缘侧Hugging Face模型推理
在尝试将AI推理能力从中心化的云端下沉到分布式边缘节点时，我们面临的第一个棘手问题并非模型本身，而是网络拓扑与服务生命周期的不确定性。边缘节点，无论是工厂车间的工控机还是零售店的服务器，它们的网络环境复杂多变，且随时可能因为断电、维护或网络
2023-10-27 分布式架构
Python 服务发现 ZeroMQ Hugging Face Transformers 边缘计算
基于 Spring Boot 与 Rust 构建异构语言下的两阶段提交事务实现 基于 Spring Boot 与 Rust 构建异构语言下的两阶段提交事务实现
我们面临一个棘手的集成场景：一个核心业务流程由成熟的 Spring Boot 应用主导，负责订单处理和账户更新，而一个新增的高性能计算模块则采用 Rust 开发，用于实时的风险评估与信用额度冻结。两边都需要操作同一个 SQL Server
2023-10-27 分布式架构
Spring Boot Rust SQL Server Two-Phase Commit ORM