myqkly
本站致力于IT相关技术的分享
构建统一数据血缘平台：整合 Trino 查询日志、ArangoDB 图模型与 Elasticsearch 索引 构建统一数据血缘平台：整合 Trino 查询日志、ArangoDB 图模型与 Elasticsearch 索引
在一个成熟的数据平台中，最令人恐惧的问题不是查询性能，也不是存储成本，而是“我无法确定修改这张表的这个字段会影响下游哪些报表和应用”。数据资产间的依赖关系模糊不清，形成一张看不见的、错综复杂的网，任何微小的改动都可能引发雪崩式的故障。这就是
2023-10-27 数据工程
ArangoDB Elasticsearch Presto / Trino 数据湖与仓库 UI 组件库
构建面向Nomad集群的Vue.js核心库 融合Snowflake实现任务生命周期追溯 构建面向Nomad集群的Vue.js核心库 融合Snowflake实现任务生命周期追溯
团队内部的开发者在直接与 Nomad API 和 CLI 交互时，正面临日益增长的摩擦。参数化任务（Parameterized Jobs）的调度过程繁琐、易错，缺乏一个统一的界面来观察任务的实时状态，而任务失败后的日志追溯与根因分析更是耗时
2023-10-27 DevOps
IDP 核心库 Vue.js Nomad Snowflake
构建连接数据仓库与TensorFlow模型的高性能实时特征服务层 构建连接数据仓库与TensorFlow模型的高性能实时特征服务层
模型在生产环境中的表现，与其说是算法的胜利，不如说是工程的胜利。一个常见的失败场景是：模型在离线环境中使用天级别甚至小时级别的特征进行训练，表现优异；一旦部署上线，面对实时请求，却只能使用请求中携带的极其有限的瞬时特征，导致模型效果断崖式下
2023-10-27 后端架构
微服务 TensorFlow Fastify Data Warehouse 性能优化
在内部开发者平台中融合WASM静态分析、IAM策略与死信队列的架构权衡 在内部开发者平台中融合WASM静态分析、IAM策略与死信队列的架构权衡
一、 定义问题：破碎的研发流程与平台化的必然性在团队规模超过百人后，我们原有的基于脚本和零散工具的CI/CD流程暴露了三个致命问题： 前端静态检查的性能瓶颈：大型Monorepo项目，在CI阶段运行ESLint全量扫描，耗时可达5-10
2023-10-27 架构设计
WebAssembly Dead Letter Queue IAM ESLint Styled-components
基于领域驱动设计的分布式追踪：实现跨限界上下文的业务语义传递 基于领域驱动设计的分布式追踪：实现跨限界上下文的业务语义传递
在一个遵循领域驱动设计（DDD）原则的微服务体系中，一个核心的业务流程，比如“用户下单”，并不会在一个单一的服务中闭环。它会跨越多个限界上下文（Bounded Context），从订单上下文流转到库存上下文，再到物流上下文。当系统出现故障时
2023-10-27 分布式架构
微服务 Domain-Driven Design Jaeger OpenTelemetry 分布式追踪
构建基于Puppeteer、PyTorch与HBase的闭环数据采集与模型自优化系统 构建基于Puppeteer、PyTorch与HBase的闭环数据采集与模型自优化系统
我们面临的第一个问题不是模型，而是数据。具体来说，是为特定垂直领域的深度学习模型持续、自动化地获取高质量、动态渲染的网页数据。传统的爬虫库如 Scrapy 在面对重度依赖JavaScript的现代单页应用（SPA）时显得力不从心，而手动收集
2023-10-27 数据工程
HBase Puppeteer TensorFlow PyTorch Jupyter
3 / 5