myqkly
本站致力于IT相关技术的分享
在内部开发者平台中融合WASM静态分析、IAM策略与死信队列的架构权衡 在内部开发者平台中融合WASM静态分析、IAM策略与死信队列的架构权衡
一、 定义问题：破碎的研发流程与平台化的必然性在团队规模超过百人后，我们原有的基于脚本和零散工具的CI/CD流程暴露了三个致命问题： 前端静态检查的性能瓶颈：大型Monorepo项目，在CI阶段运行ESLint全量扫描，耗时可达5-10
2023-10-27 架构设计
WebAssembly Dead Letter Queue IAM ESLint Styled-components
构建基于Puppeteer、PyTorch与HBase的闭环数据采集与模型自优化系统 构建基于Puppeteer、PyTorch与HBase的闭环数据采集与模型自优化系统
我们面临的第一个问题不是模型，而是数据。具体来说，是为特定垂直领域的深度学习模型持续、自动化地获取高质量、动态渲染的网页数据。传统的爬虫库如 Scrapy 在面对重度依赖JavaScript的现代单页应用（SPA）时显得力不从心，而手动收集
2023-10-27 数据工程
HBase Puppeteer TensorFlow PyTorch Jupyter
构建基于Git动态脚本与Jaeger全链路追踪的Puppeteer合成监控平台 构建基于Git动态脚本与Jaeger全链路追踪的Puppeteer合成监控平台
服务健康检查返回200 OK，但用户却反馈页面白屏、登录按钮无法点击。这种脱节的监控状态在真实项目中屡见不鲜。传统的存活探针（liveness probe）和就绪探针（readiness probe）只能覆盖服务端点，无法触及复杂的前端渲染
2023-10-27 可观测性
Puppeteer Jaeger Git Spring Boot
基于 Git 工作流与共识算法实现 Docker Swarm 集群的动态安全策略下发 基于 Git 工作流与共识算法实现 Docker Swarm 集群的动态安全策略下发
在动态的 Docker Swarm 集群中，对入口网关 Kong 和各节点主机防火墙（iptables）实施统一、可审计且具备强一致性的安全策略，是一个棘手的运维挑战。手动变更不仅效率低下，更会引入“配置漂移”和安全漏洞，尤其是在快速迭代的
2023-10-27 DevSecOps
防火墙 Code Review Docker Swarm Paxos 算法 Kong
构建基于 Echo 的动态策略 IAM 中间件与 Cypress 的自动化安全契约测试 构建基于 Echo 的动态策略 IAM 中间件与 Cypress 的自动化安全契约测试
最初的需求很简单：为我们的新服务API加上权限控制。在项目初期，我们用角色（Roles）来划分权限，一个用户是“管理员”，他什么都能做；另一个是“成员”，他只能读写部分资源。这种基于角色的访问控制（RBAC）在只有两三种角色和十几个API端
2023-10-27 后端架构
Go Cypress IAM Echo DevSecOps
构建基于AWS Serverless与WebSocket的高吞吐量日志流推送服务的架构权衡与成本优化实践 构建基于AWS Serverless与WebSocket的高吞吐量日志流推送服务的架构权衡与成本优化实践
最初为内部平台构建实时日志查看器的方案是HTTP轮询。这个方案在只有少数几个开发人员使用时勉强可用，但随着用户和日志源的增长，它迅速演变成一场灾难。激增的API请求不仅给后端服务带来了不必要的压力，更导致CloudWatch的API调用费用
2023-10-27 云原生架构
Serverless AWS WebSockets esbuild Lambda
4 / 5