AI软件工程师-AI安全

我们正在寻找一位经验丰富的系统研发工程师，加入我们的 AI 安全与质量团队。您将负责维护和优化基于 LLM Gateway 的核心 Guardrail 服务，确保大模型推理过程中的请求与响应（包含流式与非流式）安全、稳定、高效。您将与基建团队以及各业务线紧密合作，推动安全服务的集成与落地。

岗位职责：

1.系统优化与维护： 负责 Guardrail模块的代码重构与性能调优，降低服务延迟（Latency），提升吞吐量（Throughput），提高稳定性（Stability)。

2.稳定性保障： 建设完善的系统监控、日志收集与报警机制（Metrics, Logging, Tracing），快速定位并解决线上高并发场景下的稳定性问题。

3.架构协同： 作为核心对接人，与Service Owner紧密合作，参与网关架构的演进，确保业务代码与底层服务的高效解耦与集成。

4.业务接入与落地： 编写清晰的 API 文档与接入指南，负责 Onboarding 业务团队，协助他们顺畅地接入并使用我们的安全 Guardrail 服务。

5.流式处理优化： 针对大模型 Streaming 输出的特性，优化分块Guardrail处理逻辑，确保流式检测的低延迟与高准确率。

任职要求：

1.计算机科学或相关专业本科及以上学历，3年以上相关岗位从业经历。

2.精通后端开发语言（如 Python, Go, C++ 或 Java），具备扎实的系统编程能力。

3.拥有高并发、高可用微服务架构的开发与调优经验。

4.熟悉常见的日志与监控生态（如 ELK, Prometheus, Grafana, OpenTelemetry）。

5.具备优秀的沟通与跨团队协作能力，能够顺畅推进跨部门的技术落地。

6.具备基本英语沟通能力（重点在读、写能力）。

加分项：

1.有大模型网关（如 LiteLLM, vLLM router 等）或 API Gateway 的开发/维护经验。

2.熟悉 K8s、Docker 等云原生技术栈及 CI/CD 流程。

3.有AI安全服务相关经验。

4.有大模型Inference相关背景和经验，熟悉SGlang, Vllm, TensorRT-LLM等推理库及工作原理。

5.有批判性思维，乐于接触和学习新鲜事物；有热情，有大局观，有团队精神，有担当。

Ways of Working
Our structured hybrid approach is centered around our offices and remote work environments. The work style of each role, Hybrid, Remote, or In-Person is indicated in the job description/posting.

Benefits
As part of our award-winning workplace culture and commitment to delivering happiness, our benefits program offers a variety of perks, benefits, and options to help employees maintain their physical, mental, emotional, and financial health; support work-life balance; and contribute to their community in meaningful ways. Click