F5 AI Gateway JWT 인증 및 클레임 기반 라우팅 구성 가이드 F5 AI Gateway 는 JWT(JSON Web Token)를 통해 인증을 진행하고, 클레임값에 따라 지정한 서비스(모델)로 요청을 라우팅하도록 구성할 수 있습니다. 이를 통해, 토큰 내 정보를 기반으로 백엔드 LLM을 선택적으로 사용할…

F5 AI Gateway 언어 기반 라우팅 구성 가이드 F5 AI Gateway 는 요청의 언어 에 따라 지정된 LLM 서비스로 요청을 라우팅할 수 있습니다.Language Identification Processor를 통해 입력 언어를 판별하고, 해당 언어에 최적화된 백엔드 LLM으로 요청을 전달합니다.또한, 별도의 패턴 분석을 통해…

F5 AI Gateway 헤더 기반 라우팅 구성 가이드 F5 AI Gateway 는 요청의 헤더 값에 따라 지정한 서비스(모델)로 요청을 라우팅하도록 구성할 수 있습니다. 이를 통해, 사용자의 요청 특성(예: 모델 명시, 사용자 그룹, 기능 요구 등)에 맞는 백엔드 LLM을 선택적으로 사용할…

F5 AI Gateway 모델 기반 라우팅 구성 가이드 F5 AI Gateway 는 다중 모델 서비스를 운영할 수 있는 구조를 제공하며, 요청에 포함된 모델 정보에 따라 요청을 특정 LLM 모델로 라우팅할 수 있습니다. 이 포스트는 클라이언트 요청의 model 필드 값을 기준으로…

F5 AI Gateway mTLS : NGINX Ingress Controller 연동 구성 이 포스트는 Kubernetes 클러스터에 배포된 NGINX Ingress Controller와 F5 AI Gateway 사이의 통신을 mTLS 구성하는 방법에 관해 설명합니다.NGINX Ingress Controller의 EgressMTLS policy 리소스를 사용하여 NGINX Ingress Controller와 F5 AI Gateway…

LLM07 - System Prompt Leakage 공격 F5 AI Gateway로 방어 이 포스트는 OWASP Top 10 LLM07 - System Prompt Leakage 공격을 F5 AI Gateway의 Prompt injection 프로세서를 통해서 감지하고 차단하는 방법에 관해 설명합니다. AI 요청이 NGINX Ingress Controller를 통해 F5…

LLM01 - Prompt Injection 공격 F5 AI Gateway로 방어 이 포스트는 OWASP Top 10 LLM01 - Prompt Injection 공격을 F5 AI Gateway의 Prompt injection 프로세서를 통해서 감지하고 차단하는 방법에 관해 설명합니다. AI 요청이 NGINX Ingress Controller를 통해 F5 AI Gateway로…

F5 AI Gateway Open WebUI 통합 구성 가이드 이 포스트는 F5 AI Gateway, Open WebUI 를 연동하여, Open WebUI에서 전송한 OpenAI API 형식에 맞춘 요청을 F5 AI Gateway를 통해 제어, 보호하고, 백엔드 LLM으로 전달하는 구성 방식을 다룹니다.백엔드에는 Ollama를 활용한 로컬…

F5 AI Gateway 설정 기초 가이드 이 포스트는 F5 AI Gateway 설정 파일의 구성 요소들을 알아보고, 클라이언트의 요청을 받아 LLM 서비스로 전달하기 위한 기초적인 구성 방법을 설명합니다. 목차 1. F5 AI Gateway 설정 흐름2. 버전 정보3. 기본 F5 AI Gateway…

F5 AI Gateway OWASP LLM 07 System Prompt Leakage 방어 최근 LLM(Large Language Model)의 활용이 폭발적으로 증가함에 따라, 이에 대한 보안 위협도 함께 주목받고 있습니다. 특히 OWASP Top 10 for LLM에서 정의한 [LLM-07: System Prompt Leakage]는 모델 내부의 시스템 프롬프트가…