Anderson LimaAI Engineer
26 de janeiro de 2026
3 min de leitura
869 visualizações
LLM Gateway abstrai providers (OpenAI, Anthropic, local models), adiciona caching, rate limiting e fallback
Seu app chama openai.chat.completions.create() diretamente. Amanhã, OpenAI quebra ou aumenta preço 10x. LLM Gateway abstrai providers e adiciona resilience.
// ❌ Acoplado a OpenAI
import OpenAI from 'openai';
const openai = new OpenAI({ apiKey: process.env.OPENAI_API_KEY });
async function chat(message: string) {
const response = await openai.chat.completions.create({
model: 'gpt-4',
messages: [{ role: 'user', content: message }]
});
return response.choices[0].message.content;
}
Se quiser trocar para Anthropic Claude, precisa reescrever tudo.
// Gateway abstrai providers
interface LLMGateway {
chat(messages: Message[]): Promise<string>;
}
class OpenAIProvider implements LLMGateway {
async chat(messages) {
const response = await openai.chat.completions.create({
model: 'gpt-4',
messages
});
return response.choices[0].message.content;
}
}
class AnthropicProvider implements LLMGateway {
async chat(messages) {
const response = await anthropic.messages.create({
model: 'claude-3-opus',
messages
});
return response.content[0].text;
}
}
// App usa interface genérica
const gateway: LLMGateway = new OpenAIProvider();
const answer = await gateway.chat([{ role: 'user', content: 'Hello' }]);
class CachingGateway implements LLMGateway {
private cache = new Map<string, string>();
constructor(private provider: LLMGateway) {}
async chat(messages: Message[]): Promise<string> {
const key = JSON.stringify(messages);
if (this.cache.has(key)) {
return this.cache.get(key)!;
}
const response = await this.provider.chat(messages);
this.cache.set(key, response);
return response;
}
}
class RateLimitedGateway implements LLMGateway {
private bucket: TokenBucket;
async chat(messages: Message[]): Promise<string> {
await this.bucket.consume(1);
return this.provider.chat(messages);
}
}
class FallbackGateway implements LLMGateway {
constructor(
private primary: LLMGateway,
private fallback: LLMGateway
) {}
async chat(messages: Message[]): Promise<string> {
try {
return await this.primary.chat(messages);
} catch (error) {
console.warn('Primary failed, using fallback');
return await this.fallback.chat(messages);
}
}
}
class LoadBalancedGateway implements LLMGateway {
private currentIndex = 0;
constructor(private providers: LLMGateway[]) {}
async chat(messages: Message[]): Promise<string> {
const provider = this.providers[this.currentIndex];
this.currentIndex = (this.currentIndex + 1) % this.providers.length;
return provider.chat(messages);
}
}
// Combinar features
const gateway = new CachingGateway(
new RateLimitedGateway(
new FallbackGateway(
new OpenAIProvider(),
new AnthropicProvider()
),
new TokenBucket(100, 10)
)
);
// 1. Checa cache
// 2. Rate limit
// 3. Tenta OpenAI
// 4. Se falhar, usa Anthropic
from litellm import completion
# Abstrai providers automaticamente
response = completion(
model="gpt-4", # ou "claude-3-opus", "gemini-pro"
messages=[{"role": "user", "content": "Hello"}]
)
import { ChatOpenAI, ChatAnthropic } from 'langchain/chat_models';
const model = new ChatOpenAI(); // Facilmente trocável
const response = await model.call([{ role: 'user', content: 'Hello' }]);
LLM Gateway desacopla app de vendors, adiciona caching, rate limiting e resilience. Para produção, é essencial.
Se você chama OpenAI diretamente sem abstração, você está a uma API change de reescrever tudo.
AI Engineer
Ajudo equipes a lançar experiências memoráveis combinando arquitetura, storytelling e métricas reais.
Produtos gratuitos e pagos para transformar ideias em uma base que você consegue executar.
13 produtos disponíveis
nextjs · boilerplate
Boilerplate de API em Python com FastAPI, organizado em Clean Architecture (router, service, repository e adapters por módulo). Inclui autenticação JWT com hashing bcrypt, MongoDB, testes com pytest e cobertura, Dockerfile e docker-compose para subir localmente, e documentação Swagger/OpenAPI automática. Repositório de origem privado; snapshot técnico verificado antes da publicação.
Ver produto
react · boilerplate
Base React Native para apps iOS e Android com Expo, Clean Architecture, MVVM, Firebase e módulos nativos. Referência técnica do VaiDeFut, com distribuição pública no Google Play e fluxo de publicação para iOS documentado.
Ver produto
nextjs · boilerplate
Kit gratuito e open source para começar com agentes de código em Claude Code, Codex, Gemini, Copilot e OpenCode. A licença MIT está confirmada no repositório público.
Ver produto
nextjs · boilerplate
Fundação AI-first white-label para lançar produtos SaaS com Next.js, chat, RAG, memória, tenants e documentação. O snapshot verificado documenta Supabase, não MongoDB; essa limitação está explícita. MongoDB, Redis e RabbitMQ exigem integração/configuração compatível.
Ver produto
nextjs · boilerplate
Edição avançada da base white-label e multi-tenant AI-first para acelerar produtos com Next.js, chat, RAG, memória e documentação. O snapshot verificado ainda não comprova uma camada Ultra distinta; a oferta mantém essa limitação transparente e explicita as trocas de provider, cache e filas.
Ver produto
nextjs · boilerplate
Base white-label e multi-tenant para transformar uma ideia em um SaaS AI-first com Next.js, chat, RAG, memória e segurança documentados. O snapshot verificado usa Supabase; o nome identifica o repositório de origem. Provider, cache e filas ficam explícitos; Redis e RabbitMQ são integrações configuráveis.
Ver produto
react · portfolio
Uma contribuição única para apoiar conteúdo técnico gratuito, pesquisa e a continuidade de projetos relevantes publicados por Anderson Lima. Você escolhe o valor; não é uma assinatura.
Ver produto
react · boilerplate
Starter React gratuito para criar uma suíte de testes confiável desde o primeiro commit, com Vitest, Testing Library, Playwright, Vite, TypeScript, Zustand, React Query, MirageJS e PWA. O repositório não declara uma licença SPDX; revise os termos antes de uso comercial.
Ver produto
react · portfolio
Monorepo público em React, TypeScript e Vite para explorar uma biblioteca de componentes com linguagem visual inspirada em interfaces nativas. O README atual é enxuto e não declara uma licença SPDX; trate como preview gratuito.
Ver produto
nextjs · saas
Boilerplate SaaS AI-first com Next.js, Supabase, Stripe e provider routing para começar do primeiro prompt e acelerar o caminho até um deploy real. As adaptações de IA, banco, e-mail, cache e filas ficam explícitas; Redis e RabbitMQ são integrações configuráveis.
Ver produto
react · saas
Starter kit React + TypeScript para SaaS multi-tenant com Firebase, Atomic Design, temas, PWA, telas de produto, MirageJS e chat com Gemini extensível a outros providers. Valide requisitos de produção, custos e integrações antes de publicar.
Ver produto
react · boilerplate
Starter React público com TypeScript, Zustand, React Query, Tailwind CSS, PWA e integrações de IA documentadas. O repositório não declara uma licença SPDX; revise os termos antes de uso comercial.
Ver produto
nextjs · saas
Landing page SaaS para Next.js, TypeScript e Tailwind CSS com SEO, temas, i18n, PWA e pontos de integração para auth, Stripe e IA. Uma base clara para sair da tela vazia e adaptar sua proposta.
Ver produtoContinue explorando tópicos similares
Harness virou uma das ideias mais importantes do desenvolvimento com AI em 2026. Este guia mostra o que é um agent harness, por que ele importa, como implementar guardrails e um LLM Evaluation Harness em TypeScript e quando essa abordagem funciona melhor do que um fluxo de Spec-Driven Development rígido.
A telemetria do meu agente vem desligada, aponta para localhost e não exporta nenhum prompt. Mesmo assim ela responde quanto custou cada turno e por que um modelo foi escolhido.
# Por Que Seus Agentes de IA Continuam Falhando (E Como Consertar) Você gastou 3 meses construindo agentes de IA. Funcionaram lindamente nas demos. Em produção, são um desastre. A
Checklist prático para validar segurança, custos, avaliações e observabilidade antes de colocar seu app com IA em produção.
Templates testados em produção, usados por desenvolvedores. Economize semanas de setup no seu próximo projeto.