optimizing-attention-flash

SKILLWorkflowCommunity
v0.0.0Orchestra-ResearchMITAktualisiert vor 3 Mon.Quelle →

Optimizes transformer attention with Flash Attention for 2-4x speedup and 10-20x memory reduction. Use when training/running transformers with long sequences (>512 tokens), encountering GPU memory issues with attention, or need faster inference. Supports PyTorch native SDPA, flash-attn library, H100

Community-submitted skill. Not yet reviewed by the Forge team. Full prompt content may not be available.Request review →
12kRepo-Sterne
1Clients
1Formate
vor 3 Mon.Letzte Aktualisierung
Skill
AutorOrchestra-Research
Version0.0.0
LizenzMIT
KategorieWorkflow
Formateskill.md
PromptÖffnen (siehe Tab „Prompt“)
Kompatibilität
Claude✓ Unterstützt
Cursor—
Copilot—
ChatGPT—
Gemini—
Über

Optimizes transformer attention with Flash Attention for 2-4x speedup and 10-20x memory reduction. Use when training/running transformers with long sequences (>512 tokens), encountering GPU memory issues with attention, or need faster inference. Supports PyTorch native SDPA, flash-attn library, H100 FP8, and sliding window attention.

Schlagwörter
skillclaude

Keine Abdeckung der Abhängigkeiten

Dieser Eintrag veröffentlicht kein npm-Paket, daher hat Forge keinen Abhängigkeitsbaum dafür. Das ist eine Lücke in der Abdeckung — keine Aussage, dass er keine Abhängigkeiten hat.