Tarik Moussa 49c36c9756
Some checks failed
gates / quality (push) Has been cancelled
test
2026-06-03 07:24:08 +02:00
2026-06-03 07:24:08 +02:00
2026-06-03 07:24:08 +02:00

Jetson AI / Ollama (MLOps)

Lokal laufendes Single-User-AI-System auf einem Jetson Orin Nano Super (8 GB): Ollama-Daemon serviert drei Modell-Profile (OpenAI-kompatibel), ein schlanker Exporter-Sidecar exponiert /metrics. Modellwechsel passiert nativ über den Modellnamen — kein eigener Swapper, kein Gateway (siehe docs/adr/0002-ollama-native.md).

  • Profile: qwen-light (Daily-Driver) · gemma (Creative/Chat, multimodal) · qwen-heavy (harte Reasoning-Fälle). OLLAMA_MAX_LOADED_MODELS=1 hält genau ein Modell resident → drei Profile sind quasi gratis.
  • Optimierung: q8_0-KV-Cache + Flash Attention, num_ctx je Profil explizit.
  • Daten: DVC ist Modell-Source-of-Truth; Ollamas Blob-Store nur Laufzeit-Cache.

Scope: Dieses Repo deckt nur den Jetson ab. nginx (TLS + OAuth) und Prometheus/Grafana laufen off-box. Ollama hat keine eigene Auth → nur ans LAN binden, Firewall auf den Proxy. Voller Vertrag: CONVENTIONS.md.


Arbeitsmodell (agent-swarm)

Dieses Repo wurde aus dem agent-swarm-Template gebootstrapt: ein Leader/Worker- Agentensystem, dessen Stand komplett auf Disk lebt — kalt lesbar ohne Vorkontext. Methodik: docs/methodology.md · Herkunft: docs/about-template.md.

Wo Datei
Stand & nächster Schritt STATE.md
Plan / Board / Ready-Set (DAG) ROADMAP.md
Gemeinsamer Vertrag CONVENTIONS.md
Kalt-Review-Einstieg REVIEW.md
Dispatch-fertige Worker-Prompts session-prompts/

Sofort bauen

Die Planung ist fertig (W1W6 im Board). So baust du es:

  1. W1 zuerst — frische Session öffnen, Modell Sonnet, Inhalt von session-prompts/W1.md einfügen → legt das Grundgerüst an.
  2. Review-Gate (Opus, kalt) → mergen → W1 im Board auf .
  3. W2W5 parallel — je eigene Session (session-prompts/W2.mdW5.md), disjunkte Datei-Ownership, laufen unabhängig.
  4. W6 zuletzt — Docs, integriert die Realität der anderen Pakete.

Jeder Worker-Prompt ist self-contained (Modell, Branch, Dateien, Akzeptanzkriterien, Abschluss-Gates). Die Gates (scripts/gate-*.sh) sind aktiv und prüfen Ownership, Hygiene und Doku-Drift bei jedem Schritt.

Description
Single-User AI auf Jetson Orin Nano (Ollama, 3 Profile, q8_0-KV+FlashAttn, DVC). Gebootstrapt aus agent-swarm-repo.
Readme 88 KiB
Languages
Shell 100%