Hermes / MajereAI

Autonomi, Selvlæring & Refleksbaner Guide

Bootstrap Auto-Synkronisert GitHub Repo
Agentisk Autonomi 2026

Hermes Autonomi & Selvlærende Refleksbaner

Dette er den operative manualen for hvordan du utnytter Hermes Agentens visuelle skrivebordskontroll, Set-of-Marks resonneringsloop, automatiske BankID/2FA-takeovers, og Gemini-drevne videoopptak som konverterer menneskelige demonstrasjoner til permanente oppskrifter (recipes).

Start her Selvlæring

Hermes Kognitive Refleksbane 

flowchart TD
    UserRequest[Brukerforespørsel] --> FastPath{1. Refleksbane:\nFinnes oppskrift i recipes/?}
    FastPath -->|JA| ExecRecipe[Kjør oppskrift direkte\nPlaywright / X11\n0ms LLM forsinkelse]
    FastPath -->|NEI| SlowPath[2. Autonom Slow-Path:\nSoM Closed-Loop]
    
    SlowPath --> Cap[Capture\nscrot / mode=som]
    Cap --> Ana[Analyze\nSoM Noder & Markører]
    Ana --> Act[Act\nFokus-protokoll & Input]
    Act --> Ver[Verify\nVisuell differanse]
    
    Ver -->|Sensitiv/Blokkert\nBankID/2FA/Sudo| Takeover[3. Takeover & Selvlæring]
    Takeover --> Rec[ffmpeg X11-opptak]
    Rec --> OpenCV[OpenCV Keyframes]
    OpenCV --> Gemini[Gemini Vision Syntese]
    Gemini --> SaveRecipe[Lagre ny oppskrift i recipes/]
    SaveRecipe --> FastPath

1. Hurtigstart & Kjøring

Praktisk bruk
Interaktiv REPL 
cd ~/hermes-agent
~/pytorch-env/bin/python -m core.agent

Starter den interaktive agentkonsollen for direkte GUI-kommandoer.

Visuell Closed-Loop Test 
~/pytorch-env/bin/python ~/hermes-agent/test_visual_loop.py

Kjører full SoM-skanning og verifikasjon av aktive skrivebordsvinduer.

Spill av Oppskrift 
~/pytorch-env/bin/python -c "
from recipe_recorder import RecipeRecorder
RecipeRecorder().play_recipe('467ac5307553', speed=1.2)
"

Kjører en ferdig innspilt handling i høyt tempo uten LLM-forsinkelse.

Kartotek & Minnesøk 
hermes-memory kartotek
hermes-memory search "oppskrifter og autonomi"

Slår opp i kortkatalogen (<10k tegn) eller kjører hybridsøk.

2. Visuell Autonomi & X11 Desktop Kontroll

~/.hermes/skills/computer-use-visual

Hermes benytter en deterministisk 5-stegs fokusprotokoll for Linux Mint (X11) for å forhindre feiltrykk på MATE-paneler (Z-index 5) og Vulkan/SIGTRAP-krasj på RTX 5060 Ti.

Deterministisk Flyt i X11:

  1. Raise & Focus: Kaller wmctrl -ia <win_id> eller focus_window("Chromium") for å heve vinduet.
  2. Visuell Stabilisering: Venter 300ms på rendering.
  3. Set-of-Marks Opptak: Fanger koordinater via mode="som".
  4. Målrettet Klikk: Kaller xdotool mousemove X Y click 1 på bekreftet element.
  5. Verifikasjon: Tar capture_after og sjekker visuell differanse.

Python Eksempel:

from x11_desktop_ctl import X11DesktopController

ctl = X11DesktopController()
# 1. Finn og fokuser Firefox
ctl.focus_window("Firefox")
# 2. Klikk på definert knapp
ctl.click_mouse(850, 420)
# 3. Skriv tekst med 10ms forsinkelse
ctl.type_text("https://aistudio.google.com\n")
# 4. Ta verifikasjonsskjermbilde
shot_path = ctl.take_screenshot()
print(f"Skjermbilde lagret i: {shot_path}")

3. Set-of-Marks (SoM) Closed-Loop

som_closed_loop.py

Set-of-Marks eliminerer gjetting av pikselkoordinater ved å generere visuelle nummererte ID-noder over alle interaktive elementer i brukergrensesnittet.

1. SoMAnalyzer

Scanner AX-tre og vindusstrukturer, genererer nummererte overlays med bounding boxes.

2. VerificationEngine

Sammenligner før- og etterbilde for å bekrefte at handlingen faktisk førte til ønsket endring.

3. Eskaleringsstige

Element (bakgrunn) → Fresh capture → Pixel fallback → Foreground re-execution.

4. Sensitiv Deteksjon & Takeover

takeover_handler.py

Agenten overvåker skrivebordet kontinuerlig. Ved treff på sensitive mønstre (f.eks. BankID, 2FA, passord, betaling, root/sudo) pauser autonomien umiddelbart, og starter et tapsfritt skjermopptak med FFmpeg for å lære av brukerens manuelle fullføring.

Automatisk Detekterte Sensitive Mønstre:
🏦 BankID / Buypass 🔑 2FA / Authenticator 💳 Betaling / Stripe 🔐 Bitwarden / KeePass 💻 Sudo / Root Terminal 🛡️ GPG / VeraCrypt

5. Selvlæring & Recipe Recorder

recipe_recorder.py & learning/

Dette er kjernen i hvordan Hermes lærer fra menneskelig demonstrasjon og skaper nye hurtig-reflekser:

1. Videoopptak

Under takeover tas det opp video med 15 FPS H.264 ultrafast.

2. Keyframe Analyse

OpenCV trekker ut inntil 10 nøkkelbilder fra videoen.

3. Gemini Vision

Gemini analyserer bildene og oversetter dem til JSON-steg.

4. Fast-Path Refleks

Neste gang kjøres oppskriften deterministisk på 0 millisekunder.

Oppskriftsformat (JSON):

{
  "recipe_id": "467ac5307553",
  "name": "BankID Login Sequence",
  "steps": [
    { "step_number": 1, "action_type": "mouse_move", "parameters": {"target_x": 100, "target_y": 100} },
    { "step_number": 2, "action_type": "type_text", "parameters": {"text": "{{USERNAME}}"} }
  ],
  "checksum": "869e609c8141665d"
}

6. Dual-Track Router

dual_track_router.py

Ruter handlinger intelligent basert på sanntids konfidensmålinger:

Track A: DOM (Nettleser)

Playwright & AX-tre. Høy presisjon for nettsider.

Track B: Physical OS

X11 Desktop Controller & koordinater for skrivebordsapper.

Track C: Hybrid

Fusjonerer visuelle markører og DOM-noder ved lav konfidens.

7. Bibliotek- og Kartotekmodellen

hermes-memory

Hermes holder arbeidsminnet slankt (< 10 000 tegn) ved å opprettholde et kortkartotek i MEMORY.md, mens fulle dags- og ukesbøker lagres på disk og indekseres asynkront i ChromaDB og SQLite (FTS5).

KARTOTEKKORT FORMAT: Under 10 000 tegn totalt 
- [BOK: week_36_2026.md]
  • Filsti på disk: /home/tussie/hermes-memory/books/week_36_2026.md
  • Baksidetekst: Oppsett av RTX 5060 Ti, Vertex AI, og implementering av fotografisk minnesystem.
  • Handling: Les filen fra disk for detaljert ukeshistorikk.