Hva skjedde
9. september kl. 10:53 ble AI-dokumentbehandling slått på for et prosjekt med en stor fakturahistorikk. Det utløste en bakgrunnsjobb som leser hver historiske faktura på nytt for å finne leverandør og organisasjonsnummer. Jobben kjørte med for høy parallellitet og brukte opp hele kvoten vår hos AI-leverandøren i løpet av det første minuttet. Mellom 10:54 og 10:57 feilet 73 av disse oppslagene, og jobben var ferdig kl. 10:58.

Konsekvens
Ingen fakturaer gikk tapt og ingen tall ble endret. 73 historiske fakturaer i ett prosjekt manglet leverandørinformasjon etter jobben. Ingen pågående fakturamottak, skjemautfylling eller andre AI-funksjoner ble berørt i tidsrommet.

Årsak
Bakgrunnsjobber og brukerstyrte AI-kall delte samme kø og samme kvote, uten noe som hindret en bakgrunnsjobb i å bruke opp kvoten. Gjenforsøkene var i tillegg for korte til å hjelpe når kvoten allerede var brukt opp, og et mislykket oppslag ble ikke forsøkt på nytt senere.

Tiltak
- Bakgrunnsjobber får en egen kø med lavere parallellitet, og en egen andel av AI-kvoten, slik at de aldri kan fortrenge fakturamottak og skjemautfylling.
- Mislykkede bakgrunnsoppslag settes på vent og forsøkes på nytt automatisk i stedet for å forkastes.
- De 73 berørte fakturaene får leverandørinformasjon ved en ny kjøring av jobben når tiltakene er i produksjon.

Bakgrunnsjobben er ferdig og feilratene er tilbake til normalt. Vi følger opp de berørte fakturaene.

Vi ser forhøyede feilrater i bakgrunnsbehandlingen av historiske fakturaer og undersøker.