Mérés és megtérülés
Hamis pozitív: amikor jó levél kerül spambe
Mikor jelez hibát a rendszer egy valójában megfelelő levélnél? Tizenhat mintalevélből épül fel a négycellás mátrix és a konkrét javítási feladat.
Jelzés és ellenőrzött referencia
FP
Spambe került. Mit igazol a forrás?
RövidenHamis pozitív eredmény keletkezik, amikor egy vizsgálat olyan problémát jelez, amely a kijelölt referencia szerint nincs jelen. Emailszűrésnél ilyen lehet egy várt, legitim levél téves spambesorolása. Az arány számításához külön kell választani a szűrő jelzését, az ellenőrzött valódi állapotot és az ismeretlen eseteket.
Más elnevezések: false positive, téves pozitív, téves spambesorolás.
Hamis pozitív lehet az a várt rendelési visszaigazolás, amelyet az emailszűrő tévesen spamnek jelöl. A rendszer észlel valamit, de a kijelölt ellenőrzési szabály szerint nincs jelen a keresett probléma. A „pozitív” itt jelzést jelent, nem jó hírt. Ahhoz, hogy hibát és hibaarányt állíts, a levél tényleges állapotához is bizonyíték kell. A spammappában talált ismeretlen üzenet nem lesz automatikusan hamis pozitív.
A webshop levelezésében az email-szűrő szabálya és a spam tényleges referenciacímkéje külön adat. A vizsgálathoz a hibás visszatartás mellett a kiengedett káros levél és az ismeretlen eset is hozzátartozik.
Előbb nevezd meg, mire mond pozitívat a rendszer
Ebben a cikkben a pozitív jelzés a spamként való besorolás. A negatív jelzés azt jelenti, hogy a szűrő a saját vizsgált szakaszában nem minősítette spamnek a levelet. Ez még nem garantált kézbesítés és nem bizonyított veszélytelenség. Másik rendszer más eseményre adhat pozitív jelzést; például egy külön kártevővizsgálat nem pontosan ugyanazt keresi, mint a kéretlen levelek szűrése.
A NIST fogalomtára több eredeti forráshoz és eltérő helyzethez köti a kifejezést. Az itt megnyitott SP 800-83r1 szójegyzékében a biztonsági eszköz jóindulatú tartalmat minősít tévesen rosszindulatúnak. A következő munkalap ennek osztályozási logikáját használja emailszűrésre, saját, szűk referenciával. Nem állítja, hogy a spam és a kártevő ugyanaz.
A spam fogalma és a címzett igénye szintén külön figyelmet kér. Egy valódi küldőtől érkező levél is lehet nem kívánt, és egy várt levél is tartalmazhat hibás hivatkozást vagy veszélyes mellékletet. A legitim, várt címke ezért a saját mintában két külön ellenőrzéshez kapcsolódik: a küldési helyzet igazolásához és a tartalom vizsgált körben történő ellenőrzéséhez. A teljes jogszerűség vagy minden biztonsági kockázat hiánya nem következik ebből.
Kitöltött vizsgálati lap egy ügyfélszolgálati postafiókhoz
A példa teljes egészében kitalált oktatási készlet. Nem küldtünk levelet, nem jelentettünk üzenetet, és nem állítottunk át valós szűrőt. A fiktív műhely tizenhat beérkező üzenetet vizsgál egyetlen nap lezárt mintájában. A darabszám levélazonosítót jelent, nem küldőt és nem embert. Egy feladótól több levél is érkezhetne, a készletben mégis minden üzenet külön sorban szerepel.
A referencia a címzett által várt, a mintában ellenőrzött üzenetet legitimként, az igazoltan nem kívánt üzenetet spamként jelöli. A két ismeretlen levélnél nincs elég adat az eldöntéshez. A címkéket a szűrő kimenetétől külön kell előállítani; ellenkező esetben a szűrőt saját döntésével igazolnánk. A mintabizonylatok, például a kérési lapok és a tiltási napló, szintén kitalált oktatási tételek.
A munkalap fordulónapja november 19. vége. A szűrő változata F1, a besorolási jelzés spam vagy nem spam. A referencia gazdája az ügyfélszolgálati ellenőrző, a változtatás gazdája a levelezésért felelős szakember. Az első döntés nem a szűrés kikapcsolása, hanem az ismert téves besorolások elkülönítése és az ok vizsgálata. Az ismeretlen esetek az eredeti állapotukkal, külön ellenőrzési feladatként maradnak meg.
Tizenhat levél teljes referencialeltára
Minden sorban külön szerepel a címkézés indoka és az F1 kimenete. A bizonyíték megnevezése teszi ellenőrizhetővé a referencia eredetét. A mintában az „ellenőrzött” kizárólag a kijelölt oktatási helyzet vizsgálatát jelenti, nem általános biztonsági tanúsítványt. A tartalmat nem kell a táblázatban teljes egészében lemásolni, de a belső hozzáférésre jogosult ellenőrzőnek a forrást vissza kell tudnia keresni.
Két levél állapota ismeretlen marad a tizenhatból
Legitim referenciaMindegyikhez saját várt kérés és ellenőrzött mintakapcsolat tartozik.L01–L08 / 8 levélSpam referenciaA kéretlenséghez saját megnevezett vizsgálati vagy megszüntetési lap tartozik.L09–L14 / 6 levélIsmeretlenNem automatikusan legitim vagy spam; a négycellás mátrixtól elkülönítve maradnak.L15–L16 / 2 levél

| Levél | Konkrét helyzet és saját bizonyíték | Referencia | F1 jelzés | Eredménycella |
|---|---|---|---|---|
| L01 | K01 megrendeléshez egyező visszaigazolás | Legitim | Nem spam | Valódi negatív |
| L02 | K02 kéréshez egyező számlamásolat | Legitim | Spam | Hamis pozitív |
| L03 | K03 hibajegyhez kért méretadat | Legitim | Nem spam | Valódi negatív |
| L04 | K04 egyeztetéshez várt átvételi idő | Legitim | Nem spam | Valódi negatív |
| L05 | K05 korábbi kérésre adott tisztítási útmutató | Legitim | Nem spam | Valódi negatív |
| L06 | K06 kérésre adott javítási árajánlat | Legitim | Spam | Hamis pozitív |
| L07 | K07 rendeléshez egyező csomagkövetési értesítő | Legitim | Nem spam | Valódi negatív |
| L08 | K08 egyeztetéshez várt készletválasz | Legitim | Nem spam | Valódi negatív |
| L09 | T09 napló szerint kért reklámküldés-megszüntetés után új reklám | Spam | Spam | Valódi pozitív |
| L10 | B10 ellenőrzésben igazolt kéretlen számlaajánlat | Spam | Spam | Valódi pozitív |
| L11 | B11 ellenőrzésben igazolt kéretlen címlistaajánlat | Spam | Spam | Valódi pozitív |
| L12 | T12 naplóban letiltott reklám új példánya | Spam | Spam | Valódi pozitív |
| L13 | B13 ellenőrzésben igazolt kéretlen tömeges termékajánlat | Spam | Spam | Valódi pozitív |
| L14 | B14 ellenőrzésben igazolt kéretlen díjajánlat | Spam | Nem spam | Hamis negatív |
| L15 | A címzett várt kapcsolatot említ, forráskérés nincs meg | Ismeretlen | Spam | Nem sorolható a négy cellába |
| L16 | Ismeretlen csomagértesítő, rendelési kapcsolat nem ellenőrzött | Ismeretlen | Nem spam | Nem sorolható a négy cellába |
Nyolc legitim és hat spam referencia van, összesen tizennégy eldöntött állapot. Két további levél ismeretlen. Az ismeretlent nem tesszük a legitim csoportba pusztán azért, mert a spambesorolásra nincs bizonyított ok. A fordítottja sem helyes: a hiányzó kérési lap nem bizonyít kéretlen küldést. A két sorhoz kiegészítő ellenőrzés szükséges, a számítás pedig világosan a tizennégy ismert címkére korlátozódik.
A referencialeltár nem állít minden spamről kártevőt vagy csalást. L09 esetén a címzett korábbi megszüntetési kérése a saját kéretlenségi címke alapja. L10-nél a számla szó jelenléte önmagában sem jó, sem rossz levélre nem bizonyíték. A tartalmi és kapcsolati vizsgálat eredményét a megnevezett B10 lap őrzi. Valódi levelezésben egy érzékeny forráslaphoz csak a feladatra jogosult ember férhet hozzá.
A négycellás mátrix teljes azonosítókkal
A két tengely eltérő adatot jelent. Az egyik a referencia szerinti állapot, a másik a vizsgált F1 szűrő jelzése. A hamis pozitív csak az a metszet, ahol a referencia legitim, a szűrő mégis spamet jelez. A hamis negatívban a referencia spam, a szűrő viszont nem jelez. A kétféle hiba más emberi és működési következménnyel járhat; nem lehet az egyiket automatikusan jelentéktelennek minősíteni.
A pozitív ebben a modellben spamjelzést jelent
- Spam, jelzett
- TP: 5L09, L10, L11, L12, L13.
- Legitim, mégis jelzett
- FP: 2L02 és L06; a két tévesen visszatartott levél.
- Legitim, nem jelzett
- TN: 6L01, L03, L04, L05, L07, L08.
- Spam, mégsem jelzett
- FN: 1L14; a négy cella összesen 14 ismert levél.

| Cella | Referencia | Jelzés | Teljes azonosítók | Darab |
|---|---|---|---|---|
| TP / valódi pozitív | Spam | Spam | L09, L10, L11, L12, L13 | 5 |
| FP / hamis pozitív | Legitim | Spam | L02, L06 | 2 |
| TN / valódi negatív | Legitim | Nem spam | L01, L03, L04, L05, L07, L08 | 6 |
| FN / hamis negatív | Spam | Nem spam | L14 | 1 |
Az öt, kettő, hat és egy összege tizennégy. Az L15 és L16 külön marad, ezért egyik cellában sem szerepel. A táblázat teljessége itt nem azt jelenti, hogy minden levél állapota ismert, hanem azt, hogy az összes ismert címke pontosan egy cellába került, az ismeretlen készlet pedig hiánytalanul elkülönült. A címke nélküli sor elhagyása a leltárból elrejtené az adatminőségi korlátot.
Az összes ismert címkéből tizenegy besorolás helyes: öt valódi pozitív és hat valódi negatív. A helyes besorolások aránya 11 / 14, kerekítve 78,6%. Ez sem univerzális szűrőminőség. A készlet szándékosan kicsi és saját módon összeállított; a valódi postafiókban a spam és a legitim levelek aránya, típusa és időbeli változása teljesen más lehet. A mátrix a számolás bemutatására szolgál.
Két hibaarány két külön nevezővel
A Google osztályozási tananyaga is külön megadja a hamis pozitív arány és a jelzési pontosság nevezőjét. A hamis pozitív arány a legitim referenciahalmazon belül számolja a téves spamjelzést: FP / (FP + TN). A saját mintában 2 / (2 + 6), azaz 25%. Ez arra válaszol, a nyolc ismert legitim levél mekkora része akadt fenn tévesen. A nevező nem az összes beérkezett levél és nem az összes spamjelzés. A hiányzó referencia miatt L15 és L16 itt sem kerül bele.
Ugyanaz a két téves jelzés másik halmazhoz viszonyul
Csak az ismert referenciaállapotú levelekből számolt arányok
2 / 8 A legitim levelek között
2 / 7 Az ismert állapotú jelzések között

Más kérdés, hogy az ismert referenciaállapotú spamjelzések mekkora része téves. Ez FP / (TP + FP), vagyis 2 / (5 + 2), kerekítve 28,6%. A hét ismert állapotú jelzésből kettő hamis pozitív. A kiegészítő találati pontosság 5 / 7, kerekítve 71,4%: a hét jelzésből öt valóban spam a saját referencia szerint. A kétféle 25 és 28,6 százalék nem egymás alternatív kerekítése.
A teljes tizenhat levélből nyolc kapott spamjelzést: az öt valódi pozitív, a két hamis pozitív és az ismeretlen L15. Ha a kérdés az összes tényleges spamjelzés ellenőrzöttsége, ezt a nyolcas halmazt kell megmutatni. A két igazolt téves jelzés a nyolcból 25%, de e hányadosnak nem adunk teljes tévestalálati arány jelentést, hiszen L15 valódi állapota még hiányzik. A hiány elhallgatása indokolatlan bizonyosságot teremtene.
A hamis negatív arány a spam referenciákon belül 1 / 6, kerekítve 16,7%. A felismert spam aránya ugyanebben a körben 5 / 6, kerekítve 83,3%. Ezek ismét más kérdések. Az email-hitelesítés eredménye nem helyettesíti a teljes referenciát: egy hitelesen küldött kéretlen üzenet ettől még kéretlen lehet, és egy hitelesítési probléma önmagában nem tesz minden várt üzenetet csalássá.
A javítás ne oldjon fel másik problémát bizonyíték nélkül
A két hamis pozitív sor alapján túl tág lenne minden számla és árajánlat tárgyú levél automatikus átengedése. L02 várt számlamásolat, L10 viszont a saját referencia szerint kéretlen számlaajánlat. A kulcsszó ugyan hasonló, a kapcsolati bizonyíték eltér. Egy javítási javaslatot ezért a jogosan fennakadt leveleken is ellenőrizni kell. Nem elég megmutatni, hogy a két panaszos üzenet átjutna.
A következő teljes ellenpróba négy kijelölt bemenetet használ. Ez külön papírmodell, nem az F1 tényleges átállítása. A J1 javaslat minden számlaszót tartalmazó levelet feloldana. A J2 ezzel szemben csak a saját, ellenőrzött K02 kéréshez illeszkedő üzenetet adná külön vizsgálatra; sem általános feladóengedélyt, sem veszélyes tartalomra szóló feloldást nem tételezünk fel.
| Próba | Bemenet és javaslat | Elvárt határ | Kapott modellkimenet | Döntés |
|---|---|---|---|---|
| J01 | L02 számlamásolat, J1 általános számlaszó | Várt levél hibája javuljon | Feloldaná a téves jelzést | Önmagában kevés |
| J02 | L10 kéretlen számlaajánlat, J1 | A jogos spamjelzés maradjon | Ezt is feloldaná | J1 elvetendő |
| J03 | L02 és ellenőrzött K02 kapcsolat, J2 | Szűk, dokumentált felülvizsgálat | Csak az egyező kérés kerül vizsgálatra | Előkészített javaslat |
| J04 | L15 forráskérés nélkül, J2 | Ne váljon automatikusan legitimmé | Referenciahiányként megmarad | Megfelelő határ |
L06 javításához külön okvizsgálat kell, mert a J2 csak K02 számlamásolatát kezeli. Nem állítjuk, hogy egyetlen módosítás mindkét hibát megszüntette. A szűrési szabályokról szóló cikk a végrehajtási logikát részletesebben tárgyalja; itt az ellenőrzött referencia és a mérési döntés a fő feladat. Egy általános védelmi réteg kikapcsolása nem megfelelő helyettesítője a konkrét hiba felderítésének.
A panasz nem teljes referenciaminta
A bejelentett téves spamjelzések hasznos hibajegyek, de nem alkotnak automatikusan reprezentatív mintát. Sok címzett nem nézi meg a spammappát, más pedig minden szokatlan levelet tévesnek gondolhat. Ha csak a panaszolt üzeneteket vizsgálod, a többi legitim levél száma ismeretlen marad. Így a panaszok darabszámából nem számolható ki a teljes postafiók hamis pozitív aránya.
A saját mintavételi terv ezért leírja az időablakot, a beválasztás szabályát és az üzenetazonosító kezelését. A kiválasztás ne kizárólag a szűrő hibájának vélt eseteire épüljön, ha a teljes mátrix a cél. Egy külön hibaelemző készlet és egy aránymérésre összeállított készlet eltérő feladat. Mindkettő lehet hasznos, de a következtetés körét a választott eljárás szabja meg.
A mai referenciát később is felül kellhet vizsgálni. Kiderülhet például, hogy az L15-höz tartozó kérés megvan, vagy az L16-ról igazolódik a kéretlen küldés. Ilyenkor új referenciaváltozat készül, a korábbi címke és az új bizonyíték megmarad. Nem írunk be a jelenlegi mátrixba előre feltételezett végállapotot. A későbbi javulás így elkülöníthető attól, hogy pusztán több levél állapotát sikerült megismerni.
Munkaidő a hibák körül, külön kockázati becslés nélkül
A mintában a két hamis pozitív felderítése és visszakeresése egyenként tizenkét perc saját feltevés. Ez huszonnégy perc. Az öt valódi pozitív ellenőrzése darabonként három perc, összesen tizenöt perc. Az egy hamis negatív utólagos kezelése huszonöt perc. Az ismert állapotú üzenetek e megnevezett többletmunkája összesen hatvannégy perc. Nem számolunk hozzá kitalált elveszett árbevételt.
A két ismeretlen referencia vizsgálata külön nyolc-nyolc perc feltételezett munkát igényel, együtt tizenhatot. Ezzel a teljes megnevezett vizsgálati idő nyolcvan perc. A legitim, helyesen átengedett hat levél szokásos feldolgozási ideje nincs benne, mert itt nem a teljes ügyfélszolgálati munkaidőt számoljuk. A felirat ezért vizsgálati többletidő, nem teljes levelezési költség. Az időértékek szemléltető feltételezések, nem mért szervezeti eredmények.
A tévesen átengedett veszélyes üzenet következménye ettől sokkal súlyosabb is lehetne, de a modell nem állít ilyen eseményt L14-ről. A hibafajták költsége nem azonosítható egyszerűen a darabszámukkal. A valós döntésben a kockázatot külön kell vizsgálni, és egy kedvezőbb hamis pozitív arányért nem szabad ellenőrizetlenül több veszélyes tartalmat átengedni. A számtani javulás nem teljes biztonsági döntés.
Hat teljes elfogadási ellenőrzés
A lezárási lap a tizenhat üzenetes készletet és a külön négy ellenpróbát ellenőrzi. A saját kimenetek papíron előállított oktatási eredmények. Nem történt Gmail-módosítás vagy szolgáltatói bejelentés. A Gmail hivatalos leírása külön kezeli a téves spamjelzés visszavonását és a szervezeti szabály miatt érintett levelek adminisztrátori vizsgálatát. A saját hibaadatot nem szabad automatikus fiókműveletté alakítani.
| Eset | Bemenet | Elvárt eredmény | Kapott saját mintaeredmény | Állapot |
|---|---|---|---|---|
| A01 | L01–L16 referencia | 8 legitim, 6 spam, 2 ismeretlen | Mind a 16 sor elkülönítve | Megfelelő |
| A02 | Teljes négycellás készlet | TP 5, FP 2, TN 6, FN 1 | 14 ismert sor pontosan egyszer | Megfelelő |
| A03 | FPR nevezője | 2 / 8 = 25% | 25%, legitim referencia felirattal | Megfelelő |
| A04 | Ismert állapotú jelzések hibája | 2 / 7, kerekítve 28,6% | 2 / 8 teljes téves arányként szerepel | Javítandó |
| A05 | J1 számlaszavas feloldás, L10 | Jogos jelzés megőrzése | L10 is átjutna | Javítandó |
| A06 | L15 kapcsolatának későbbi igazolása | Tényleges új referenciaforrás | Nincs még új bizonyíték | Nem vizsgált |
Három megfelelő, két javítandó és egy nem vizsgált sor van. Az A04 javítása a nevező és a felirat helyreállítása, az A05-é a túl tág javaslat elvetése. A06-nál adatot kell szerezni jogosult vizsgálattal, nem kedvező címkét beírni. A lezárás akkor állítható, ha az adott hiba és a kapott új eredmény soronként visszaolvasható; önmagában a kész mátrix képe nem bizonyít végrehajtott javítást.
L02 teljes hibajegye és a vizsgálati határ
Az ellenőrző először a kérés és az üzenet kapcsolatát olvassa vissza. Megnézi a megnevezett megrendelési hivatkozást, a küldő elvárt címét, az időrendet és a csatolt tartalom vizsgálati eredményét. Ezek az oktatási modellben ismert, fiktív bizonyítékok. Valódi ügyben a hiányzó vagy ellentmondó adat megállítja a legitim címke elfogadását. A felismerhető márkanév önmagában nem elég, mert a megjelenített feladónév könnyen eltérhet a tényleges küldési helyzettől.
A következő lépés a szűrő által megfigyelt ok rögzítése lenne. Ilyen okot a jelenlegi mintához nem kaptunk, ezért nem találunk ki tartalmi pontszámot vagy szolgáltatói szabályt. A jegy állapota ismert téves eredmény, nyitott okvizsgálattal. A J2 szűk felülvizsgálati javaslat ennek megfelelően nem kész javítás. A lezáráshoz külön rögzített módosítás és az eredeti hibás, valamint a jogosan jelzett ellenpróbák új kimenete szükséges.
Ugyanannyi téves levél más összetétel mellett
Az arányokat a referenciakészlet összetétele is befolyásolja. Képzelj el egy külön, egyszerű számtani ellenpéldát: nyolcvan ismert legitim levélből ugyanúgy kettő kap téves jelzést. Itt a hamis pozitív arány 2 / 80, azaz 2,5%, miközben a fő minta nyolc legitim levele között 25%. Ez nem bizonyított szűrőjavulás, csak két eltérő nevező. Az ellenpélda nem része a tizenhat soros készletnek, és nem értelmezhető a szolgáltató teljesítményadataként.
A jelzések közötti téves hányadhoz viszont a valódi pozitívak száma is kellene. Ha az ellenpéldában ez nem ismert, nem számítunk találati pontosságot. A hiányzó adatot nem pótoljuk a fő minta öt valódi pozitívjával, mert az másik készlethez tartozik. Az ilyen csendes halmazkeverés gyakori oka annak, hogy két önmagában helyes osztásból félrevezető összehasonlítás születik.
A változatok összevetésekor ezért ugyanazon címkézett üzenetekkel érdemes kezdeni, amennyiben a feladat erre alkalmas. Az időben új minták külön jelölést kapnak, és az összetételüket is bemutatjuk. Egy új kampány, új feladó vagy más levéltípus megváltoztathatja a hibák előfordulását. A saját adatból kimondható következtetés a vizsgált körre vonatkozik; a jövőbeli működést további megfigyelés ellenőrzi.
Az eltűnt levél nem feltétlenül spamjelzés
A címzett gyakran csak annyit tud, hogy nem találja az üzenetet. Ebből még nem lehet hamis pozitívot állítani. Előbb meg kell határozni, melyik szakaszig jutott el a levél. Más probléma, ha a küldési kísérlet meghiúsult, ha a fogadó rendszer visszautasította, ha egy szervezeti szabály elkülönítette, vagy ha a felhasználó saját szabálya másik mappába rendezte. A vizsgált szakasz kiválasztása az arányszámítás előtt történik.
A fő minta szándékosan csak olyan üzeneteket tartalmaz, amelyekhez az F1 besorolás kimenete rendelkezésre áll. Nem következtet teljes kézbesítési arányra és nem vizsgál küldési hálózati eseményeket. A teljes szolgáltatói út nyomozása külön feladat lenne. A levél várt érkezési időpontja és a tényleges beérkezési idő is fontos lehet: a későbbi érkezés nem ugyanaz a téves tartalmi jelzés, még ha a felhasználónak mindkettő kellemetlen is.
Valódi hibajegyhez ezért a minimális szükséges technikai azonosító, a megfigyelés ideje és a látott állapot tartozzon. A felhasználó ne másoljon teljes személyes levelezést nyilvános hibajegybe. A belső ellenőrzés és a szolgáltató felé történő adatátadás külön hozzáférési és adatkezelési kérdés. Ez a cikk nem kezdeményez ilyen műveletet; a számtani munkalapban minden üzenet és bizonyítéknév saját kitalált tétel.
A referencia vitás állapotának rendezése
Előfordulhat, hogy a küldő szerint a levél kért, a címzett szerint viszont nem az. A forrásadat ilyenkor nem oldható meg egyszerű többségi szavazással. Meg kell nézni, pontosan milyen közléshez kapcsolódott az eredeti kérés, ki volt a címzett, és ugyanarra a tartalomra, időszakra vonatkozik-e a bizonyíték. A műveleti címkézés nem teljes jogi állásfoglalás, és a vita nem jogosít automatikus feloldásra.
Az L15 saját példája ezért marad ismeretlen: van egy emlékezetből állított várt kapcsolat, de a forráskérés még nincs meg. A következő teendő a jogosult belső ellenőrzés, az elvárt kimenet pedig a kapcsolat igazolása vagy a referencia megfelelő indoklással történő rögzítése. Amíg nincs eredmény, a sor nem javítja és nem rontja a négycellás mátrixot. A hiány azonban a teljes készlet tizenkét és fél százalékát jelenti, mert két levél a tizenhatból még eldöntetlen.
A későbbi címkeváltásról külön napló készülhet: korábbi állapot, új bizonyíték, új állapot, döntési időpont és ellenőrző. A régi számítás megmarad saját referenciaváltozattal. Ha ugyanazon szűrőkimenet mellett változik a hibaarány, az lehet a referencia javulásának következménye is. Ezt nem szabad a szűrő technikai javulásaként bemutatni. A pontos átadás elválasztja a több megismert tényt a másképpen működő osztályozótól.
A kész mérési lap átadása
Az átadás az F1 szűrőváltozatot, a november 19-i mintanapot és a tizenhat azonosítót együtt nevezi meg. A mellékelt összefoglaló tizennégy ismert referenciaállapotról és két ismeretlenről szól. A négycellás mátrixot olvasó ember pontosan visszakeresheti a két tévesen fennakadt legitim üzenetet, és látja az egy tévesen átengedett spamet is. Egyetlen kedvező arány nem választható le a többi hibafajtáról.
A döntési sor külön rögzíti, hogy a J1 túl tág feloldás nem fogadható el, a J2 pedig csak előkészített szűk felülvizsgálat. A következő feladat L06 okának és a két ismeretlen referenciaállapotnak a tisztázása. A munkalap így konkrét teendőt ad anélkül, hogy végrehajtott technikai javítást vagy biztos kézbesítést állítana. A későbbi ellenőrzés ugyanazokat az azonosítókat és a változtatás pontos körét használja.
A lezáró ellenőrzés a halmazok egyezését is vizsgálja. Az L02 és L06 egyszerre része a nyolc legitim levelet tartalmazó referenciahalmaznak és a hét ismert állapotú jelzésnek; ezért mindkét eltérő hányados számlálójában ugyanaz a kettő szerepel. A két nevező eltérésének oka nem adatvesztés, hanem a kérdés különbsége. Az L15 nyolcadik spamjelzésként megmarad a teljes leltárban, de ismert címke nélkül nem válik a hét eldöntött jelzés egyikévé. A teljes azonosítós lista ezt az összefüggést számszerűen és tartalmilag is megőrzi.
Gyakori kérdések a hamis pozitívról
Minden spammappába került jó levél szűrőhiba?
Előbb ellenőrizni kell, mi helyezte oda. Lehet automatikus besorolás, korábbi felhasználói jelzés vagy szervezeti szabály. A hibajegy őrizze a levél azonosítóját, a megfigyelt állapotot és a vizsgált lépést. A feltételezett okot külön jelöld, amíg nincs hozzá bizonyíték.
Miért nem elég a téves jelzések darabszáma?
Két tévesen visszatartott levél más arányt jelent nyolc és nyolcezer legitim üzenet mellett. A nevezőhöz a többi levél referenciája is szükséges. Ha csak a panaszok ismertek, a panaszolt hibák számát lehet jelenteni, a teljes hamis pozitív arányt nem.
Jó eredmény-e a nulla hamis pozitív?
Csak a feladat teljes körében értékelhető. Egy mindent átengedő rendszer sem jelezne tévesen spamet, de a valódi spam felismerését feladná. A teljes mátrixot és az adatminőséget együtt vizsgáld. A saját készlet nulla hibája sem bizonyít minden jövőbeli üzenetre szóló hibátlanságot.
Források és szerkesztési megjegyzés
- NIST: false positive, kontextushoz kötött definíciók
- NIST SP 800-83r1: eredeti biztonsági definíció
- Google: teljes osztályozási mátrix és mérőszámok
- Gmail: téves spamjelzés és érvényes levelek
A forrásokat a feltüntetett frissítéskor ellenőriztük. A számpéldák oktatási minták, a javasolt ellenőrzőlisták szerkesztői útmutatók. A platformok működése és elnevezése változhat.
Vissza az összes fogalomhoz · Szerkesztési elvek · Javítást javaslok ehhez a szócikkhez
