WIDESolutions
Naslag · controle & zekerheidReference · control & assurance

De geldsteekproef: met een fractie grip op de hele populatieThe monetary unit sample: a grip on the whole population from just a fraction

Hoe stel je vast dat een verantwoording met duizenden of miljoenen posten „goed genoeg” is, zonder ze allemaal na te lopen? De statistische geldsteekproef geeft daar een verrassend eenvoudig, maar keihard onderbouwd antwoord op: een objectieve, kwantificeerbare uitspraak over de hele populatie, op basis van een klein aantal waarnemingen. Deze bijdrage loopt de bouwstenen, de formule en de valkuilen langs.How do you establish that a set of accounts with thousands or millions of items is ‘good enough’ without checking every single one? The statistical monetary unit sample offers a surprisingly simple yet rigorously substantiated answer: an objective, quantifiable statement about the entire population, based on a small number of observations. This article walks through the building blocks, the formula and the pitfalls.

Een Tax Control Framework — een samenhangend geheel van processen en beheersingsmaatregelen dat belastingrisico’s moet ontdekken en beheersen — is pas iets waard als je kunt aantonen dát die maatregelen werken. Dat aantonen heet monitoren. De Belastingdienst stelt dat het control framework „adequaat en effectief (lees: goed genoeg)” moet zijn, en verwijst voor dat bewijs nadrukkelijk naar het gebruik van statistische steekproeven. Waarom die voorkeur? Omdat een steekproef als enige controlemethode een uitspraak over de héle populatie kwantificeert — in termen van betrouwbaarheid en nauwkeurigheid. Hieronder positioneren we de statistische steekproef eerst tegenover de gewone deelwaarneming, waarna we de afzonderlijke bouwstenen van een geldsteekproef nalopen en afsluiten met een korte casus.A Tax Control Framework — a coherent set of processes and internal controls designed to detect and manage tax risks — is only worth something if you can demonstrate thát those controls actually work. Demonstrating this is called monitoring. The Dutch Tax Administration states that the control framework must be ‘adequate and effective (read: good enough)’, and for that evidence it explicitly points to the use of statistical sampling. Why that preference? Because a statistical sample is the only audit method that quantifies a statement about the whole population — in terms of confidence and precision. Below we first position the statistical sample against the ordinary judgemental sample, then walk through the individual building blocks of a monetary unit sample, and close with a short worked example.

Deelwaarneming: sturen op risicoThe judgemental sample: steering on risk

De klassieke manier om een grote gegevensverzameling te onderzoeken, is de gewone, niet-statistische deelwaarneming: het selecteren en waarnemen van een beperkt aantal elementen, met als doel informatie te vergaren over de hele populatie. Je voert detailcontroles uit op de geselecteerde posten en betrekt daarbij de in- en externe documenten, om vast te stellen of de beweringen in de aangifte overeenkomen met „de werkelijkheid”.The classic way to examine a large body of data is the ordinary, non-statistical judgemental sample: selecting and observing a limited number of elements with the aim of gathering information about the entire population. You perform detailed checks on the selected items, drawing on the relevant records and the internal and external documents, to establish whether the assertions in the tax return correspond to ‘reality’.

Het grote probleem zit in de vertaalslag naar de hele populatie. Wat zeggen de uitkomsten van je deelwaarneming nu precies over álle posten? En: wélke transacties selecteer je, en hoeveel? Om die subjectieve inschattingen enigszins te structureren, wordt in de praktijk risicoanalyse toegepast: risico’s worden in kaart gebracht, gevolgd door een inschatting van de kans van optreden en de mogelijke schade. Voor risicovolle transacties wordt beoordeeld of interne beheersingsmaatregelen het risico opvangen; blijft er restrisico over, dan volgt gericht onderzoek.The big problem lies in translating the results to the population as a whole. What exactly do the findings of your judgemental sample say about áll items? And: whích transactions do you select, and how many? To give some structure to these subjective judgements, risk analysis is applied in practice: risks are mapped, followed by an estimate of their likelihood and potential impact. For high-risk transactions it is assessed whether internal controls mitigate the risk; if a significant residual risk remains, targeted substantive testing follows.

Benoemde risico’sIdentified risks0PopulatiePopulationMbenoemde risico’s — worden onderzochtidentified risks — will be examinedniet benoemd — blijft ongeziennot identified — remains unexamined
Figuur 1 — de risicoanalyse markeert de benoemde risico’s (oranje) voor onderzoek en legt de rest (lichtblauw) ongezien af.Figure 1 — the risk analysis marks the identified risks (orange) for examination and sets the rest (light blue) aside unexamined.

Zo’n aanpak beperkt het werk fors, maar er kleven bezwaren aan die zich lastig laten wegnemen:Such an approach cuts the workload considerably, but it has drawbacks that are hard to dispel:

  • Heeft de onderzoeker álle relevante risico’s onderkend?Has the auditor identified áll relevant risks?
  • Zijn de kans en impact van die risico’s juist ingeschat?Have the likelihood and impact of those risks been estimated correctly?
  • Kunnen de resterende, risicovolle transacties voldoende worden beoordeeld?Can the remaining high-risk transactions be assessed adequately?
  • Is de validiteit van de risicoanalyse achteraf vast te stellen?Can the validity of the risk analysis be established afterwards?

Statisticus Ed Broeze onderzocht of de risico-inschattingen van accountants achteraf gerechtvaardigd blijken. Zijn conclusie: accountants schatten risico’s gemiddeld aardig in — maar de correlatie varieerde over de onderzochte organisaties van nul tot 72%. Zijn waarschuwing is er niet minder scherp om.Statistician Ed Broeze investigated whether auditors’ risk assessments prove justified in hindsight. His conclusion: on average, auditors estimate risks reasonably well — but the correlation across the organisations studied varied from zero to 72%. His warning is no less sharp for it.

Zonder voldoende bewijs over de validiteit van je risico-inschatting, moet je aannemen dat die inschatting níet geldig is.Unless an audit organisation has sufficient evidence on the validity of its risk assessment, it should assume that this risk assessment is not valid.
Ed Broeze · proefschrift, 2007doctoral thesis, 2007

Daar komt bij dat het aantal gegevensgericht te onderzoeken transacties óók na de risicoanalyse nog groot kan zijn. In de praktijk wordt dan verder geselecteerd tot een werkbare hoeveelheid — een cumulatie van subjectieve inschattingen. Conclusies uit een deelwaarneming, al dan niet met risicoanalyse, mogen daarom niet zonder meer op de hele populatie worden geprojecteerd: er is geen kwantitatieve onderbouwing van de betrouwbaarheid en nauwkeurigheid van het oordeel.Moreover, even after the risk analysis the number of transactions requiring substantive testing can still be very large. In practice, further selection then takes place until the workload is manageable — an accumulation of subjective judgements. Conclusions from a judgemental sample, with or without risk analysis, therefore cannot simply be projected onto the whole population: there is no quantitative underpinning of the confidence and precision of the opinion.

De statistische steekproef: dwars door de populatieThe statistical sample: straight across the population

Een statistische steekproef is het selecteren en waarnemen van een beperkt aantal representatieve elementen, met als doel informatie te vergaren over de hele populatie. Ook hier is de verkregen informatie in zekere zin onbetrouwbaar en onnauwkeurig — je onderzoekt immers maar een fractie. Het essentiële verschil met de gewone deelwaarneming is dat die betrouwbaarheid en nauwkeurigheid nu wél kwantificeerbaar zijn, dankzij de toepassing van de statistiek.A statistical sample is the selection and observation of a limited number of representative elements, with the aim of gathering information about the entire population. Here too, the information obtained is to some extent unreliable and imprecise — after all, only a fraction of the population is actually examined. The essential difference with the ordinary judgemental sample is that the confidence and precision applied can now be managed and quantified, thanks to statistics.

Benoemde risico’sIdentified risks0PopulatiePopulationMMathematische steekproefMathematical sample
Figuur 2 — de statistische steekproef wijst transacties dwars door de hele populatie aan, afhankelijk van hun financiële omvang — ook binnen de benoemde risico’s.Figure 2 — the statistical sample selects transactions straight across the entire population, depending on their financial size — including within the identified risks.

In tegenstelling tot de risicogerichte benadering wijst een statistische steekproef transacties aan dóór de hele populatie heen, en wel afhankelijk van hun financiële omvang. Dat is vanuit controleoogpunt verstandig: transacties met een groot financieel belang verdienen méér aandacht. De verdeling van posten naar soort en omvang komt zo terug in de steekproef. De steekproef is in feite een minipopulatie met nagenoeg dezelfde kenmerken als de populatie waaruit ze is getrokken. Doordat ook de níet als risicovol aangemerkte transacties naar rato meedoen, worden ook fouten als gevolg van geaccepteerde en niet-onderkende risico’s tóch ontdekt.Unlike the risk-based approach, a statistical sample selects transactions right across the population, depending on their financial size. From an audit perspective that makes sense: transactions representing a large financial interest deserve móre audit attention. The distribution of items by type and size is reflected in the sample. The sample is in fact a mini-population with virtually the same characteristics as the population from which it was drawn. Because transactions nót flagged as risky are included pro rata as well, errors resulting from accepted and unidentified risks are still detected.

Minderwerk met positieve voorkennisLess work with positive prior knowledge

Risicoanalyse hoeft daarmee niet overboord. Ze verschuift alleen van rol: van „waar moet ik zoeken?” naar het vergaren van positieve voorkennis die mínder werk rechtvaardigt. Zulke voorkennis kan voortkomen uit eerdere controles of uit getroffen interne beheersingsmaatregelen. De door de steekproef geselecteerde transacties kunnen selectief worden teruggebracht daar waar die positieve voorkennis aanwezig is; wat overblijft, is de netto-hoeveelheid uit te voeren waarnemingen. De omvang van die korting verschilt per deelpopulatie — hoe meer voorkennis, hoe groter de korting — en voor de risicovolle delen blijft de bruto-hoeveelheid volledig staan.This does not mean risk analysis goes overboard. Its role merely shifts: from ‘where should I look?’ to gathering positive prior knowledge that justifies doing léss work. Such knowledge may stem from earlier audits or from internal controls in place. The transactions selected by the sample can be selectively reduced wherever that positive prior knowledge exists; what remains is the net number of observations to be performed. The size of that reduction differs per subpopulation — the more prior knowledge, the larger the reduction — and for the risk areas the gross amount remains fully in place.

Benoemde risico’sIdentified risks0PopulatiePopulationMMinderwerk door positieve voorkennisLess work thanks to positive prior knowledgeIn risicodelen blijft de bruto-steekproef staanIn risk areas the gross sample remainsnetto — uit te voerennet — to be performedkorting — hoogte = omvang voorkennisreduction — height = prior knowledgebruto = korting + nettogross = reduction + net
Figuur 3 — positieve voorkennis geeft per niet-risicovolle deelpopulatie een eigen korting op de bruto-steekproef; wat overblijft is netto uit te voeren. In de risicovolle delen blijft de bruto-steekproef volledig staan.Figure 3 — positive prior knowledge gives each non-risk subpopulation its own reduction on the gross sample; what remains is the net work to be performed. In the risk areas the gross sample remains fully in place.

Óf dat minderwerk terecht is, moet je natuurlijk valideren. Dat kan door bij de controle van de transacties niet alleen de inhoudelijke juistheid vast te stellen, maar tegelijk de werking van de interne beheersingsmaatregelen te beoordelen — bekend als dual purpose testing. Blijken er in de resterende netto-hoeveelheid tóch fouten te zitten, dan is de kwaliteit van de ingezette voorkennis twijfelachtig, en schuift de korting terzijde: je controleert alsnog de bruto-hoeveelheid. De korting op de bruto-steekproef moet dus altijd onderbouwd zijn en vervalt zodra er in de netto-steekproef fouten opduiken.Whether doing less work is justified must of course be validated. This can be done by not only establishing the substantive accuracy of the audited transactions, but at the same time assessing the effective operation of the internal controls — known as dual purpose testing. If errors do turn up in the remaining net observations, the quality of the prior knowledge deployed is questionable, and the reduction is set aside: you audit the gross number after all. The reduction on the gross sample must therefore always be substantiated, and it lapses as soon as errors surface in the net sample.

De bouwstenen van een geldsteekproefThe building blocks of a monetary unit sample

Voordat we een concrete casus uitwerken, is het nodig de belangrijkste onderdelen van een geldsteekproef nader te belichten. Het zijn er tien: populatie, betrouwbaarheid, materialiteit, controletolerantie, vooraf verwachte fout, steekproefomvang, celinterval, trekking, fouten en foutsoorten, en de evaluatie.Before working through a concrete example, the main components of a monetary unit sample need a closer look. There are ten: population, confidence, materiality, audit tolerance, expected error, sample size, cell interval, selection, errors and error types, and the evaluation.

Populatie — de steekproef is een juistheidscontrolePopulation — the sample is a test of accuracy

Een belangrijke beperking: de resultaten zijn alléén representatief voor posten die in de populatie aanwezig zijn. Voorwaarde voor representativiteit is dat elke post een gelijke kans van trekking heeft — en omdat bij een geldsteekproef op euro’s wordt getrokken, moet elke euro die gelijke kans hebben. Posten buiten de populatie hebben geen enkele kans om getrokken te worden, en dus zijn de resultaten daarop niet van toepassing. Dat maakt meteen duidelijk waar een steekproef níet voor deugt: het controleren van de volledigheid van een verantwoording. Daarvoor moeten andere controlemiddelen worden ingezet.An important limitation: the results are ónly representative of items that are present in the population. A precondition for representativeness is that every item has an equal chance of selection — and since a monetary unit sample draws on euros, every euro must have that equal chance. Items outside the population have no chance whatsoever of being selected, so the results do not apply to them. This immediately shows what a sample is nót suited for: testing the completeness of a set of accounts. Other audit instruments are needed for that.

WélDoes

  • de juistheid van geregistreerde transacties — de controle op overstatement: zijn posten niet te hóóg weergegeven?the accuracy of recorded transactions — the test for overstatement: are items not stated too hígh?
  • een kwantificeerbare uitspraak over de hele populatie, met een vooraf gekozen betrouwbaarheid en nauwkeurigheida quantifiable statement about the entire population, at a confidence and precision chosen in advance
  • een objectieve, reproduceerbare doorsnede — vrij van subjectieve selectiekeuzesan objective, reproducible cross-section — free of subjective selection choices

NietDoes not

  • de volledigheid: of alles wat er hoort te staan, ook daadwerkelijk is verantwoordthe completeness: whether everything that should have been recorded actually has been
  • posten die buiten de gedefinieerde populatie vallen — die hebben geen trekkingskansitems outside the defined population — they have no chance of selection
  • een oordeel zónder aanvullende controlemiddelen voor de aspecten die de steekproef niet raaktan opinion withóut additional audit instruments for the aspects the sample does not touch

Definieer de populatie daarom zo exact mogelijk: neem precies die posten mee die relevant zijn. Als regel geldt dat een kleinere populatie minder te controleren posten oplevert. Een paar minder relevante posten in de populatie is geen ramp — worden ze getrokken, dan keur je ze simpelweg goed. In de basis volstaat een bestand met de velden referentie en bedrag: op bedrag wordt getrokken, via de referentie verzamel je per getrokken post de bewijsstukken.So define the population as precisely as possible: include exactly those items that are actually relevant. As a rule, the smaller the population, the fewer items there are to audit. A few less relevant items in the population is no disaster — if they are selected, they are simply approved. At its simplest, a file with the fields reference and amount suffices: amounts are drawn, and the reference is used to gather the supporting documents for each selected item.

Lastiger zijn verdichtingen: één bedrag waarachter meerdere deelposten schuilgaan, zoals een verzamelfactuur of een boeking met declaraties van verschillende medewerkers. Als een verdichte post wordt getrokken, moeten in beginsel alle achterliggende deelposten worden beoordeeld. Lukt vervanging door de details niet, dan werk je met een subsample: niet alleen de post wordt aangewezen, maar ook de exacte eurocent die door de steekproef is geraakt. Via een doortelling van de achterliggende boekingen wordt getraceerd wélke deelpost moet worden gecontroleerd. Een voorbeeld: post met referentie 346 en een waarde van € 100.000 is aangewezen; het bedrag van de subsample is € 23.784,66.Trickier are aggregated postings: a single amount concealing several sub-items, such as a collective invoice or one entry covering expense claims from several employees. If an aggregated item is selected, in principle all underlying sub-items must be assessed. If replacing the aggregate by its details is not feasible, a subsample is used: not only is the item designated, but also the exact eurocent hit by the sample. By counting through the underlying detail entries, the sub-item to be audited is traced. An example: the item with reference 346 and a value of €100,000 has been designated; the subsample amount is €23,784.66.

DeelpostSub-itemBedrag deelpostSub-item amountVerdeling subsampleSubsample allocation
Sub11.000−1.000
Sub220.000−20.000
Sub325.000−2.784,66
Sub415.000
Sub532.000
Sub627.000
TotaalTotal100.00023.784,66
Het subsample-bedrag wordt over de deelposten verdeeld tot het is toegewezen; in de laatst geraakte deelpost (Sub3) valt de 23.784,66-ste eurocent — díe deelpost wordt beoordeeld.The subsample amount is allocated across the sub-items of the designated item until it is used up; the 23,784.66th eurocent falls in the last sub-item reached (Sub3) — thát sub-item is assessed.

BetrouwbaarheidConfidence

De betrouwbaarheid is het complement van het steekproefrisico: de kans dat een materiële fout in de populatie aanwezig is, zónder dat de steekproef die ontdekt. Omdat een populatie mét materiële fout niet mag worden goedgekeurd, heet dat steekproefrisico ook wel „de kans op ten onrechte goedkeuren”. In de praktijk — onder andere in de accountantscontrole — wordt het steekproefrisico doorgaans op 5% gesteld, ergo de betrouwbaarheid op 95%. Je loopt dan in maximaal één op de twintig controles het risico een populatie met materiële fout goed te keuren.The confidence level used in a statistical sample is the complement of the sampling risk: the chance that a material error is present in the population withóut the sample detecting it. Since a population containing a material error must not be approved, this sampling risk is also described as ‘the risk of incorrect approval’. In practice — among others in financial statement audits — the sampling risk is usually set at 5%, hence the confidence at 95%. You then run the risk of approving a population containing a material error in at most one in twenty audits.

MaterialiteitMateriality

De materialiteit representeert het maximale foutbedrag in de populatie dat nog nét acceptabel wordt geacht — synoniemen zijn „goedkeuringsgrens” en „maximale fouttolerantie”. De Belastingdienst spreekt in het kader van het toezicht over aangiften „die goed genoeg moeten zijn”: een aangifte mag een fout van beperkte omvang bevatten die onontdekt blijft. Zou dat niet worden geaccepteerd, dan is enkel integrale controle mogelijk — en dat is praktisch niet haalbaar. In de beperkte controlecapaciteit van de Belastingdienst ligt de legitimatie voor het materialiteitsconcept.Materiality is an important factor when applying statistical sampling. It represents the maximum amount of error in the population that is still júst acceptable. Synonyms are ‘approval limit’ and ‘maximum error tolerance’. In the context of its supervision, the Dutch Tax Administration speaks of tax returns ‘that have to be good enough’: a return may contain an error of limited size that goes undetected. If that were not accepted, only a full audit would do — and that is practically unfeasible. The legitimacy for applying the materiality concept in tax audits lies in the Tax Administration’s limited audit capacity.

Nadrukkelijk: dit betekent níet dat een aangifte bekende fouten mág bevatten. Uitgangspunt is en blijft dat een ingediende aangifte géén fouten bevat — het opzettelijk onjuist of onvolledig doen van aangifte is immers een strafbaar feit. Een TCF dient in beginsel te borgen dat er geen fouten in de aangiften terechtkomen; het steekproefonderzoek toetst of het TCF daarin slaagt.To be clear: this does nót mean a tax return may contain known errors. The starting point is and remains that a filed return contains nó errors — deliberately filing an incorrect or incomplete return is, after all, a criminal offence. A TCF should in principle ensure that no errors end up in the returns; the sample examination tests whether the TCF succeeds in this.

De Belastingdienst hanteert doorgaans een lagere materialiteit dan de accountant bij de jaarrekeningcontrole. Ook vanuit interne beheersing wordt die jaarrekening-materialiteit vaak als te hoog ervaren. Het ligt daarom in de rede om aan te sluiten bij de lagere materialiteit die de organisatie intern nastreeft: die heeft een directe relatie met de mate van control.The Tax Administration generally applies a lower materiality than the external auditor does in the financial statement audit. From an internal control perspective, too, that financial-statement materiality is often felt to be too high. It therefore makes sense to align with the lower materiality the organisation itself pursues internally: that one bears a direct relation to the degree of control aimed for.

ControletolerantieAudit tolerance

Een statistische steekproef omvat het kleinste aantal „goede waarnemingen” dat nodig is om met 95% zekerheid te kunnen stellen dat de populatie geen materiële fout bevat. In het resultaat mag dan in beginsel geen énkele fout worden aangetroffen — hoe klein ook. Dat wordt als onwenselijk ervaren: denk aan een fout van 50 eurocent in een post van € 10.000. Daarom werkt de praktijk met een controletolerantie: een percentage van de materialiteit. Het nadeel is een grotere steekproef; het voordeel is dat een beperkte fout in het resultaat mag voorkomen zónder dat dit tot afkeuren leidt. Een in de praktijk veel gehanteerd percentage is 60% van de materialiteit.A statistical sample comprises the smallest number of ‘good observations’ needed to state with 95% certainty that the population contains no material error. In principle, the sample result must then not contain a single error — however small. That is felt to be undesirable: think of an error of 50 eurocents in an item of €10,000. This is why practice works with an audit tolerance: a percentage of materiality. The drawback is a larger sample; the advantage is that a limited error in the sample result can be accepted withóut this leading to rejection of the population as a whole. A percentage often used in practice is 60% of materiality.

Vooraf verwachte foutExpected error

Je kunt bij een steekproef vooraf rekening houden met een verwachte fout. Bij fiscale aangiften is dat echter geen logisch uitgangspunt: aangiften mogen geen bekende fouten bevatten. Wie op voorhand weet dat er tóch fouten in zitten, dient bewust een onjuiste aangifte in — met alle risico’s van dien. De vooraf verwachte fout bij een steekproef op een fiscale aangifte wordt daarom op nul gesteld.A sample can allow in advance for an expected error. For tax returns, however, that is not a logical starting point: returns must not contain known errors. Anyone who knows in advance that errors are nevertheless present is deliberately filing an incorrect return — with all the risks that entails. The expected error for a sample on a tax return is therefore set at zero.

SteekproefomvangSample size

Met de vorige bouwstenen op tafel is de steekproefomvang een kwestie van invullen. Bij een vooraf verwachte fout van nul en een betrouwbaarheid van 95% geldt:With the previous building blocks on the table, the sample size is a matter of filling in. With an expected error of zero and a confidence of 95%, the following holds:

n × p = 3
met n = steekproefomvang en p = MP / M  ·  ofwel n = 3 / p = 3 × M / MP
de factor 3 is de „R-waarde” uit de Poisson-verdeling bij 0 verwachte fouten en een onbetrouwbaarheid van 5%.
where n = sample size and p = MP / M  ·  in other words n = 3 / p = 3 × M / MP
the factor 3 is the ‘R-value’ from the Poisson distribution for 0 expected errors and a sampling risk of 5%.

De steekproefomvang is dus drie keer de populatieomvang, gedeeld door de controletolerantie. Twee voorbeelden: bij een populatie van € 10.000.000 en een controletolerantie van € 100.000 wordt n = (3 × 10.000.000) / 100.000 = 300. Bij € 35 miljoen en een tolerantie van € 250.000 wordt n = (3 × 35.000.000) / 250.000 = 420. Uitgedrukt als percentage p ontstaat een handige tabel:The sample size is thus three times the population size, divided by the audit tolerance. Two examples: with a population of €10,000,000 and an audit tolerance of €100,000, n = (3 × 10,000,000) / 100,000 = 300. With M = €35 million and MP = €250,000, n = (3 × 35 million) / 250,000 = 420. Expressed as a percentage p, a handy table emerges:

p = MP / Mn = 3 / p
0,25%1.200
0,5%600
1%300
2%150
3%100
4%75
5%60
6%50
Steekproefomvang bij een vooraf verwachte fout van nul en een betrouwbaarheid van 95%.Sample size at an expected error of zero and a confidence of 95%.

De trekking: cell-samplingThe selection: cell sampling

De trekking kan op verschillende manieren. De methode die vanuit controleoogpunt de voorkeur verdient, heet cell-sampling. De omvang van een cel of interval J bedraagt M / n. Uit elk interval wordt willekeurig één euro(cent) aangewezen; de bijbehorende post — bijvoorbeeld een factuur — komt op de steekproeflijst.The selection can be performed in several ways. The method preferred from an audit perspective is called cell sampling. The size of a cell or interval J is M / n. From each interval one euro(cent) is randomly designated; the item it belongs to — an invoice, say — is added to the sample list.

Posten (M)Items (M)IntervallenIntervalsSteekproefSample111111112111111
Figuur 4 — uit elk gelijk interval wordt één euro aangewezen; de geraakte posten keren op dezelfde plek en met dezelfde omvang terug in de steekproef. Het cijfer telt het aantal treffers: één grote post is vanuit twee cellen 2× geraakt.Figure 4 — from each equal interval one euro is designated; the items hit return in the sample in the same position and at the same size. The number counts the hits: one large item was hit twice, from two different cells.

Het cijfer in een aangewezen post staat voor het aantal keren dat de post is geraakt. Posten die groter zijn dan twee keer het interval — de „2J-posten” — komen per definitie in de steekproef. Zulke echt grote posten worden dus altijd integraal gecontroleerd, en de statistiek speelt alleen een rol bij de beoordeling van de kleinere posten. Een post die twee of drie keer geraakt wordt, hoef je maar één keer te controleren; eventuele fouten tellen in de evaluatie echter wél twee of drie keer mee.The number in a designated item represents how many times that item was hit. Items larger than twice the interval — the so-called ‘2J items’ — end up in the sample by definition. Really large items are thus always audited in full, and statistics only plays a role in assessing the smaller items. It goes without saying that an item hit two or three times needs to be audited only once; any errors in it, however, dó count two or three times in the evaluation.

Voor de trekking bestaan gespecialiseerde softwarepakketten met een deugdelijke pseudo randomizer, die borgt dat elk element een gelijke kans op trekking heeft. De gebruiker geeft zelf een willekeurig getal — de seed — op; op basis daarvan wordt de startpositie bepaald. Een volgende trekking met dezelfde seed levert exact dezelfde steekproef op. Dat is van belang voor de vereiste reproduceerbaarheid.Specialised software packages are available for the selection, equipped with a sound pseudo randomizer that guarantees every element of the population an equal chance of selection. The user supplies a random number — the seed — which determines the starting position of the cell sample. A subsequent selection on the same population with an identical seed yields exactly the same sample. That matters for the required reproducibility of the sample.

Fouten en foutsoortenErrors and error types

Bij de controle van de getrokken posten komen fouten aan het licht. De absolute en relatieve omvang bepaal je zo:Auditing the selected items may bring errors to light. The absolute and relative size of an error is determined as follows:

ReferentieReferenceBoekwaarde (B)Book value (B)Auditwaarde (A)Audit value (A)Foutbedrag (B−A)Error amount (B−A)FoutfractieError fraction
123€ 1.000,00€ 900,00€ 100,000,1000
124€ 3.735,82€ 3.735,82€ 0,000,0000
125€ 22.745,29€ 18.335,47€ 4.409,820,1939
126€ 63,83€ 0,00€ 63,831,0000
Σ€ 4.573,651,2939
De som van de foutbedragen is de „Bekende fout” (BF); de optelsom van de foutfracties heet „Tainting” — de mate waarin de posten met fouten zijn besmet.The sum of all error amounts found is called the ‘Known error’ (BF); the sum of all error fractions is called ‘Tainting’ — the degree to which the recorded items are ‘contaminated’ with errors.

Als in de steekproef géén fouten zijn geconstateerd, bevat de slechts denkbare populatie die dit resultaat kan opleveren een fout ter grootte van de geschatte Maximale fout (MF): de fout die, in een worst-case scenario, in de populatie aanwezig zou kunnen zijn. Die Maximale fout wordt in de evaluatie geconfronteerd met de materialiteit. Is de MF gelijk aan of kleiner dan de materialiteit, dan wordt de populatie als geheel goedgekeurd. Een grove benadering:If no errors are found in the sample, the worst conceivable population that could still produce this result contains an error the size of the estimated Maximum error (MF): the error that, in a worst-case scenario, could be present in the population. In the evaluation, this Maximum error is confronted with materiality. If the MF is equal to or smaller than materiality, the population as a whole is approved. A rough approximation:

MF = ((Tainting × 1,75) + 3) × J
Geprojecteerde fout (PF) = Tainting × J  ·  de beste schatting van de werkelijk in de populatie aanwezige fout.
Bij één geconstateerde fout is de MF-formule exact; bij meer fouten is het een grove benadering en ligt de exacte MF lager.
Projected error (PF) = Tainting × J  ·  the best estimate of the error actually present in the population.
With one error found the MF formula is exact; with more errors it is a rough approximation and the exact MF is lower.

Bij een interval J van 50.000 en een Tainting van 1,2939 wordt de Maximale fout benaderd op ((1,2939 × 1,75) + 3) × 50.000 = 263.216. De Geprojecteerde fout is dan 1,2939 × 50.000 = 64.695.With an interval J of 50,000 and a Tainting of 1.2939, the Maximum error is approximated as ((1.2939 × 1.75) + 3) × 50,000 = 263,216. The Projected error is then 1.2939 × 50,000 = 64,695.

Nog een onderscheid: een geconstateerde fout kan systematisch of toevallig zijn. Kun je aantonen dat een fout een systematisch karakter heeft — bijvoorbeeld doordat een deel van de populatie via een afwijkend administratief systeem loopt — dan kunnen alle bijbehorende posten worden afgezonderd, gekwantificeerd en integraal hersteld. Voor de steekproefevaluatie speelt die fout dan geen rol meer. Systematiek aantonen is echter niet eenvoudig: je moet bewijzen dat de fout zich in de overige posten níet kan voordoen.One more distinction: an error found can be systematic or random in nature. If you can demonstrate that an error is systematic — for instance because part of the population runs through a deviating administrative system — all the items involved can be isolated, quantified and corrected in full. That error then no longer plays a role in the sample evaluation. Demonstrating systematics is not easy, though: you must prove that the error cannót occur in the remaining items.

De evaluatie: goedkeuren of nietThe evaluation: approve or not

De evaluatie verloopt volgens een vast beslissingsmodel. Systematische afwijkingen worden integraal hersteld; voor toevallige afwijkingen bepaalt de omvang of herstel, foutprojectie of overleg met de Belastingdienst aan de orde is.The evaluation follows a fixed decision model. Systematic deviations are corrected in full; for random deviations, their size determines whether correction, error projection or consultation with the Tax Administration is called for.

jayesneenojayesneenoneenojayesneenojayesneenojayesStartsystematischesystematicafwijkingendeviationsgeconstateerd?identified?integraal herstellencorrect systematicsystematische afwijkingendeviations in fulltoevalligerandomafwijkingendeviationsgeconstateerd?identified?geringe, toelaatbareminor, permissibleafwijkingen?deviations?herstel populatiepopulation repairmogelijk / haalbaar?possible / feasible?overleg met Belastingdienst:consult Tax Administration:totale omvang afwijkingtotal deviation= foutprojectie= projected errorgoedkeuren populatieapprove populationherstellen bekendecorrect knownafwijkingendeviationsopsporen en identificerentrace and identifyafwijkingendeviationsBelastingdienstTax Administrationaccepteert correctieaccepts correction offoutprojectie?projected error?corrigeren foutprojectiecorrect projected errorEindeEnd
Figuur 5 — het beslissingsmodel voor de evaluatie, van geconstateerde afwijkingen tot goedkeuren van de populatie.Figure 5 — the decision model for the evaluation, from deviations found to approval of the population.

Zijn er geen fouten geconstateerd, dan pakt de MF-formule uit als ((0 × 1,75) + 3) × J = 3 × J. De controletolerantie MP is óók gelijk aan 3 × J, en omdat de controletolerantie per definitie kleiner is dan de materialiteit, volgt goedkeuring. In de visie van de Belastingdienst is er bij een Tainting kleiner dan of gelijk aan 1 sprake van een „geringe toelaatbare afwijking” en hoeft alleen de Bekende fout te worden rechtgezet — de Maximale fout blijft dan nét beneden de materialiteit. Bij grotere afwijkingen overschrijdt de MF de materialiteit wél; afhankelijk van de vraag of herstel haalbaar is, vindt herstel plaats of vormt de foutprojectie de basis voor overleg met de Belastingdienst.If no errors are found, the MF formula works out as ((0 × 1.75) + 3) × J = 3 × J. The audit tolerance MP is álso equal to 3 × J, and since the audit tolerance is by definition smaller than materiality, approval follows. In the Tax Administration’s view, a Tainting of 1 or less constitutes a ‘minor permissible deviation’ and only the Known error needs to be put right — the Maximum error then stays júst below materiality. With larger deviations the MF dóes exceed materiality; depending on whether repair of the population is feasible, correction takes place or the error projection forms the basis for consultation with the Tax Administration.

Conclusies en aanbevelingenConclusions and recommendations

  • Gegevensgericht onderzoek achteraf is een must voor het vaststellen van de effectieve werking van een TCF.Substantive testing after the fact is a must for establishing the effective operation of a TCF.
  • Risicoanalyse bij het inrichten van een TCF is prima — mits via monitoring (onder andere steekproeven) wordt geborgd dat álle relevante risico’s zijn onderkend.Using risk analysis when designing a TCF is fine — provided monitoring (including sampling) ensures that áll relevant risks have been identified.
  • Voor die monitoring verdient de statistische steekproef in hoge mate de voorkeur boven de gewone deelwaarneming.For that monitoring, the statistical sample is highly preferable to the ordinary judgemental sample.
  • Een gefaseerde aanpak beschrijft het uitvoeren van een statistische steekproef als een gestructureerd proces.A phased approach describes performing a statistical sample as a structured process.
  • Er is normaliter geen reden om van statistische steekproeven af te zien: de noodzakelijke randvoorwaarden zijn relatief eenvoudig in te vullen.There is normally no reason to forgo statistical sampling: the necessary preconditions are relatively easy to meet.

Precies daarin schuilt de aantrekkingskracht. Een methode die een groot, ondoorzichtig probleem — „klopt deze verantwoording van miljoenen?” — terugbrengt tot een handvol goed te onderbouwen keuzes en één heldere uitspraak, is precies het soort vakkennis dat een controleraamwerk betrouwbaar maakt. Niet door het werk te vergroten, maar door het te verkleinen tot wat aantoonbaar genoeg is.Precisely therein lies the appeal. A method that reduces a large, opaque problem — ‘are these accounts of millions correct?’ — to a handful of well-substantiated choices and one clear statement is exactly the kind of craftsmanship that makes a control framework reliable. Not by enlarging the work, but by shrinking it to what is demonstrably enough.

Noten en bronnenNotes and sources

  • Kennisgroep ZGO — Tax Control Framework, Van risicogericht naar „in control”: het werk verandert (21 maart 2008), o.a. paragraaf 4.5.ZGO knowledge group — Tax Control Framework, Van risicogericht naar „in control”: het werk verandert (21 March 2008), incl. paragraph 4.5.
  • Ed Broeze — Validation of Risk Assessment in Auditing (proefschrift, Limperg Instituut, januari 2007, ISBN 90 8659 0551).Ed Broeze — Validation of Risk Assessment in Auditing (doctoral thesis, Limperg Institute, January 2007, ISBN 90 8659 0551).
  • L. A. de Blieck e.a. — Algemene wet inzake rijksbelastingen (Kluwer, 8e editie, 2009), m.n. de artikelen 67d en 69 AWR over het opzettelijk onjuist of onvolledig doen van aangifte.L. A. de Blieck et al. — Algemene wet inzake rijksbelastingen (Kluwer, 8th edition, 2009), esp. Articles 67d and 69 of the Dutch General Tax Act (AWR) on deliberately filing an incorrect or incomplete tax return.
  • De factor 3 („R-waarde”) volgt uit de Poisson-verdeling bij 0 verwachte fouten en een onbetrouwbaarheid van 5%.The factor 3 (the ‘R-value’) follows from the Poisson distribution for 0 expected errors and a sampling risk of 5%.

Deze bijdrage is gebaseerd op de handleiding De inzet van statistische steekproeven bij het monitoren van een Tax Control Framework, oorspronkelijk geschreven voor DU-ROI Accountants, Belastingadviseurs & IT-Auditors.This article is based on the manual De inzet van statistische steekproeven bij het monitoren van een Tax Control Framework, originally written for DU-ROI Accountants, Belastingadviseurs & IT-Auditors.