Big data

We zitten komende dagen op Smart Agrimatics, een goede reden om het boek Big Data te bespreken. Viktor Mayer-Schönberger (een Oostenrijker die nu hoogleraar internet governance in Oxford is) en Kenneth Cukier schreven het, en vorig jaar lagen er na lovende besprekingen stapels in de airport-bookshops.Terecht, want wie het nog niet gelezen heeft moet dat echt doen.
De auteurs zien 3 verschuivingen in denken die elkaar versterken:
1] de mogelijkheid om grote hoeveelheden gegevens over een onderwerp te verwerken in plaats van een beperkt aantal: n= all, de steekproef is uit.
2] De bereidheid om de ruis van de werkelijkheid (real-world messiness) te accepteren en gebruiken in plaats van exactheid en preciese meting te vereisen. De ruis wordt goedgemaakt door de hoeveelheid
3] meer uit te gaan van correlatie dan van causaliteit. Recombinant data is in.

Het boek legt dit niet alleen allemaal uit, met natuurlijk veel mooie voorbeelden en niet alleen uit de wereld van Google en start-ups, maar ook rond bv. open data, en bespreekt ook de risico's van deze trends (zoals het beoordeeld worden op kansen door individuele profilering in plaats van op daden). Maar ook klassiekers als Luca Pacioli en Robert MacNamarra komen aan de orde.
Veel aandacht ook voor Predictive analytics, een techniek die op basis van bijvoorbeeld sensoren / internet of things data probeert te voorspellen wanneer machines stuk gaan. "Armed with sensor data, correlation analysis and similar methods can identify the specific patterns, the telltale signs, that typically crop up before something breaks." En dat kan dan omdat alles in data wordt omgezet. Datafication is troef. Dat is ook het verschil tussen Google, dat data verzameld voor de optie-waarde van second use in een heel ander domein, en Amazon, dat dat veel minder doet. Met name in webbrowsers en software als FarmVille wordt alles gemeten en geexperimenteerd: verkopen witte koeien beter dan gevlekte, eventueel experimenteer je een paar dagen met twee versies van het spel.
Ik noteer nog een paar mooie quotes en inzichten:
Het is het concept van de steekproef geweest dat de Humanities heeft omgezet in Social Sciences.
In God we trust - all others bring data zou het mantra zijn van de moderne manager zijn die niet meer op intuitie en oordeel vertrouwd.
En tot slot een quote die we het panel in Smart Agrimatics eens zullen voorleggen;
"To ensure the conditions for a burstling market for big data, we will need measures comparable to the ones that established competition and oversight in those earlier areas of technology [reference to eg. National Cash Register in the 1910s, IBM, Xerox, AT&T,Microsoft, Google]. We should enable data transactions, such as through licensing and interoperability. "