"Can we trust black-box machine learning with its decisions?"
Lo studio che segue parte da questo presupposto, per arrivare a considerare anche gli aspetti legati alla privacy.
E' sicuramente un collegamento innovativo da approfondire.
Quando ho sviluppato il mio bot sulla privacy basato su una base di conoscenze gerarchiche e strutturate mi sono trovato a fare il debug.
I criteri erano numerosi, e in ricorsione.
Il debug era indispensabile, bisognava capire quali regole (deterministiche) erano state utilizzate nelle varie richieste (non deterministiche).
Mi chiedo come possano gli sviluppatori mondiali non avere strumenti simili, e non credo che non ne abbiano.
Ora: un conto è analizzare conversazioni, un altro big data.
Comunque nel rispondere "a tono" è necessario conoscere il contesto, qunidi insieme ai big data si fa uso dei dati forniti, così come per ogni conversazione, sia pure per la sola durata della conversazione.
Poi si possono anonimizzare, ad esempio.
Il tema è ampio e merita attenzione. Ringrazio Reuben Binns da UK per la segnalazione.
Il pdf è al link indicato e manifesta con evidenza come il tema non possa essere affidato ai soli giuristi.
Computer Science > Machine Learning
Privacy Risks of Explaining Machine Learning Models
Can we trust black-box machine learning with its decisions? Can we trust algorithms to train machine learning models on sensitive data? Transparency and privacy are two fundamental elements of trust for adopting machine learning. In this paper, we investigate the relation between interpretability and privacy. In particular we analyze if an adversary can exploit transparent machine learning to infer sensitive information about its training set. To this end, we perform membership inference as well as reconstruction attacks on two popular classes of algorithms for explaining machine learning models: feature-based and record-based influence measures. We empirically show that an attacker, that only observes the feature-based explanations, has the same power as the state of the art membership inference attacks on model predictions. We also demonstrate that record-based explanations can be effectively exploited to reconstruct significant parts of the training set. Finally, our results indicate that minorities and special cases are more vulnerable to these type of attacks than majority groups.