Pour entrainer de manière efficace un modèle de langage comme GPT, il faut une source énorme de textes écrits par des humains. Sans cette immense masse de données, les grands modèles de langage ne sont pas grand-chose. Wikipédia, Reddit ou arXiv étant des sites comportant énormément de textes et une api pour les récupérer ont été des sources faciles pour les chercheurs d'OpenAI, de Google ou d'Amazon travaillant sur ces outils technologiques.
Les différentes versions de GPT, Bard citent Reddit comme une de leurs sources de textes d'entrainement. Mais Reddit a décidé de ne plus laisser faire et veut faire payer l'accès à son API, explique le New York Times.
« Le corpus de données de Reddit est vraiment précieux, mais nous n'avons pas à donner toute cette valeur gratuitement aux plus grosses entreprises du monde », a réagi l'un des cofondateurs du site, Steve Huffman, dans une interview. Si se baser sur Reddit, c'est intégrer les biais racistes et sexistes que peuvent avoir certaines communautés du site, c'est aussi se baser sur des masses importantes de vraies conversations entre humains.
Pour Steve Huffman, « l'aspiration des contenus de Reddit, la création de valeur et le fait de ne pas restituer cette valeur à nos utilisateurs nous posent un problème. C'est le bon moment pour nous de remettre les choses en place ». Reddit devrait annoncer les prix d'accès à son API dans les semaines qui viennent.
