« Dès ce moment, mon âme s’est éprise de la langue yiddish et je l’ai épousée pour l’éternité et me suis dépêché de lui offrir les parfums et les baumes qu’elle mérite. Et elle est devenue une dame gracieuse et belle qui m’a donné beaucoup d’enfants. »
Mendele Moykher-Sforim, « Esquisse de ma biographie », 1889
En 1863, Mendele fonde à Berdytchiv une association de bienfaisance qu’il nomme (d’après Psaumes 41:2) « Maskil el dal », ce qu’on peut traduire par « Comprendre le pauvre », mais également par « Que l’homme des Lumières aille vers le pauvre ! ». Pour Abramovitsh, le sentiment d’une responsabilité vis-à-vis des conditions de vie des plus démunis est bientôt accompagné d’une prise de conscience d’homme de lettres : si le maskil veut véritablement se tourner vers le pauvre, il lui faut d’abord s’adresser à lui dans une langue qu’il peut comprendre, en l’occurrence le yiddish.
À l’époque, Mendele fait la connaissance du lexicographe yiddish Yoyshue-Mordkhe Lifshits. Avec ce dernier, il persuade Aleksander Tsederboym, l’éditeur de l’hebdomadaire hébraïque Hameylits (L’Intercesseur) à Odessa, d’insérer dans sa revue un supplément en yiddish du nom de Kol-mevaser (Voix annonciatrice), qui paraîtra entre 1862 et 1872. C’est dans ce supplément que Mendele publiera, sous forme de feuilleton, son premier roman yiddish, Dos kleyne mentshele (Le Petit Bonhomme) en 1864, une réflexion sur les origines du pouvoir et de la corruption.
Les premières œuvres yiddish de Mendele (romans, drames, vulgarisations scientifiques, traductions littéraires) propagent les positions de la Haskole : critique virulente des structures communautaires (Di takse [La Taxe], 1869) et recommandation d’un enseignement général et non strictement religieux, qui préparerait les Juifs à la vie dans une société moderne (Dos vintsh-fingerl [L’Anneau magique], 1865). Il s’intéresse alors en particulier à la vie des pauvres et des marginaux et exalte la beauté de la nature (Fishke der krumer [Fishke le boiteux], 1869). Au fil des années, Mendele développera une position critique vis-à-vis de la Haskole, notamment quant à son regard paternaliste sur la société juive et sa foi naïve en la possibilité d’améliorer la situation des masses juives de l’Empire tsariste par des réformes internes seulement (Di klyatshe [La Haridelle], 1873).
Abramovitsh publie Le Petit Bonhomme dans Kol-mevaser (1864-1865) anonymement, probablement en raison du mépris des maskilim à l’égard du yiddish. Dans le roman, on peut lire qu’il a été édité grâce à Mendele le colporteur de livres, le narrateur de l’introduction, à qui on aurait confié le manuscrit. À l’époque, Abramovitsh ne sait pas encore que « Mendele le colporteur de livres », ou « Mendele » tout court, deviendra son pseudonyme. Dans L’Anneau magique, son deuxième roman, l’auteur se dissimule aussi derrière un masque, mais on y trouve également une allusion à sa véritable identité : sur la page de titre, il est dit qu’il s’agit d’une traduction de l’allemand, faite par Mendele le colporteur de livres. Mais on lit par ailleurs la mention suivante : « Par Ish, l’auteur du Petit Bonhomme ». « Ish » veut dire « homme » en hébreu, mais c’est aussi l’acronyme inversé de « Sholem-Yankev Abramovitsh » en alphabet hébraïque. Ce n’est qu’au terme d’un processus complexe, mêlant dissimulation et dévoilement progressif, que Mendele se déclarera comme écrivain yiddish.