Nasce a Parma nel 1916. Orfano di madre a nove anni, desidera farsi frate ma non ottiene il consenso paterno. A quindici anni può però entrare in seminario a Parma e poi a Roma, quindi si laurea in teologia nella Pontificia Università Gregoriana. Ordinato sacerdote a Parma nel 1939, nel 1942 forma con altri preti una comunità religiosa, che viene però sciolta dalle autorità ecclesiastiche. Pubblica sue traduzioni e commenti di noti testi religiosi: La filosofia della religione di John Henry Newman, il Diario e scritti religiosi di Gabriel Marcel, le Provinciali di Pascal e le Meditazioni cristiane e metafisiche di Malebranche. Scrive anche sulla rivista «Il Contemporaneo».
Dal 1943 collabora a Firenze con i COS (Centri di orientamento sociale) di Aldo Capitini. Nel 1944 l’autorità ecclesiastica gli proibisce la celebrazione della messa, nel 1945 gli interdice l’abito ecclesiastico e nel 1946 viene colpito dalla massima scomunica vitando, per aver commemorato lo scomunicato ex-prete Ernesto Bonaiuti. Le accuse mosse dal Sant’Uffizio sono di disobbedienza, diffusione di dottrine false, eresia e tentativo di sovvertire i fondamenti della religione.
Nel 1947 Tartaglia e Capitini fondano il Movimento di religione, al quale aderiscono poi lo storico Raffaele Pettazzoni e lo psichiatra Roberto Assagioli, ma dal quale Tartaglia esce per fondare nel 1950 il Centro per la realtà nuova, sede anche della casa editrice omonima con cui pubblica nel 1960 il Discorso di tre aprile. Si trasferisce a Firenze. Nel 1976 redige il suo testamento e inizia a considerare la possibilità di una riconciliazione con la Chiesa, che avverrà solo con la revoca nel 1987 della scomunica, un anno prima della sua morte. Vive a Firenze fino alla morte nel 1987, anno in cui viene revocata la scomunica. Enorme è la mole dei suoi scritti, di cui solo una modesta parte è stata pubblicata negli ultimi anni.