Чтение светских книг было в семинарии строжайшим образом запрещено, поэтому воспитанники проявляли к ним особый интерес. В Тифлисе существовала народная «Дешевая библиотека», где все они и паслись. Их заставали за чтением неположенных книг, изымали литературу, записывали в кондуит, сажали в карцер — все тщетно! Чтение занимало у Иосифа все свободное и значительную часть несвободного времени. Успеваемость его начала снижаться, участились записи в кондуитном журнале о том, что он читал неположенную литературу. Его записывали в кондуит, лишали права выходить в город, сажали в карцер — все тщетно, от этого запретный плод становился только слаще и слаще. Этот юноша был не из тех, кого можно сломить подобными наказаниями, — его не смогли сломить и куда более суровые испытания. Он был не то что упорным… в русском языке существует слово «упертый» — оно точнее.
В своем стремлении к знаниям Иосиф был не одинок. В то время в семинарии существовал ученический кружок, руководимый Сеидом Девдориани, в который осенью 1896 года вступил и Иосиф. Впрочем, изучали они вещи совершенно невинные — художественную литературу и книги по естественным наукам, все разрешенное цензурой, никакой нелегальщины. Но запреты и преследования отцов-наставников даже романам Гюго придавали пряный заговорщицкий привкус.
Тогда же, в семинарии, Иосиф начал писать стихи. Точнее, никто не знает, когда он впервые сложил слова в рифмованные строчки, но после первого курса он решил попытать счастья и что-нибудь опубликовать. Попытка оказалась более чем успешной: первый же визит в редакцию газеты «Иверия» закончился тем, что юного поэта принял сам Илья Чавчавадзе, крупный грузинский общественный деятель и редактор газеты. Чавчавадзе отобрал для опубликования пять стихотворений. Несколько позже еще одно появилось в газете «Квали».