Первоначально Джойс хотел составить свой сборник из двенадцати стихотворений и назначить цену книжки в один шиллинг — по пенни за каждое. Но впоследствии он решил включить в сборник еще одно стихотворение, написанное значительно раньше остальных, в 1904 году, и даже открыл им сборник. Поэтому он и назвал его «Tilly» — довесок, прибавок. По мнению критиков, оно связано со смертью матери Джойса в августе 1903 года и с тем чувством вины перед ней, которое не оставляло Джойса никогда (см., например, первую главу «Улисса»),

К сборнику «Пенни за штуку» биографически примыкает одно из лучших стихотворений Джойса «Ессе puer», что значит: «Се, дитя» (лат.). Это аллюзия на слова Пилата, выведшего Иисуса к толпе в терновом венце и багрянице: «Ессе homo!» — «Се, Человек!». «Ессе puer» написано в феврале 1932 года на рождение внука, названного в честь своего деда Стивеном Джеймсом Джойсом. Беременность Элен, невестки Джойса, была тяжелой. В довершение всего, за семь дней до рождения внука умер отец писателя, Джон Джойс. Радость и скорбь смешались в эти дни. Неудивительно, что и в самом названии, и в содержании стихотворения сочетаются мотивы Распятия и Рождества.

В стихах Джойса много перекличек с его прозой, много важных комментариев к характеру и судьбе автора (и его литературного двойника Стивена). Уже в «Камерной музыке» мы замечаем то, что так характерно для Джойса, — особый недуг души, когда потребность натуры любить и страстность сочетаются с недоверием к любви и с глумлением над ней. В стихотворении «Хоть я уже, как Мидридат…» («Камерная музыка», XXVII) в строках про «писклявых певцов», воспевающих до небес своих возлюбленных, и про фальшь, неотделимую от любви, мы замечаем явные переклички с Джоном Донном, с такими его стихами, как «Тройной дурак», «Растущая любовь», «Твикнамский сад». Но, даже осознавая, что он «перерос» ложные приманки любви, автор все же хочет быть вновь захваченным ею в плен: