В 1912 году вышел сборник Суэйна «Рассказы о Призраке Мельничного Жернова» (англ. «Stoneground Ghost Tales»), причём по договору с издателем Суэйн оплачивал 70 % стоимости издания книги. В 1932 году опубликовал исследование «История собора в Питерборо» (англ. «The Story Of Peterborough Cathedral»).
Дружил с М. Р. Джеймсом, с которым Суэйн познакомился, когда был священником Кингс-Колледжа. М. Р. Джеймс навещал Суэйна, когда тот работал библиотекарем в Питерборо, Суэйн посвятил Джеймсу свои «Рассказы о Призраке Мельничного Жернова».
Содержание сборника «Рассказы о Призраке Мельничного Жернова»: