>guilt (n.) (староанглийское «gylt» - преступление, грех, вина, взыскание); происхождение неизвестно, возможно связано со староанглийским «gieldan» - платить, долг

А может тупо от голый, ГОЛыТьба?
Голытьбе и воровать с руки, ведь у них ничего нет.