В том-то и дело, что словообразование - штука затейливая...

Есть два соображения в пользу ладони с пальцами. Весьма косвенных, но - вполне осязаемых. 1. Пальма действительно похожа на руку с растопыренными пальцами. Берёза и дуб так не выглядят. 2. Англ. PALM.
Только выводы можно разные сделать. Например, Фасмер делает такой:
Слово: Пальма.
Ближайшая этимология: Из нем. Раlmе, которое восходит через д.-в.-н. раlmа к лат. раlmа, первонач. тождественному раlmа «ладонь» по сходству листьев пальмы с растопыренными пальцами руки. Отсюда диал. Пальма «широкий охотничий нож с широкой рукоятью, покрытой кожей с ворсом», уменьш. Палёмка, вост.-сиб., приамурск. (Карпов), колымск. (Богораз), также у Рылеева (233). Назван по сходству с формой ствола пальмы. Страницы: 3,194

А если "пальма" действительно от слова "пал", что тоже резонно, то это уже не латинское через немецкое, а конкретно славянское происхождение.
Слово: Палить,
Ближайшая этимология: Палю, укр. Палити, блр. Палiць, др.-русск., ст.-слав. палити Flљgesqai, Flog…zein (Супр.), болг. Паля «жгу», сербохорв. палити, па? ли? м, словен. paliti, – im, чеш. paliti, palim, слвц. рalit‘, польск., в.-луж. palic, н.-луж. palis.
Дальнейшая этимология: Связано чередованием гласных со ст.-слав. полKти «гореть, пылать»; ср. Пламя, Полено, Пепел, лит. реlеnаi~ мн. «зола», лтш. pe§°lni мн., др.-прусск. реlаnnе — то же; см. Мейе, МSL 9, 143; 19, 185; Eґt. 230; Траутман, ВSW 212 и сл.; Младенов 409. Страницы: 3,192-193

И для комплекта:
Слово: Палка,
Ближайшая этимология: Палица, укр. Палка, Палиця, др.-русск. Палъка, Палица, ст.-слав. палица ·Јbdoj (Супр.), болг. Палица, сербохорв. па? лица «палка, посох, полено», словен. palica «палка, посох, перекладина», чеш. раliсе «дубинка», слвц. раliса, польск. раља «дубина», раљkа, раliса.
Дальнейшая этимология: Ввиду знач. едва ли заимств. из д.-в.-н. pfa^l «кол», которое само происходит из лат. pѓlus — то же, вопреки Коршу (у Преобр. II, 9). Возм., родственно д.-в.-н. sраltаn «раскалывать», др.-инд. sphat·ati «раскалывает», sphut·ati «разрывает», sphѓt·ayati «раскалывает», phalakam «доска», phalati «лопается, трескается»; см. Младенов 409. Менее вероятно сближение с Палиґть, якобы на том основании, что палкам придают темную окраску с помощью огня (Махек, LF 65, 317), или потому, что они применялись как топливо (Преобр. II, 9 и сл.). Вряд ли также родственно слову Палец, вопреки Брандту (РФВ 23, 302), Брюкнеру (391), Петерссону (Verm. Beitr. 135). Ср. Паля. Страницы: 3,193

Но - какой версии отдать предпочтение и почему?
Один из возможных вариантов - это показать, что и ихние раlmа-Раlmе имеют общего со славянским предка или даже вовсе вырастают из славянского. Тогда что один, что другой вариант происхождения слова дают единый источник. Интуитивно чувствую, что это так, но... мозгов не хватает. :( Смотрим слово "палец":

Слово: Палец,
Ближайшая этимология: Род. п. пальца, укр. Палець, др.-русск., цслав. Пальць, болг. Палец «большой палец», сербохорв. па? лац, род. п. па? лца, словен. ра? lес, – lса «большой палец», чеш., слвц. раlес — то же, польск. раlес «палец», в.-луж., н.-луж. раlс «палец», полаб. рolас — то же. Праслав. *раlъ сохранилось в Беспалый, Шестипалый.
Дальнейшая этимология: Обычно считается родственным лат. роllех, – icis «большой палец (на руке, на ноге)» (где ll носит экспрессивный характер), согласно Мейе (ВSL 23, 80), Мейе–Эрну (918); см. сомнения на этот счет у Вальде–Гофм. (2, 332 и сл.). Допустимо дальнейшее родство с нов.-перс. pѓlidan «искать, идти по следам», болг. Палам «ищу», д.-в.-н. fuolen «чувствовать, ощущать»; см. Паули, KЈrperteile 22; Бецценбергер, ВВ 16, 120; Фик I, 471; И. Шмидт, Pluralb. 183; Розвадовский, Qu. Gr. 2, 260; Педерсен, Kelt. Gr. I, 135; Младенов 409; IF 35, 134 и сл.; РФВ 71, 463; Зубатый, LF 27, 68; Леви, РВВ 32, 147. Не связано с лат. раlро, – ѓrе «гладить, льстить» (Вальде–Гофм., там же) и, вероятно, также с греч. PalЈmh «ладонь», лат. раlmа? то же, д.-в.-н. folma «рука», др.-инд. pѓn·is· «рука», вопреки Уленбеку (Aind. Wb. 162), Бецценбергеру (там же). Сомнительно также родство с Палка, Палица, вопреки Петерссону (Verm. Beitr. 135). Комментарии Трубачева: <Согласно Соколовой (Докл. и сообщ. Ин. Яз., NO 2, 1952, стр. 14 и сл.), первонач. знач. "большой палец" хорошо прослеживается в стар. русск. текстах. Мошинский (Zasia§g, стр. 127) связывает слав. раlъ, раlьсь "большой палец" вслед за Вальде, Эрну--Мейе, Буазаком и Младеновым с греч. YЈllw "дергаю (струны, тетиву лука)", YalmТj "натягивание (струн лука)" со специальным указанием на роль именно большого пальца при стрельбе из лука "по-монгольски". -- Т.> Страницы: 3,191-192

Примечательна фраза "Праслав. *раlъ сохранилось в Беспалый, Шестипалый." Получаем ПАЛ + краткий гласный Ъ, что легко даёт "юсовское" прочтение слова ПАЛЕМ/ПАЛМ. То есть, это одно и то же слово только в разных прочтениях. Нет необходимости брать это слово у латинян.
Вот к этому рассуждению бы ещё парочку весомых аргументов добавить бы... Дело в том, что это М в конце не обязано всегда быть "юсовским" трансформантом. Имело бы ихнее ПАЛМ значение "палец", у меня и сомнений бы не было, что трансформант. А так... да, пальцы они есть составляющая ладони, но всё-таки не сама ладонь...