Ну во-первых, одновременно спереть и телефон и карту не так уж и просто.
Во-вторых, есть еще CVC2 код, который вы вводили при добавлении карты, который по-хорошему никто кроме вас знать не должен. Многие даже специально затирают его на карте и записывают на отдельной бумажке, которую хранят в надежном месте. Тогда кто бы ни украл вашу карту, спереть код у него не выйдет и привязка карты не состоится.