2つのTextViewを中央に並べて、どちらかがない場合に中央に寄せるlayoutを作ります。
イメージとしてはこんな感じです。

これをRelativeLayoutで実装します。

ポイントは、上下のpaddingを加味して、二つの要素の上下のpaddingを決めることです。

例えば、Adapterのセルの上下のmarginが10dpで、2つのTextViewの間隔が4dpだった場合、wrapperのRelativeLayoutとTextViewのMarginは以下のようになります。

textview:上下2dp
wrapper RelativeLayout:上下4dp

こうすれば、片方のTextViewの表示がgoneでも余白が正しくとれることになり、
program上でいじることがありません。