2. O atalho de recompensa por trás do colapso da política

A primeira pista no código está em `finishHand`: a variação de fichas é dividida por 20 e limitada ao intervalo de -1 a +1.

const float reward = std::clamp(
    static_cast<float>(chipDelta) / 20.f,
    -1.f,
    1.f
);

Assim, um ganho de +20 produz +1 e um ganho de +299 também produz +1. Perdas além de -20 são achatadas da mesma forma. Some a ordenação entre vitória modesta e vitória enorme, facilitando otimizar a chegada a qualquer fim positivo, em vez do crescimento eficiente do stack.

A segunda pista é a atribuição de crédito. O mesmo valor terminal é aplicado a todas as ações guardadas no episódio.

constexpr float kRate = 0.05f;
for (const Step& step : episode_) {
  for (int i = 0; i < kFeatures; ++i) {
    float& weight = weights_[static_cast<size_t>(step.action * kFeatures + i)];
    weight = std::clamp(weight + kRate * reward * step.features[i], -2.f, 2.f);
  }
}
episode_.clear();
save();

Não se distingue quanto fold, check, call ou raise contribuíram. Quando um all-in encerra a mão depressa, a trajetória é curta e o mesmo +1 pode reforçar repetidamente poucas decisões. Isso não comprova uma causa única, mas dá vantagem estrutural a um caminho curto e fácil de repetir.

Os snapshots são compatíveis. Para cheolsu, o total de all-in é +0,818, contra -1,854 em check e -5,013 em call; a feature de stack do all-in é +0,226. O all-in de younghee fica perto de zero, mas check e call estão em torno de -3,657 e -3,722, tornando-o relativamente atraente. Minsu tende a `bbing`, não a all-in.

Logo, eles não são “o mesmo modelo de all-in”. O problema comum é colapso para poucas ações, embora ação e perfil de pesos variem. Um coeficiente isolado também não define a política: features, logits e exploração atuam juntos.

O diagnóstico é limitado. Clipping, crédito terminal uniforme e trajetórias curtas formam mecanismo plausível e coerente com os pesos. Confirmar causalidade exige execuções controladas que alterem clipping e crédito e comparem distribuição de ações e retorno de longo prazo.