abci/grpc: panic during concurrent CheckTx #5439
Description
Running the end-to-end test suite's ci.toml network occasionally causes nodes to panic with:
panic: Unexpected tx response from proxy during recheck
Expected 54787B36433646363136343244333134363330334433353636333736323331333336333338333233303338363233343634363533353339333133363636333236353333333336353634333533303334333636313337363333373634363336313334333033383635333436353332333833373334363433363632333433373633333736363334333033323333333936363634333836353635333636323632333333323634333833373333333833323332333333333331363436353339363133373334333133333330333333383634363533323631333533323337333633333635333233343336333133353336333733343332333933313335363333383333363233323634363436363336333336353338333333343337333333373330363333353334333236363334333233363331333633373334333933353330363336323331333233303631363633303635333533323332363133363335333933393634363233363632333633373632363133383634333533333634333533333331363233333633333333313330333233353330333733323339333633353338333536313335333736333333363436333636333536363332333233373331333833383631363533323631333533333634333133353635363133323334363533383636333533303335333736313634333333353635333333333330333236343337333033303631333936313332363333333633363533353635363333383339333136363636333433323339363133393339363633303634333933343632363633383332363233303334333133343331333236323335333133363632363533383333333033313633363333363633333133303631363133343334333133373333363436323635333633323633333433383335333836333338333636353633333033353636363533303332333933373334333933313337363236353334333836363633363433333634333833323338363336313331333533323634363136353634333833393339333636333633363133373636363436353632333036333635363536313338363236313330333133323332363336333333333633303331333933373631363633343631363433313330333833343339333636313634363236323337363533333338333533373331333836343631363333323335333933393636363636343331363633383334363233353333363136363337363433363337363536353333363333343332333733353636363236353635363436323632333633393337333233383338363633343336333836313339333633343336333636363331333733393331333033353634333936363634333933333337363133393339363233323632333133383632363133373337333133333632333933393337333436353331333633363338333433333636363133373631363333333332363136323339333436333634333236333631363533343336363333313635333736313635333236343634333333393333333336343633333733333634363233333632333533393337333833393335333436363335363233383335333333343331363633303330333033303635363336313335333236353632363333333334363333303635333033313636333033343338333533363631333033313631333533323631363636363633333836363635333433333334363136343336333233373334333133393333333936343335333533363330333636353338333936343339363133333334333736353636333533373333363533333633363133303337363136313634363433303633333333373330333233313634333936363331333933313635333836343335333236313633363636363335363633313333333233363335333533383635333733363634363233313636333533313331363636343337333933373336333433373339363436333338333533343632333436313339333033363334333333323632363433353332333333323332363133333636333533313632363233353332363533393334363433333633333836363632333836353339363433373331363436363337333836313333333533313635333736323339363233323633333336313335333533363334363536323335333336363331333233373636363533303636363233323332363533353333363433303339333633383331333736313330333033313330333233313338333836343337333533373332363433333331363633333332363436353335333633333636363133353336333133333332333133333634363133373332333233393333363336353330333733323635333736333332363636313334363533353334333033353337333533373332363433353335333033353634363533323334333133383631363233343332363436363338333833323335363233313339333436353633363636353636333433323330363236313334333536323330363333333335363236333337333533393330333133363330363336353332363133363334363533323338333836313330363533393334363636323339333336323332333636363339333833373634333833343633333736343333333233303337333636363335363336353634333536313634363236313337333133343337333733323634333833393632333533363330333636323334363536333635363533323334333436333331333436343632363136323335333636343631363533373336333433313632333736353633333536363330333933353634333633303336363636343636333536313333363633373631333133323331333133353633363633363634333736323331333436333339333733393333333336343333363133343631333533313339363233343635333633343631333033323632363233303632333533383333333836353338333233323330363333313633333733393339333233343330333136353332333233343635333836323330363436363333333033393334333733363634333536353339333336353634363336333335333533393332363533323633333633363632333033313331333536343634333933333631333033373334333536343333363333343337333033383636333233383634363633303336333633333331333433313635363533333339333633303339333133313636363636313331363136313634333033363332333433363631333336323335333633383636333436343338333736333334333536313338363533323632363133343636333833333635333133313337333333313632333633323632363233353338333333373337333136353636333636313633333033353634333933383331333233343331333436333336333033363332333733333333333636313337333633343333333336323334333236313331363533303636333636343333333133303335363133343330333036313631363336313337363333313330333436313336333436343634333633353632333736323636363536353631363233373631363133323339333933353633333436333632333136353635363433303332333136313338363336323335333033313636333736333331333933393335363136313635363236343337333936343636333433303337363533333339333133313634363233313337363433303338333133333634363433343332363633343636333736323339363436333338363436353330363333353335363136363334363133343334333636353333363233343337363636353338333733383334333633303632333336313332363533333636333733323631333533343332363533343337363433353333363236353338333333333332363536323332363633303332363136343632333036353335333133373333333133343338363333343632363633393335363633393332333736333332333636353337363136333338333433383337333933303632333633333335333136333632333636313338333333383336333936323636333933333334363233393332333036313635333433363338333633323330333633303331363133383338363436363337333333303633333336363332333136333334333536343634333733303635333633363635363633373332363433343631363136333636333433383330333833323633333536343333333836323338363533343332363133343334363333343333333036333634363433303330333536363634333433303330333833333631363533313633333033313633363536313335333233323330363636343636333136333334363233383631333133383635363636353335333133383634333433363636363633323332363233343633363136313337333636343330333033323332363533333338363333333634333433313634333933393632363436333632363636363336333236353338363133393636363633363331363533393636333133373333363133383331333736363636363233383331363533373332333333363632333436333338333433363635333633313635363133353632333233383332333033323636363533323632333933363334333933333337363533303633333936353336363633363333333436313332333433333333363133353333333436323633363533373337333636353636363433363337333133323635333036363632363233363339363436363334363533383335333336313333363133383631333133353335333436353336333636353334363133393635333136353336333233343334333433343631333933393633363333363632333133383332333036343335333933333330333533393635333133313331363333353332363236313332363436333635363136343336333833313333333133383631333236333631363333323330363233333334363433333335363233393333333633393631333436363633333533333335363233383631333736333635333933323631363333363332333633373631363433333635333333303336333133393338333933333334333036323632363333353331333533333331333933353335363133323636333933383634333233373332333536343335363333323339363436313334363133343337333136353337363636363337333236343330333933363633333833353336363336343337333836353636333536313339333133373332333936363633333336353636333433363634333436343636333136363334363536333330333533373331363636323634333833363334363333323631363233313334363236353336333836313631363333353339333836343332333833353635363533333330333133303333363133303331363533313333333536343631333436353338363333303331363533383632333436353339333533333633333933323634333633323334363236323338333536313338333733383339363233383334363436343634333236353634333236343633333333373330333333393336363636343331333536313336333433313335363236343635363633333635363633333634363336363631333136363330333533323337363536333632363136353634363536353338333236333636363433383331333233303334363133323337333236353631333533383333363133363335333536333339363636323337333533303332363236363339363136343332363433333632363236333339363633313333333633373634333833333636333136323338363136353330333033383333333336353339333033363336363433393336363433383634333633323335333533363634363536363636363233383634333133303337363233303631363233303632333636323338333933353635333336323338333833303634363136313337333836353333363433383634333136313335363436363632363533323336333233343339333233303331333733333339333733303339333833373330333636363338333033313634333536323336333336313335333833363635333833353339363133363333333633343333363133383631333433303635333433353334363636333338333036333333333636353631333936363336333036353633363533373633333936333334363333353636363133363635333436353334333436323636333333333332333033383337333633323633363436343636363133343636333236313339333733353634363333323632333233353336333233333330363333363337333233333634363333393339363433353332333236313339333433353634333633313338363636323632363333383333363133323634333033383635333033363631333733333635333633353338333236323338363636353330333733323330333633393336333833303334363633323632333633323335333836313631363233363631363433303633363436363333363533333339333236353635333333383335333736313635333736333631363433373330333533393339363236363332333836323338333936333333363233313333363636313632363336323635333036343336363333313331363133393338333433343339363533393332363333393634363633333336333036333330333233393631333333323331363433353338333933363632333833333335363633303634333333383634363436343331333533323332333936313339363336313333333833303330333036313631333433383338363633303337333633353633333936363330363133303634363236343332333333323635333933363335363333343634363336333631333333343338363433333338363533333330333733333338333933333631333736353633333336363336333433333635333133323339333236323333363136323631333333323634333733373336333833343334333133303636333433383339333733323339333736323635333333313635333433353335363333313634333933313331363533393334363436353631333433393338363633343633333933393632333336353337363633373334363436313633333636313631363233363633333036353633333133313635363436363632363536363336333536363336333933363334333233323338333436313338333133303635363433313636363333303333363433353338333436363333333836323631333133333336363536323338333533343332363333393632333433343631333133303337363133313337363533343335333033303631363536353632333133323338333533393633333033393336333433353331363233393333333236313337333036363632333733313339363433393631333433313332333733323635333036323332333333353633363333343636363533373333363333333335333333393635333536353631333633383636333133363334333633363335333833323337333336323635333833363330333636343334333533313339333833353636333136313336363436353339333636333334363233313338333233323331333736343634363233313636363433363331363333323635333533353635333233313339363336343338333536353337333633313334333133373336363236313331333633373634333533383337363633373633363333363334363233353636333033363333333433383332363133343335363633323634363236333338363236323333333533383336333533343332333433323634363436323632333233313636333833373336333936313338333136313339363233303636333036343636363433323633363233333338333933363334333036323332363636363332363236363334333233313331333036353334363236343338333733303635363433383633333733383333333036333635333933313633333233333635363133303334333933333339363436333336363133383636363433313330363233303634333733373338363533363632363536353335333136323634333236333333333036353339363233383335363333363331333133393631363436333636363236333339363633373636333436343338333336343335333536353338333733383331363333383336363633373631363633383333363236313330333136363336333933343335333036353336363136353338363633303634333233333635333233353632333036353636333336343339363336313636363633373633363633303339363536353332333536323338363333333632333136353636333733303631363336313338363333393331333733323333333036343339333336333634363133333634363536313332333433313334333936343631363536333634363433303631333933303330363233303635363333323332333133373631333436363339363333323631333433373635363236313635363133323631333933393336363536323330333636333338333333363636363533333333333636313338333636313636333836363634333633313337333233333337363233383337333436313631363433323635363333363336333336363336333236353635363533393632333436333332333933343338363436343634333033373331363536313339363133343333333733393632363136363335333636333339333536363334333936363332363633313633363633323333333136323635333036343333363533333332363136363634363636353330333433323634363436313337333333343339363633323331333236353333363236313339363433353331363636353337333233373636363536333338363536333631333333323332363236323335363136353332363133343633333933313330333436353333333033333635333833323337333136343633333333383339333833373337333836323331363633313335333133313634333033363634333333373339333333363332363536363330363136363339363233353333363433363336363533343331333536323634333336323339333733353333363133353633363136323331333136323337333033343336333933343335333436353330363333363636363436333339333833393633333633373636333133383331363133363636363633393337333636343331333736333331333933333636363633353333363636333336333933333330333633373337333533393332363136313336363136353333363633353330363133393332333733303632363433363636333833343334333833383335363333363635363233393636363236333330333633393635363433353333333736343335363433373635333533323333363436323335333633313332333933303331363233373635333833363339333933373338333933333333333236363631333936363338363236353331363436313336333133353331363633333633333733333632333636323336363136353335333636353338333336333331333233333339363436353339333733383338333633313631333733333633363636343636333236343333333233363338363633303633333633333335333333393334333133383330333333323633333033353631333233373632363233393633363233303636333233323331333836333635333936343335333233323338363433373333333933353632333136353331333736343332363433303337333833333334333233393333333336343336363233393634333636343330363236323337363533393330333636353336363633323330333533333333363333333330333333393632333236313632333133353635333733313632363436353632333636323635333136333632333033363330363233353333333236343632333836323635363436363632333733323336363236363339333433393336333336363631333036343338333736313635333236313339333233323636363233323334333133393334363633323635333236333332333733353633363133363336333933323333333636343636363133383631363133373634363233343338333333373335363133303335363136333333333733363632333436363339363433333330363533383632333033313336333936343636363436353332333733353631363636353339363533383332363133323634333233353631363133343334363633353333333533343333363433323338333736353631333933333633333233323335333533373635363133303633363536333333333733313636363333313330333836323337363436353339363536323333363633393335333933383634363533363331333133393635333436343635333833313333363633323337333236333334333836353631333936353332363233353332333636313635333633353633363133333336363233313330333536323336333433393339363433373633363236323635363233313339333036353631363133343636363433373636333433393635363636343332363533313330363636323634333936313636333433303330363633373335333933313337333533363335333736323634333333303336333833363330363133333339333633303331363133323635333733333331363533393634333636333330333633373631333836313632363333323634333233333634333336313634333933353636333736313330333133383632333533343633363233363631333236323632363136353631363533323636333133373338333333373636333136363337333136363633363236343633333936333632333233393334333036313331363133343331333533313336333636333632333136323339333836343338363633303332333236313631333433343631333533323332363333353337333733393334333433343334333333383332333833373334333833353339333533383330333733333331363636323634363136343633363233333331333836313633363336333335363333303636333933393336333536353634333633313333333036323636333936333334363533393338363133303636333033363636363536333336333736313633363433363334333536323339363136313334333036363334333536353635333733323330333033323339333533313330333133333635333833343337333633343330333733333337363436353633333433373634333536363634333636343631333733323332333536343634333633343636333436323330333233393332363436313633333033393331363433333635333536333332333033343635333436343337363336343339333633377D, got 6C6F61642D3142353D32653665663133363261666366333530663432346639383331386164613033366665663962326433363964656536356261616632343530613330653333373832636636633234663965383165376235353836373665396236373639393437323934333935336264336331386237353762323762326630393534373966666666646534303438633536626638366134316564306264376431646664316338333863343830383162346663356463623030363866313561373032323433396366303866343633643136613230393136393964653535353936663866633061623936336634363936626439376134353463383131396638313933323565356335613031373566366332643830343161343738333964616330313861313138303435373337643938343835343762653163376563363838663761333636623265656163643264636361316435656362633263616561623135333830616163643637636139633430646164643130623632343538623230643765653561626639343935653233663239373932373164386436653638313264323330663163316435313066396633613161306561633135316164646335363539626162396134663164373736383338663032373464616536316333643561336561633038313931393132666535616465623230353033356636373738333035316266393462636261663336326230363632623637613266386465633637383738633934636665666661633735313932666238346438663436396134363962316638346664666339386536373230316537323964326433383231636234346537353564353063373763653865616232396138333535613165643232643061396338343466333535376334393734613831636534666563626563613132306165373664313632313162363139343366323466363137316261663664653132626538636336383064376439373363353331633137653136383238613438633835646363303537323333633836373063666461633863663063323266373034373662653464366666646662313230656564333632353435613864343738643030303264353432613965316434313561373461386439376237326134306132323337613732346138643661396665626261323034373637663233623736643962343939343035666130386264656163346636313839326439373236346563393739616433343362626264336264643037626665666465663132306232383239623561316132393336633230323064633732666330366138386633396137363637626438636231313966623839343466383931653963303264633263393930386634326234653265303836343431396530363131366332656633366163626664663461643933323964613439326533663232343864393766393433333364356232356531333164653032323763643465623838613530366663666666633765373664336663303666396635666662386437636538336332396234363231353535343130383834353839326535376564313661303462356662633363346239396636323332636233623864346137396365343766313033613833393439393932303861303530383234383435396638633938333330343533633762323564323538313636616561666137363865626339323335633031346238383833383932653739313730396439653066393835383933316331356433656166653130636161383738363965643835386334623261396535393339383733313261393934356661613332623232363162303738363064313236343039343139326261363834653238366531653965653336363361363639356435336331636566323134633166396661613662363434323963626134326664373538306335333632363438353463326533356364643832306438343935336337306130323633363365643736313934316135303664343631633437303162393062633765663933303431306332313166373531643130383934336365353535366134653262356130393665316362333163363162636561326362313836303137623531313766646362396436343834393163323863313761653366313065666466353537653635343732396533333764393837633265323436363562653930316461633262663630363862613166653733343762653033396532303864663538333139326435653739366232356137663737386162346331656562643835633238336534613334346366343563383930313531323430303564343638633433383633393561613465616664306131356538643233333763613530623136353635393037613636626535616138646465643039663666366138366333313433653062326338393766616134656333313765303834653363643832636463313537653130346336356364326532623664636233613665616662656661363434376465366365653934613737386531333930376535633361623034396662346163346237383037313532313134613137346137363365646535616130326539633364633839653334366534393430326433613065353066303131313364633136643465663436346431646537643432643432636266623234636133336233373737656136626638626336666263306332373135333162653464613733343564353134363862383839373533393861656637346462346463653633626561623933366566373636616266336461333439396365643966306237353639323565626539643961623936363233346634623132363539386532393562316266333563333966636663666337356133363431393462613837356139393865313636366264306438373333333438383136353638386565653965366339366330396133633162336565666362386134346664353136383965383563663862326132643537373832333561383638333533326639663536366664643465636163396162343738613137343631383264653035663430663466306236383563633539623061333839636137356630336439363331653461363934313530636631626165303639323332636432343437666431323036393465333532396162323164336235316534336439623435323033666539313961306136306332666461326331326331366664613163316436666532396434653765393937323163333439666439346131316362326630383338306131383937303734353034633861633337653365313339613235383939626436356533383666636264356234353338366363326634396666343039323838386266376637333565613161643564343132363235356637663534646338613039373163663938613133663135316437353063663461323362613932306363663837326637343764363231323437646237326137626538326266313131376534333736333937363732396462613537366461333662353437373233623939383231333434303239303539303963336432333565616337353732363766343739613534366131383834623333303432656133333736306463393637396561343764356163313239323865613036373164316235303335376166386262653864626334303036363737333766383038333734303139623366663664633336616236613861656461353731333939643662643330323233326461616238363233653034373235666461666333383234643061663937366363343433326235633562383461653338346534633030363538386231316633326663623432656532316232383530316139373232613661373261646538323562383435646635666435653461306139303732646265366134306436636166636137373335663938343932366362376263303730613536616636343233373730356266376433666665383334663961333039386164646639306563626662303766623737306331613763376436316632656531613163383038333864353361333935356466336336336462656661396534663161393332393766316364613033326332663039373335643263643233356534646235376435633134613531343034646564353031626264646163666436393231643034636132623933656632643266636330643465636231663265326533623963343939353232326561613662373634633731656161666365363765373861376235663666333439656364633064666333613034373862376333353634393632383362346630336461633636636466356535323734316537613664343063373834323734373265353333373035343533656437393662353935363532306663306233623662613834386538343832323132623839363162636234366334383731306266363564313433343934663831316566653237666134333362383661356266336631623834636432636430313536316430633532346437326636323166663261363761383734646430313939333239613466663663356131643862613338653039326331613761353634373564623865613434653035633730336663323632333161376533343265356438396535393835336361376566313733656563623536353436376465653364346530393561353934333837323536346263353337303332633466313834646262353033366366326666653132646335333366633133343236353030363135623333326461653334363232626533343439376631333763393138653932333566333232643032373939383133393136646263643565623734316165656463343364666463643561336438656135386235386234383638646531656663656566393739666362303064356661326630313463356437626335343933313438353964386131316630626130326534353461656436656564303036323564633265636161623461626163323739623039626234353163323330373135373533383961333331373662313566623736656330613062376539643464363066373732376637643031313465346162656638313235323933663763316138653130303465306361393362363461363363613133383531613864336636343039376166376562383366336634666337636638363434363932643433313236373063343339373333653436346137366164323766306633313564326630653933613566636136363065383136323738656537333731613365636533313263353766326638303633383864613136386630653537386239633161373536613831633538373365613335653735353866366232323436303431663865363337366438333435346464326661393834653634623131346235316362336561663062376133613033363738643930343066313461633663336634383936383935646439616236646533366533303237386633373035633938316334646134373035333164356231393336636534613739613134626235383963376439323032343933386332313339306338663038313263343262333939616365663839313862396134373638653463663230343430386336323462356661373235666261386262666630343165343636376563323236353461633664356261616234313432316165643230353631383039613136373634383438613734
goroutine 23383 [running]:
github.com/tendermint/tendermint/mempool.(*CListMempool).resCbRecheck(0xc0001b0410, 0xc0035aa510, 0xc0017be860)
github.com/tendermint/tendermint/mempool/clist_mempool.go:460 +0x5df
github.com/tendermint/tendermint/mempool.(*CListMempool).globalCb(0xc0001b0410, 0xc0035aa510, 0xc0017be860)
github.com/tendermint/tendermint/mempool/clist_mempool.go:309 +0x7a
github.com/tendermint/tendermint/abci/client.(*grpcClient).finishAsyncCall.func1(0xc000d0c1b0, 0xc003aad2f0, 0xc0017be860)
github.com/tendermint/tendermint/abci/client/grpc_client.go:277 +0xd0
created by github.com/tendermint/tendermint/abci/client.(*grpcClient).finishAsyncCall
github.com/tendermint/tendermint/abci/client/grpc_client.go:271 +0x105
This only appears to happen when modifying the code to use BroadcastTxSync instead of BroadcastTxCommit, probably because this increases the tx throughput. The network runs with about 100-500 tx/s while this happens.