TCP 통계수치 변화 (장애 상황)

안녕하세요 쿤드입니다. 🍀

엔지니어로 밥먹어 먹고 살고 있는데

TCP를 제대로 아는것이 없어서 하나씩 이해해보려고 하는중에 있습니다.

실제로 사용하는것의 값은 없애고 factor중에서 변화폭이 컸던 것들 위주로 간추려서 정리를 해보겠습니다.

 

물론 네트웍 트래픽만 봐도 장애라는것을 인지할 수는 있습니다.

평소	장애

 

TCP 통계 지표를 24개만 모아서 보고 있는데 (1분마다 이전과 현재의 증가한 차이 값을 수집해서 추이를 봄)

그중에 10개만 추려보았고 

그 중에서 다시 추려보니 ActiveOpens, PassiveOpens 추이만 봐도 장애 예측은 가능하겠네요..

 

당시 앞단에 있던 nginx에서 발생했던 error log (에러 해결 관련 nginx 설정 링크) 

upstream sent invalid chunked response while reading upstream, 

 

빨간선: ActiveOpens

파란선: PassiveOpens

평소	장애

큰 폭으로 감소했던 지표들을 요약하면

• Nginx error 발생으로 신규 TCP 연결이 급격하게 감소 (나머지 지표는 그에 따른 영향으로 감소)

아... 그간 이 지표의 의미 해석을 미루고 미루고 미뤘는데 결과가 이렇게 허무하다니..

유입 고객이 늘어나서 터져나가는 장애를 겪어야 할텐데.. 코로나는 언제 지나가려나... 코로나가 간다고 손님이 늘긴하려나...

 

 

 

ActiveOpens

- TCP Client/Receiver (SYN을 보내고 SYN-SENT 상태가 된)

 

PassiveOpens

- TCP Server/Sender (SYN 받고 SYN-ACK 보내고 SYN-RCVD 상태가 된)

 

 

AttemptFails 

- TCP 연결이 SYN-SENT 상태 또는 SYN-RCVD 상태에서 CLOSED 상태로 곧 바로 전환된 횟수

- TCP 연결이 SYN-RCVD에서 LISTEN 상태로 바로 전환한 횟수

 

RetransSegs

- 재전송된 총 세그먼트 수(이전에 전송했던 하나 이상의 TCP 세그먼트를 포함하여 전송한 TCP 세그먼트 수)