교차 엔트로피 알고리즘 및 기존 알고리즘

CSDN

현재. 컴퓨터 비전에서 성능이 가장 좋은 목표 감지 방법에는 1 단계 및 2 단계 방법의 두 가지가 있습니다. 두 단계법은 두 단계로 나뉜다. 첫 번째 단계는 후보 영역 생성 단계이며 선택적 검색 및 가장자리 상자와 같은 방법으로 비교적 적은 수의 후보 대상 감지 프레임을 생성할 수 있습니다. 두 번째 단계는 분류 및 회귀 단계로, 1 단계에서 생성된 후보 권장사항을 분류하고 회귀하는 것입니다. 1 단계 대표 방법은 R-CNN, f.A.S.T. R-CNN, f.A.S.T. R-CNN 등 R-CNN 시리즈입니다. 1 단계 법은 대량의 결혼식 제안을 직접 분류하여 컴백한다.

두 방법 모두 범주 불균형 문제가 있습니다. 2 단계 방법은 첫 번째 단계를 통해 동등한 후보 영역을 더 작은 범위로 좁히고, 두 번째 단계에서는 몇 가지 휴리스틱 원칙을 통해 양수 및 음수 샘플의 비율을 어느 정도 낮춥니다. 그러나 한 번에 후보 프레임을 줄이는 것이 한 단계도 없는 것보다 낫기 때문에 후보 영역의 수가 2 단계보다 훨씬 많습니다. 따라서 2 단계 방법은 정확도는 여전히 1 단계 방법보다 우수하지만 속도와 모델 복잡성은 이전 단계에서 우세합니다.

범주 불균형으로 인해 탐지기가 후보 위치를 평가하게 되지만 일반적으로 소수의 위치에만 대상이 있어 두 가지 문제가 발생합니다.

따라서 샘플 불균형 문제를 해결하는 것은 목표 탐지의 정확도를 높이는 핵심 기술 중 하나입니다.

논문 제목: 온라인 하드 샘플을 사용하여 영역 기반 개체 탐지기를 교육합니다.

OHEM 은 하드 샘플 마이닝 방법을 개선하여 온라인 학습 알고리즘, 특히 SGD 기반 신경망 방법을 사용합니다. 하드 샘플 마이닝은 현재 샘플 세트를 사용하여 교육 모델을 번갈아 가며 모델을 복구하고 위양성 샘플을 선택하여 다음 모델 교육을 위한 샘플 세트를 재구성합니다. 하지만 신경 네트워크 기술을 훈련시키는 것은 시간이 많이 걸리는 작업이기 때문에 훈련에서 모델을 고정하면 모델의 훈련 과정이 크게 줄어듭니다.

하드 케이스 마이닝은 일반적으로 두 가지 방법이 있습니다.

OHEM 알고리즘의 일반적인 프로세스는 먼저 각 ROI 의 손실을 계산한 다음 각 ROI 를 손실에서 낮음으로 정렬한 다음 각 그림에 대해 가장 손실이 높은 ROI 를 하드 케이스로 선택하는 것입니다. 여기서 B 는 총 ROI 수와 배치 크기를 나타냅니다. 빠른 R-CNN 에서 N=2, B= 128 이면 효과가 매우 좋습니다.

그러나 손실에 따라 모든 ROI 를 직접 선택하면 단점이 있다. 많은 ROI 가 있기 때문에 많은 ROI 의 위치는 관련이 있고 겹칩니다. 높은 손실과 매우 겹치는 다른 ROI 가 많은 경우 일반적으로 이러한 ROI 의 많은 손실이 있으므로 이러한 샘플이 선택되지만 거의 동일하게 간주될 수 있습니다. 이렇게 하면 다른 손실이 낮은 ROI 에 더 적은 선택이 주어지므로 중복이 발생할 수 있습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), 손실명언) 이러한 중복을 제거하기 위해 작성자는 NMS (비최대값 억제) 를 사용하여 부분 중복도가 높은 ROI 를 삭제하고 위에서 설명한 방법으로 하드 인스턴스를 선택할 것을 제안했습니다.

구현 기술:

이 문서에서는 저자가 이 방법을 현재 Fsat R-CNN 대상 감지 방법에 적용합니다. 가장 쉬운 방법은 손실 함수 계층을 변경하는 것입니다. 손실 함수 계층은 먼저 관심 영역의 손실을 계산한 다음 손실에 따라 관심 영역을 정렬하고 하드 관심 영역을 선택하여 관심 없는 영역의 손실을 0 으로 만듭니다. 이 방법은 간단하지만 역전파를 위해 모든 ROI 에 메모리 공간을 할당해야 하기 때문에 비효율적입니다.

이 단점을 극복하기 위해 저자는 아래 그림 2 와 같이 아래 그림 1 을 개선했습니다. 이러한 개선은 동일한 RoI 네트워크의 사본 두 개를 사용합니다. 그 중 하나는 readonly 입니다. 즉, 순방향 계산만 수행하고 역방향 전파는 최적화하지 않으므로 순방향 전파에 메모리만 할당하면 됩니다. 그 매개변수는 그 RoI 네트워크 (실시간 정규 RoI 네트워크) 와 동일하게 유지됩니다. 각 반복에서 읽기 전용 RoI 네트워크를 사용하여 각 ROI 의 손실을 계산한 다음 위에서 설명한 하드 ROI 선택 방법을 사용하여 하드 ROI 를 선택합니다. 그런 다음 규칙 RoI 네트워크를 사용하여 선택한 하드 RoI 를 앞뒤로 계산하여 네트워크를 최적화합니다.

이 기사의 항목: 집중적 인 표적 탐지에서의 초점 손실.

논문 수정에서 저자는 샘플 범주의 불균형이 어려움과 어려운 샘플의 불균형으로 귀결되어 교차 엔트로피 손실 함수를 변경하고 샘플에 다른 가중치를 부여할 수 있다고 생각한다. 이전 모델에서는 이러한 샘플도 마찬가지로 중요하므로 모델 교육이 하드 예제에 더 많은 관심을 기울일 수 있습니다.

먼저 교차 엔트로피의 공식을 소개합니다.

그 중에서도 실제 범주와 우리가 예측할 확률을 나타냅니다. 편의상 다음과 같이 정의했습니다.

따라서 방법이 크면 손실은 다음 그림과 같이 작은 규모입니다. 쉽게 분류할 수 있는 샘플이 많기 때문에 추가하면 양수 샘플의 손실이 잠길 수 있습니다. (데이비드 아셀, Northern Exposure (미국 TV 드라마), Northern Exposure (미국 TV 드라마), 예술명언

클래스 불균형을 해결하는 일반적인 방법은 양수 샘플의 가중치와 음수 샘플의 가중치를 나타내는 가중치 계수를 도입하는 것입니다. 정의 방법에 따라 as 를 재정의하고 다음과 같이 정의했습니다.

양수와 음수의 중요성은 균형을 이룰 수 있지만, 쉬운 샘플과 어려운 샘플을 구분할 수는 없다. 초점 손실은 교차 손실을 통해 단순/어려운 샘플을 구분하는 목적을 달성합니다.

위 그림은 서로 다른 값에 해당하는 손실을 보여 줍니다. 위의 공식을 분석하여 샘플이 매우 작을 때, 즉 샘플이 잘못 분류되어 1 에 가까울 때 손실은 거의 영향을 받지 않는다는 것을 알게 되었습니다. 1 에 가까우면 샘플이 정확하게 분류되고 0 에 가까우면 샘플의 가중치가 낮아집니다. 예를 들어 샘플 손실은 65430 으로 줄어든다.

실제 응용에서 저자는 초점 손실의 변형을 사용합니다. 즉, 균형 요소를 추가합니다.

저자는 이진 분류의 경우 일반 모델의 모델 초기화가 양수 및 음수 샘플을 동일한 확률로 처리하고 음수 샘플의 손실은 범주의 불균형으로 인해 지배적이라고 지적했다. 저자는' 선험적' 개념을 제시하여 훈련 초기 정샘플 확률을 추정하고 이를 사용하여 정샘플의 출력 확률이 낮다는 것을 나타낸다 (예: 0.0 1). 모형을 정샘플에 더욱 집중할 수 있게 한다. 실제로 분류에 사용된 마지막 컨볼 루션 레이어가 지정되고, 다른 컨볼 루션 레이어의 매개변수는 bias 로 초기화되고, 실험의 마지막 레이어는 0.0 1 으로 설정됩니다.

두 가지 구현 세부 사항

논문 제목: 그라디언트 조화로운 단일 단계 검출기

이 논문은 초점 손실에 두 가지 단점이 있다고 제안했다.

이 글에서는 이 글의 핵심 사상을 개괄적으로 설명한다. 범주의 불균형은 난처함, 어려운 샘플의 불균형, 어렵고 어려운 샘플의 불균형은 그라데이션의 불균형으로 귀결될 수 있다. 원어는 다음과 같다.

다음 그림과 같이 나타납니다.

왼쪽에는 그라데이션에 대한 샘플 수의 분포가 있고, 가운데에는 원본 그라데이션을 기준으로 수정된 각 함수 (로그 스케일 사용) 의 그라데이션이 있으며, 오른쪽에는 모든 샘플 세트의 그라데이션 기여도 분포가 있습니다.

정의가 sigmoid 이전 모델의 출력인 경우 손실 함수 쌍의 그라데이션은 다음과 같습니다.

그라데이션의 모듈 길이 (표준) 를 다음과 같이 정의합니다.

훈련 샘플의 기울기 밀도는 다음과 같이 정의됩니다.

그 중 k 번째 샘플의 그라데이션 표준입니다.

이 공식은 그라데이션을 중심으로 폭이 있는 영역 내의 샘플 밀도로 해석될 수 있습니다.

그라데이션 밀도 조정 매개변수:

분모는 표준화된 그라데이션이 범위 내에 있는 몇 가지 샘플입니다. 모든 샘플의 그라데이션이 시간에 균등하게 분산되면 모두 거기에 있습니다.

그라데이션 밀도 조정 매개변수를 통해 GHM 을 손실 함수에 포함시키면 GHM-C 손실은 다음과 같습니다.

1 1 공식을 계산할 때 및 n 이 있으면 다시 계산할 때 모든 샘플을 트래버스하므로 공식의 시간 복잡성은 다음과 같습니다. 병렬화하는 경우 각 계산 단위에도 N 의 계산량이 있습니다. 그라데이션 표준을 정렬하는 가장 좋은 알고리즘의 복잡성은 다음과 같습니다. 그런 다음 대기열 스캔 샘플을 사용하여 그라데이션 밀도를 얻는 시간 복잡성은 N 입니다. 정렬 기반 방법은 병렬로 계산해도 빠르게 계산할 수 없습니다. 왜냐하면 N 은 종종 짝수이기 때문입니다. 시간이 많이 걸리기 때문입니다.

저자가 제안한 근사 솔루션은 다음과 같습니다.

위의 정의에 따르면 근사 기울기 밀도 함수는 다음과 같습니다.

위의 공식을 사용하면 미리 찾을 수 있기 때문에 요약할 때 조사만 하면 되므로 시간 복잡성은 다음과 같습니다.

손실 계산은 그라데이션 밀도 함수를 기반으로 하고 그라데이션 밀도 함수는 배치 내의 데이터를 기반으로 하기 때문에 통계 결과 배치에 소음이 있습니다. 대량 정규화와 마찬가지로 작성자는 표현식 이동 평균을 사용하여 이 문제를 해결합니다.

모형 물고기의 포검거리는 실제 포검거리는 로 정의되며 회귀 손실은 부드러운 L 1 손실을 사용합니다.

안에 ...

그래디언트는 대략 다음과 같습니다.

공식에서 볼 수 있듯이 샘플을 계산할 때 모든 샘플에는 동일한 그라데이션 1 이 있으므로 그라데이션 표준에 따라 다른 샘플을 구분할 수 없습니다. 간단한 대체 방법을 측정으로 직접 사용하지만, 가치 이론은 무한해서 실현할 수 없다.

GHM 을 회귀 손실에 적용하기 위해 저자는 원래 손실 함수를 수정했습니다.

이 함수의 합에도 비슷한 성질이 있다. D 의 절대값이 작으면 L2 손실과 비슷하고 D 의 절대값이 크면 L 1 손실과 유사합니다. D 의 그라데이션은 다음과 같습니다.

이렇게 하면 그라데이션 값이 로 제한됩니다

정의, 그럼 GHM-R 손실은 다음과 같습니다.

주제: 객체 탐지의 주요 샘플주의

PISA 방법은 초점 손실 및 GHM 과 다릅니다. 초점 손실과 GHM 은 손실을 사용하여 샘플의 난이도를 측정하고, 이 글의 저자는 mAP 방법을 사용하여 샘플의 난이도를 측정한다.

저자는 논문을 수정하는 방법을 제시하여 두 가지 측면을 고려한다.

주요 샘플은 테스트 성능에 큰 영향을 미치는 샘플입니다. 저자의 연구에 따르면 샘플의 중요성은 지상 진실의 IoU 값에 달려 있어 저자는 IOU-HLR 순위를 제시했다.

표적 검사에서 진양성 샘플을 어떻게 정의합니까?

나머지는 음성 샘플로 표시되어 있습니다.

맵의 원리는 대상 탐지기에 더 중요한 두 가지 기준을 보여 줍니다.

위의 분석을 바탕으로 저자는 IoU-HLR 이라는 정렬 방법을 제시했는데, 이는 각 지면의 실제 목표를 중심으로 로컬 IoU 관계와 글로벌 IoU 관계 (전체 이미지 또는 소량의 이미지 포함) 를 모두 반영합니다. 흥미롭게도, 회귀 전 포위 상자 좌표와는 달리 IoU-HLR 은 샘플의 최종 위치 위치를 기준으로 계산됩니다. 이는 맵이 회귀 후 샘플 위치를 기준으로 계산되기 때문입니다.

이 정렬 방법의 일반적인 플로우는 다음 그림과 같으며 원리는 다음과 같습니다.

IoU-HLR 은 위의 두 가지 기준을 따릅니다. 먼저 로컬 정렬을 통해 각 개별 GT 의 해당 샘플에서 IoU 가 높은 샘플을 먼저 배치한 다음 (위의 2 단계), 재샘플링 및 정렬을 통해 서로 다른 GT 의 해당 샘플에서 IoU 가 높은 샘플을 먼저 배치합니다 (3 단계와 4 단계).

저자는 간단하고 효과적인 샘플링 전략&소샘플 주의를 제시하여 소샘플에 더 많은 주의를 집중시켰다. PISA 는 중요도에 따른 샘플 재가중치 (ISR) 와 분류 인식 회귀 손실 (CARL) 의 두 부분으로 구성됩니다.

PISA 의 훈련 과정은 모든 샘플을 동등하게 대하는 것이 아니라 양질의 샘플에 기반을 두고 있다.

저자는 소프트 샘플링을 기반으로 하는 방법을 제시했습니다. 즉, 중요도에 따른 샘플 재가중치 (ISR) 는 샘플의 중요도에 따라 다른 가중치를 부여합니다. 먼저 Iou-HLR 정렬을 선형 매핑의 실제 값으로 변환합니다. IoU-HLR 은 각 클래스에서 별도로 계산됩니다. 클래스의 경우 IoU-HLR 로 표시되는 총 * * * 개의 샘플이 있다고 가정합니다. 여기서 선형 변환 함수를 사용하여 샘플을 로 변환합니다. 이는 클래스의 첫 번째 샘플의 중요성을 나타냅니다.

베이징의 첫 번째 부분은 지수 함수 형태로 샘플의 중요성을 손실의 가중치로 변환합니다. 이는 중요한 샘플의 정도 요소를 우선적으로 고려하고 최소 샘플 가중치의 편차를 결정하는 것을 의미합니다 (최소 가중치를 결정하는 변수인 것 같음).

위에서 얻은 가중치 값을 기준으로 교차 엔트로피를 다시 작성합니다.

여기서 n 과 m 은 각각 실제 샘플과 음수 샘플의 수를 나타내고, 각각 예측 점수와 분류 목표를 나타내며, 단순히 손실 가중치를 추가하면 손실 값이 변경되고, 양수 및 음수 샘플의 비율도 변경되므로 양수 샘플의 총 손실 값을 그대로 유지하기 위해 저자는 이를 다음과 같이 정규화합니다

"여기 이해가 안 돼, 의혹을 풀어줘"

5.3. 1 은 분류자를 염색하여 소수 샘플을 아는 방법을 소개했습니다. 그러면 회귀를 통해 소수 샘플을 알 수 있습니다. 저자는 분류 인식 회귀 손실 (Carl) 을 제시하여 분류기를 공동으로 최적화하고 두 가지로 복귀했다. 칼은 다른 샘플의 점수를 억제하면서 주 샘플의 점수를 높일 수 있다. 회귀의 품질은 샘플의 중요성을 결정하며, 우리는 분류기가 중요한 샘플에 더 높은 점수를 출력할 것으로 기대한다. 이 두 분기의 최적화는 독립적이지 않고 상호 연관되어 있어야 합니다.

저자의 방법은 회귀자에게 분류자의 점수를 알려 회귀자에서 단계로 확산될 수 있도록 하는 것이다. 공식은 다음과 같습니다.

해당 범주에 대한 예측 점수 및 출력의 회귀 간격띄우기를 나타냅니다. 지수 함수를 로 변환한 다음 모든 샘플의 평균을 기준으로 변환합니다. 손실 척도를 그대로 유지하기 위해 분류 인식이 있는 것을 정규화한다. 일반적으로 부드러운 L 1 손실이 사용됩니다.

그라데이션은 원래 회귀 손실에 비례합니다. P _ I \ mathcal {l} (d _ I, \ hat d _ i) \ mathcal {l} (d _ I, \ hat d _ I)) 순위가 앞선 샘플의 회귀 손실이 낮기 때문에 분류 점수의 그라데이션이 작다고 대략적으로 판단할 수 있다. 칼의 경우 분류 분기는 회귀 손실에 의해 감독된다. 중요하지 않은 샘플의 점수는 크게 억제되고 중요한 샘플에 대한 관심도는 강화된다.

미완이 계속되다. 。 。

위의 방법은 크게 두 가지로 나눌 수 있습니다.

초점 손실은 양수 및 음수 샘플의 불균형이 본질적으로 어려운 샘플의 불균형 때문이라고 생각하기 때문에 훈련 과정은 교차 엔트로피를 수정하여 어려운 샘플에 더 많은 관심을 기울이고 있다. 초점 손실을 기초로 GHM 은 어려운 샘플의 불균형이 본질적으로 그라데이션 표준 분포의 불균형으로 인한 것임을 계속 연구하고 있다. 초점 손실과 가장 큰 차이점은 GHM 이 가장 어려운 샘플을 예외 샘플로 간주해야 한다고 판단해 탐지기가 예외 샘플을 강제로 맞추는 것은 훈련 과정에 도움이 되지 않는다는 점이다. 반면 PISA 는 샘플링 전략이 mAP 인덱스에서 출발해 IOU 계층 로컬 (IOU-HLR) 을 통해 샘플을 정렬하고 가중치를 재조정하여 리콜률과 정확도를 높여야 한다는 생각을 떨쳤다.