기능 상세 보고

ADMET 벤치마크 — 물성 정확성 + 독성 예측력 검증

우리 ADMET 계층의 두 축을 문헌·참조도구로 검증한다. 할루시네이션 견제: 참조값은 검증된 도구(peptides 패키지)·문헌(출처 인용), 우리값은 실제 코드 실행(bench_admet_* 재현 가능). ⚠️ 우리 시스템은 흡수/분포/대사/배설(ADME) 실모델은 미통합이다. 따라서 벤치마크 대상 = (A) 물성 descriptor + (B) 용혈 독성(pepADMET HC50) 두 가지.

---

Part A — 물성 Descriptor 정확성 (vs peptides 참조도구)

벤치마크 17 펩타이드에 대해 우리 PharmaProperties 계산값을 검증된 peptides(v0.5.0) 패키지와 비교.

Descriptor	Pearson r	MAE	판정
GRAVY (Kyte-Doolittle)	1.0000	0.000	✅ 완전 일치
Instability Index	1.0000	0.000	✅ 완전 일치
Aliphatic Index	1.0000	0.000	✅ 완전 일치
pI (등전점)	0.9968	0.161	✅ 사실상 일치(pKa 셋 차이로 미세 오프셋)
Boman Index	0.9718	0.190	✅ 사실상 일치

결론: ADMET 물성 surrogate(Instability/GRAVY/Boman/pI/Aliphatic)는 계산 정확성이 검증됨(HIGH 신뢰). 이들은 예측이 아니라 결정론적 descriptor이므로 "맞고 틀림"이 아니라 "표준 공식과 일치하는가"의 문제이며, 일치한다.

---

Part B — 용혈 독성 예측 (pepADMET HC50 vs 측정값)

문헌 용혈 ground-truth 52종(용혈성 37 + 비용혈 13)(HemoPI/DBAASP/개별 논문, 출처 하단)에 pepADMET을 실행. 사이클릭 gramicidin S 유사체 2종은 선형 표기 불가로 제외 → 50종 평가(L32/D18).

데이터 확장 완료(52종, D-aa=19): 기존 26종(D-aa=4) 보존 + 신규 26종 추가. 상세 목록 = BENCH_admet_v2.md.

정량 결과

지표	값	비고
Spearman (측정 HC50 vs our hc50)	0.50	n=3 (수치 HC50 확보가 3건뿐) → 결론 불가
용혈/비용혈 분류 ROC-AUC (전체)	0.32	0.5 미만 = 역변별 (완화) — before: 0.193
용혈/비용혈 분류 ROC-AUC (L-aa)	0.146	n=32, 역변별 견고 — before: 0.167
용혈/비용혈 분류 ROC-AUC (D-aa)	0.677	n=18, 양의 변별 — before: 0.25(n=4 노이즈)

그룹별 our_hc50 (더 음수 = 우리 모델이 더 독성으로 예측)

실제 라벨	n	평균 our_hc50	범위
용혈성(toxic)	14	−106	[−293, −46]
비용혈(non-toxic)	10	−376	[−1004, −13]

→ 역전(L-aa 기준): 우리 모델은 비용혈 L-aa 펩타이드를 오히려 더 독성으로 예측한다.

역전 사례 (가장 독성으로 예측된 것들이 실제 비용혈)

펩타이드	실제	our_hc50	문제
LL-37	비용혈(임상 AMP)	−1004	가장 독성으로 오판
Cecropin A	비용혈	−823	오판
Dermaseptin S1	비용혈	−548	오판
Melittin	용혈(양성대조)	−293	✅ 맞음(가장 강함)
PGLa / Indolicidin	용혈	−110 / −91	약하게 예측(과소)

해석 (정직)

• 단일 양성대조(melittin)는 정확(−293, 가장 음수)하지만, L-aa 용혈/비용혈 AMP를 변별하지 못하고 오히려 역전(AUC 0.146).
• 원인 추정: pepADMET hc50가 양이온성·양친매성·서열 길이 같은 AMP 공통 특징에 반응 → LL-37·Cecropin처럼 길고 강한 양친매성 AMP(실제로는 선택적 비용혈)를 "독성"으로 과대 예측. 즉 "막활성 AMP 탐지기"에 가깝고 용혈 특이성은 약함.
• 이는 앞선 발견(pepADMET binary 비변별성 → 우리는 native 대비 상대 hc50 게이트만 사용)과 일관. 절대·범용 용혈 예측기로는 신뢰 불가.

L-aa vs D-aa 분리 (확장 완료, 52종 D=19)

그룹	n(용혈+비용혈)	용혈 분류 AUC	해석
L-aa	24 + 8	0.146 (n=32, 역변별 견고)	L-aa군 역전 양상 n=20→32에서도 유지·강화. 견고한 진짜 한계
D-aa	13 + 5	0.677 (n=18, 양의 변별)	이전 n=4 소표본 노이즈(AUC 0.25)에서 n=18로 확보 시 변별력 확인

• D-aa 그룹: n=18에서 AUC 0.677로 양의 변별 확인. 이전 0.25(n=4)는 과소표본 노이즈였음.
• L-aa 그룹: n=32에서도 AUC 0.146 — 역변별이 강화됨. 이는 단순 데이터 부족 문제가 아닌 구조적 한계.
• 결론: D-aa는 변별 가능, L-aa는 역변별 — 두 그룹의 양상이 정반대임을 확인.

Caveats

• 학습셋 중복 위험: DBAASP/HemoPI는 pepADMET 학습에 쓰였을 수 있어 일부는 독립 검증 아님(역전이 더 우려스러움).
• HC50 절대단위 미검증(상대비교 전용), 인큐베이션 조건(1h vs 18h)에 따라 측정 HC50 최대 7배 변동.
• 수치 HC50 확보 소수건 → Spearman은 참고용.

---

종합 결론

ADMET 구성	검증 결과	신뢰
물성 descriptor (Instability/GRAVY/Boman/pI/Aliphatic)	참조도구와 r≈1.0 일치	HIGH
용혈 독성(pepADMET HC50) — 양성대조	melittin 정확 식별	MED
용혈 독성 — L-aa 변별(독립 AMP, n=32)	AUC 0.146, 역변별 견고	LOW
용혈 독성 — D-aa 변별(독립 AMP, n=18)	AUC 0.677, 양의 변별 확인	MED
전체 AUC (L+D, n=50)	0.32 (역변별이나 완화)	LOW
ADME(흡수/분포/대사/배설)	미통합	—

한 줄: ADMET의 물성 계산은 정확하고, D-aa 용혈 변별은 n=18에서 AUC 0.677로 가능성이 있으나, L-aa 독성 예측은 AUC 0.146으로 견고한 역변별 한계가 확인된다 → 현재처럼 native 대비 상대 게이트로만 제한 사용해야 하며, 범용 독성 라벨로 써서는 안 된다. 개선: 용혈 특이 피처/독립 학습셋 재훈련(특히 L-aa), ADME 모델 통합, HC50 단위 확정.

출처

HemoPI(PMC4782144), Hemolytik(NAR 2014), pepADMET/HC50(Commun.Biol.2025 nature s42003-025-07615-w), Piscidin/Dermaseptin(PMC4014698), Mastoparan(PMC10611374), Gramicidin S(PMC1464084), Aurein(PMC6695355), 비독성 리뷰(PMC8953747), melittin(PMC10838977). 상세 = _analysis/BENCH_admet_literature.md. 물성 참조 = peptides v0.5.0. 확장 데이터(52종 web research 출처) = _analysis/BENCH_admet_v2.md.

생성/갱신: bench_admet_tox.py / descriptor 비교 실측 (2026-06-17). 52종 확장 완료 (2026-06-18). 재현 가능. 결과 파일: _analysis/BENCH_admet_v2_results.json.