기능 상세 보고

벤치마크 검증 — 문헌 실측값 vs 우리 파이프라인 예측 순위

목적: 온라인 공개 생명공학 문헌의 실측 펩타이드 데이터(serum t½·독성)를 ground-truth로 삼아, 우리 파이프라인 예측이 그 경향성(순위)을 얼마나 따라가는지 객관적 수치 + 정성 평가로 검증한다. 할루시네이션 견제: 문헌값은 전부 출처 URL 인용, 우리 예측은 bench_halflife_v2.py로 실제 코드 실행한 값이다(지어내지 않음).

🎯 핵심 결론 (두괄식)

• 권위값 = v2(39종 수집 / 32종 유효, L23·D9). 구 v1(17종)은 표본이 작아 폐기적 참조용.
• 반감기 서로게이트 순위상관(Spearman):
• 전체 raw = +0.396[순위 MED] → +metadata = +0.662[순위 MED]
• 변형 메타데이터를 주면 −방향 붕괴를 면하고 강한 양의 상관으로 회복.
• 단, raw(+0.40)와 meta(+0.66)는 동급 비교 아님: 변형 종류는 반감기의 지배적 인과 동인인데 코드가 이를 고정 배수로 주입(fatty_acid ×2800 등 step08_stability.py:115-121)하므로, meta는 "변형 클래스를 손으로 넣어준" 버킷팅 효과가 대부분 — 모델 예측 실력이 아니다. ⇒ 고유 실력 헤드라인 = raw(+0.40), meta는 변형이 설계 시점에 기지(旣知)인 실사용 조건에서만 유효한 조건부 지표(leak 아님). 운영상 같은-맥락 변이체 비교는 사실상 raw 수준에서 변별.
• v1(−0.30) → v2(+0.40): 표본 17→39 확장으로 raw가 음수→양수로 전환. ⇒ v1의 음수는 소표본 노이즈였음(정직 서술).
• 신뢰등급: 상대순위 [MED] / 절대값 [LOW]. 스크리닝은 순위 비교 전용 — 절대 t½(h)를 신뢰값으로 쓰지 말 것.
• 결합/선택성은 임의 펩타이드의 수용체 복합체 구조가 없어 도킹 불가 → 본 벤치마크에서 제외(정직).

신뢰등급 범례: [MED] 상대순위 비교 가능 / [LOW] 절대값 신뢰 불가(상대 비교 전용).

방법 (코드 실측 — bench_halflife_v2.py)

아래는 bench_halflife_v2.py를 직접 읽고 사실대로 기술한 흐름이다. - 입력 로드 (load()): BENCH_halflife_v2.md의 ``json 블록을 파싱(없으면BENCH_literature.md폴백). 비표준 잔기 포함·서열 결측 항목은_skip처리하여 제외 → **39종 수집 중 7종 스킵, 32종 유효**. - **raw 예측**:ensemble_halflife(seq).get("half_life_h")— 변형 정보 없이 **1-letter 서열만** 입력. 반환되는half_life_h는 앙상블 모듈의 휴리스틱 추정기 값(절대 스케일 신뢰)이며, RF 앙상블은stability_norm에만 반영됨. - **meta 예측**:predict_half_life(seq, mods)—mods에 변형 플래그(d_amino_acid·fatty_acid·cyclization·pegylation·substitution) 전달. - **그룹 분류** (grp):aa_type ∈ {D, MIXED}또는d_amino_acid변형 보유 시 **D 그룹**, 그 외 **L 그룹**. - **지표** (spearman): 문헌 t½ 순위 vs 예측 t½ 순위의 **Spearman 순위상관 ρ**(동순위 평균-rank 처리, n<3이면 None). ALL/L/D × raw/meta 6조합 산출. - 산출물:_analysis/BENCH_halflife_v2_results.json`.

📈 정량 결과 (v2 — 권위값, N=39 수집 / 32 유효)

초기 17종을 39종(유효 32종: L-aa 23 / D-aa 9, 7종은 비표준 잔기로 스킵)으로 확장하고 L/D를 분리 비교했다. 데이터 출처 = _analysis/BENCH_halflife_v2.md, 결과 = BENCH_halflife_v2_results.json.

raw vs +metadata × L vs D 분리 표

그룹	n	raw Spearman ρ	+metadata Spearman ρ	신뢰등급
전체	32	+0.396	+0.662	순위 [MED] · 절대값 [LOW]
L-aa (표준)	23	+0.128	+0.344	순위 [MED] · 절대값 [LOW]
D-aa 포함	9	+0.436 *	+0.277 *	순위 [LOW](n작음) · 절대값 [LOW]

* D 그룹 ρ는 신뢰 낮음: n=9로 작고 raw 값이 전부 바닥(0.02~0.06h)에 깔려(near-tied) 순위 ρ가 불안정. raw(+0.436)>meta(+0.277)인 역전도 이 불안정의 산물 — 순위 ρ 단독 판단 금물. 더 robust한 신호는 아래 자릿수 교정 패턴이다.

표본 확장: v1(−0.30) → v2(+0.40)의 정직 서술

버전	표본	유효 n	전체 raw ρ	전체 meta ρ	해석
구 v1	17종	16	−0.30	+0.76†	소표본 — 변형 펩타이드 몇 건이 순위를 끌어내려 음수
v2 (권위)	39종	32	+0.396	+0.662	표본 확장으로 양수 전환 — v1 음수는 노이즈로 확인

• 결론: v1의 −0.30은 소표본 노이즈다. 표본을 17→39로 늘리자 전체 raw 상관이 음수에서 양수(+0.40)로 전환됐다 ⇒ "raw로는 경향성을 못 잡는다"는 결론은 과장이었고, 실제로는 raw도 약한 양의 방향성을 가진다.
• † v1 meta(+0.76)는 표본·서브셋이 달라 v2 meta(+0.662)와 직접 비교 불가. 권위값은 v2(+0.662). (v1 추가실험 상세는 아래 보존.)

D-aa 펩타이드: raw는 전멸, metadata가 자릿수 교정 (robust 신호)

D-aa 펩타이드	문헌 t½(h)	raw 예측	+metadata	신뢰등급(절대값)
GHRP-6	0.42	0.020	0.607	[LOW]
Bivalirudin	0.42	0.034	1.178	[LOW]
Vapreotide	0.5	0.031	1.982	[LOW]
DOTATATE	0.5	0.040	2.515	[LOW]
Buserelin	1.25	0.040	1.417	[LOW]
Lanreotide	1.5	0.064	4.009	[LOW]
Octreotide	1.7	0.039	2.469	[LOW]
Triptorelin	2.8	0.035	1.240	[LOW]
Leuprolide	3.0	0.039	1.349	[LOW]

L vs D 핵심 비교: - L-aa: raw에서 이미 약한 양의 상관(+0.128)으로 "방향성"은 잡음 — 모델이 학습한 천연 펩타이드 도메인에 가까움. meta로 +0.344 상승. (대형 펩타이드 등 때문에 절대 정밀도는 제한.) - D-aa: raw는 전부 0.02~0.06h로 바닥(문헌 0.42~3.0h) — 서열로는 D를 못 봐 천연 단명으로 오판. metadata를 주면 0.6~4h로 자릿수 교정 → cross-group 순위의 −방향 붕괴를 면하고 전체 ρ +0.396→+0.662 상승. - 결론: L-aa는 정보 없이도 경향성을 잡고, D-aa는 변형 메타데이터를 줘야 자릿수가 맞는다. 단 D-aa 내부의 정밀 순위는 고정 배수의 거칠음으로 여전히 약함[LOW](개선: 잔기수 비례·위치 반영).

---

(참고·구 v1, 17종) 정성 분석 — 권위값은 위 v2

아래 §는 구 v1(17종) 기준 정성 서술이다. 정량 권위값은 위 v2(N=39)이며, v1의 −0.30은 소표본 노이즈로 확인됐다(위 표). 정성 패턴(단명 영역 정확·장수/변형 영역 과소예측)은 v2에서도 유지되므로 참고용으로 보존한다.

비교 테이블 (문헌 t½ 오름차순)

펩타이드	변형	문헌 t½(h)	우리 예측(h)	우리 hc50	추종?
Bradykinin	–	0.005	0.020	−21	✅ 단명 정확
GLP-1(7-37)	–	0.028	0.023	−486	✅
Somatostatin-14	–	0.050	0.042	−48	✅ (보정 기준점)
Oxytocin	–	0.050	0.110	−13	△ 약간 과대
Human Insulin	–	0.075	0.045	–	✅
Vasopressin	–	0.250	0.069	−17	△ 과소
Melittin	–	0.400	0.021	−293	❌ t½과소 / ✅독성정확
Bivalirudin	D-Phe	0.420	0.034	−151	❌ 과소
Octreotide	D-aa	1.67	0.039	−15	❌ 바닥
Octreotate	D-aa	1.67	0.040	−15	❌ 바닥
Lanreotide	비표준	2.00	0.040	−15	❌ 바닥
Exenatide	–	2.40	0.027	−881	❌ 과소
DOTATATE	D-aa	3.50	0.040	−15	❌ 바닥
Pasireotide	비표준	9.50	0.020	−13	❌ 바닥
Liraglutide	아실화	13.0	0.027	−415	❌ 변형 무시
Semaglutide	아실화	165	0.020	−474	❌ 변형 무시

정성 경향성 분석 — 어디서 잘 따라가고, 어디서 못 따라가나

✅ 잘 추종 (단명 영역, ≤0.1h): Bradykinin·GLP-1·SST-14·Insulin 의 순위를 거의 정확히 재현한다. 특히 SST-14(0.05h→0.042h)는 모델의 보정 기준점이라 정밀. 즉 "빠르게 분해되는 펩타이드"를 식별하는 능력은 신뢰할 만하다.

❌ 못 따라감 (장수·변형 영역): 문헌 t½ 1.7h 이상 펩타이드를 전부 ~0.02–0.04h로 바닥에 깔아 서로 구분하지 못한다. 핵심 원인 두 가지: 1. 변형 무시: D-아미노산(octreotide/DOTATATE)·아실화(semaglutide t½ 165h, liraglutide 13h)·고리화의 안정화 효과를 raw 서열 입력으로는 볼 수 없다 → 모두 천연 단명 펩타이드처럼 예측. 2. 장수 영역 동적 범위 부족: 비변형 exenatide(2.4h)·melittin(0.4h)조차 과소예측 → 상한 분해능 약함. 이 때문에 장수 변형 펩타이드들이 하단에 몰려 전체 순위가 역전(ρ−0.30)된다.

독성(HC50): 문헌값은 melittin(16.28 µg/mL, 강한 용혈)만 확보. 우리 hc50는 melittin −293으로 17종 중 가장 음수(=가장 독성) → 양성대조 정확 식별 ✅. 단 GLP-1(−486)·exenatide(−881)처럼 비용혈 펩타이드도 큰 음수라 hc50 절대값은 용혈 특이적이지 않음(단위 미검증·상대비교 전용 caveat와 일치).

🔬 (구 v1) 메타데이터를 제공하면? — D-aa/변형 경향성 회복 검증 (추가 실험)

⚠️ 아래 ρ(−0.30→+0.76)는 구 v1(17종) 서브셋 실험값이다. 권위 메타데이터 회복값은 v2 전체 +0.662(위). v1 수치는 표본이 작아 참고용으로만 본다.

앞의 음의 상관(ρ−0.30)은 변형 정보를 안 줬기 때문이라는 가설을, 각 펩타이드에 올바른 변형 플래그(D-aa→d_amino_acid, 아실화→fatty_acid; 고리화는 Cys쌍 자동감지)를 주고 predict_half_life를 재실행해 검증했다.

시나리오	전체(17) Spearman	변형 서브셋(8) Spearman
raw (메타데이터 無)	−0.30	−0.57 (전부 ~0.04h 바닥, 식별 불가)
with-metadata	+0.76	+0.57

→ 경향성이 음(−0.30)에서 강한 양(+0.76)으로 회복. 내부 curated 벤치(ρ≥0.86, 변형 정보 제공 셋)와 같은 결을 독립 데이터에서도 재현.

펩타이드	문헌 t½	raw	with-metadata	평가
Octreotide	1.67	0.039	1.37	✅ 거의 정확
Octreotate	1.67	0.040	1.40	✅
Lanreotide	2.0	0.040	1.40	✅ 근접
DOTATATE	3.5	0.040	1.40	△ 개선되나 과소
Pasireotide	9.5	0.020	0.61	❌ 여전히 과소(비표준 잔기)
Bivalirudin	0.42	0.034	1.18	❌ 과대(D-Phe 1개에 ×35 고정)
Liraglutide	13	0.027	76	△ 자릿수 맞음, 과대
Semaglutide	165	0.020	46	△ 자릿수 근접, 과소

해석: - D-aa 고리형 소마토스타틴 유사체(octreotide 계열)는 메타데이터만 주면 정밀 회복 (0.04h → 1.37h ≈ 문헌 1.67h). 즉 "공식의 부재"가 아니라 "입력 메타데이터의 부재"임이 정량 확정. - 남은 한계: 고정 배수(d_amino ×35)라 D-residue 개수 무시 → bivalirudin(1개) 과대. 아실화(×2800)는 자릿수는 맞지만 거칠어 liraglutide/semaglutide 상호 순위가 뒤집힘. pasireotide 등 비표준 잔기는 미반영. - 결론: D-aa 경향성은 메타데이터를 주면 잡을 수 있다(서브셋 ρ −0.57→+0.57). 정밀화하려면 변형 타입+개수 비례 계수 + 위치 정보가 필요.

(재현: BENCH_metadata_recovery.json, predict_half_life 변형 플래그 재실행)

결론 (정직, v2 권위값 기준)

• 우리 반감기 예측은 "급속분해 탐지기 + 변형 메타데이터 의존 상대 순위기"다. SSTR2 발굴의 실제 용도(SST-14 변이체끼리 상대 비교)에 유효하며, 신뢰등급은 상대순위 [MED] / 절대값 [LOW].
• 권위 정량값(v2, N=39 수집/32 유효): 전체 raw +0.396 → +metadata +0.662.
• 구 v1의 음수(−0.30)는 소표본 노이즈였고, 표본 확장(v2)으로 raw가 양수(+0.40)로 전환됐다. 즉 raw로도 약한 양의 방향성은 있으며, 변형 메타데이터를 주면 강한 양의 상관으로 올라간다.
• 한계의 본질은 "공식 부재"가 아니라 "입력 메타데이터 부재 + 고정 배수의 거칠음"이다. 내부 curated 벤치(ρ≥0.86, 변형 정보 제공)와도 결이 일관.
• 스크리닝 운용 규칙: 절대 t½(h)는 신뢰값으로 쓰지 말고 순위 비교 전용으로만 사용.
• 게이트 메커니즘 (상대 순위로 작동) [근거: AG_src/pipeline/step08_stability.py:526-541]:
• 목적 — 반감기 surrogate가 임상 t½가 아니라 "휴리스틱 상대-순위"임을 코드가 명시(docstring:535-538 "게이트는 후보 간 상대 우선순위 필터로만 의미를 가진다").
• 입력 — 한 iteration 후보군의 surrogate 반감기 점수 리스트.
• 연산 — apply_stability_gate(gate_mode="relative_percentile", top_fraction): 절대 임계(144h) 통과/탈락이 아니라 점수 상위 top_fraction(예 상위 50%)만 통과시키는 순위 분위(percentile) 게이트. (구 surrogate_threshold 모드는 backcompat용으로만 유지.)
• 출력 — (passed, failed) 분할. 즉 "이 펩타이드가 144h를 넘느냐"가 아니라 "이번 후보들 중 상대적으로 안정한 상위권이냐"를 판정.
• 함의 — 본 벤치마크 지표가 Spearman 순위상관인 이유와 정확히 일치: 게이트도 평가도 모두 상대 순위가 작동 단위다. [MED]

개선 방향: ① 변형(아실화/PEG/D-aa) 메타데이터를 입력 피처로 받기 ② 고정 배수 → 변형 타입+개수+위치 비례 계수 ③ 장수 영역 훈련 데이터 보강 ④ 실측 in-vitro 혈청 어세이로 절대 캘리브레이션. (cf. [보고자료 2] 반감기 Top 권고)

출처 (문헌 ground-truth)

Wikipedia(Somatostatin/Octreotide/Lanreotide/Bivalirudin/Vasopressin), PMC6152110(bioactive peptides), PMC4740973·PMC6208649(melittin HC50), PMC5401818(GLP-1), PNAS(semaglutide), PubMed 25723538(exenatide), AJP-Heart(bradykinin), PMC9156514(pasireotide), PMC9898489(DOTATATE PBPK), PMC5760933(bivalirudin). 상세 = _analysis/BENCH_literature.md.

생성: v2 = bench_halflife_v2.py 실측 실행(권위, BENCH_halflife_v2_results.json) / v1 = bench_run.py (참고). 2026-06-17. 우리 예측값은 재현 가능.