기능 상세 보고

09. ADMET 모듈 종합 성능평가표

핵심 결론: 7개 ADMET 툴/모듈을 실제 조사·실행·평가했다. 실측 신뢰(HIGH)는 물성 descriptor 5종뿐 — peptides v0.5.0 대비 GRAVY·Instability·Aliphatic Spearman r=1.0000, Boman 0.9893, pI 0.9684로 알고리즘 일치 검증됨. 용혈(HC50) 게이트는 surrogate-상대MED — pepADMET 로컬 추론은 D-aa에서만 fair(ROC-AUC 0.677~0.727), L-aa는 역변별(AUC 0.146~0.56), cyclic/SS-bond(SST-14 계열)은 SMILES 파싱 실패로 게이트 사실상 미작동(fail-open). 외부 웹 툴 2종은 블로커로 미적용 — ADMETlab 3.0은 서버 장애(/api/admet HTTP 404·/api/single/admet HTTP 500), pepADMET 웹서비스는 HTTP 403. ADMET-AI는 로컬 실행 성공했으나 용혈 직접 엔드포인트 없음(hERG 대리) + D-aa·cyclic OOD로 보조 필터 한정.

정직성 요약: 성능 숫자는 전부 2026-06-19 실제 실행 산물이며, 못 돌린 항목은 "미평가/실패+사유"로 기록한다(fail-closed). 절대값은 어느 모듈도 검증 안 됨(LOW) — 상대 순위만 사용한다.

1. 신뢰등급 범례

2. ADMET 모듈 종합 성능평가표 (7열 × 7행)

모든 셀은 아래 §3~§5 증거 인용으로 뒷받침된다. file:line은 리포지토리 루트 AgenticAI4SCIENCE_pyrosetta_track/repos/ai4sci-kaeri/(우리 모듈) 또는 local_models/ 기준.

3. 물성 Descriptor — 실측 HIGH (유일하게 신뢰 가능)

참조 툴 peptides v0.5.0 설치·실행 확인: ~/miniforge3/envs/bio-tools/bin/python -c "import peptides; print(peptides.__version__)" → 0.5.0 [근거: TOOL_our_physchem.md:36-41]

• GRAVY / Instability / Aliphatic: Spearman r=1.0000, MAE 0 (n=15) — 알고리즘 완전 일치 [근거: [LOCAL_PATH]]
• Boman: Spearman r=0.9893, MAE 0.231 — peptides lib는 Pro를 Boman 합산에서 제외, 우리는 P=-2.54 포함. 순위 상관 높아 게이트 무영향 [근거: TOOL_our_physchem.md:23, :93-99]
• pI: Pearson r=0.9684, MAE 0.427 — 우리 구현은 SS-bond Cys를 이온화에서 제외(thiol 없음 → pKa 불참여), peptides는 모든 Cys 포함. 우리 처리가 생물학적으로 더 정확 [근거: TOOL_our_physchem.md:25, :104-112]
• 기존 벤치(BENCH_admet_descriptors.json, 16서열)와 일관성 확인 — GRAVY/Instability/Aliphatic 1.0000 재현, Boman 0.97→0.99, pI 0.99→0.97 (n 차이) [근거: TOOL_our_physchem.md:130-140]
• D-aa 한계: 우리 모듈은 VALID_AA L-aa 20종만 허용(raise ValueError), peptides도 lowercase를 L-aa로 강제 계산(스테레오 손실). D-aa 함유 서열(octreotide 등) 물성은 [미검증] 표기 필수 [근거: TOOL_our_physchem.md:118-124, pharma_properties.py:217]

판정: 물성 descriptor는 HIGH — 파이프라인 적용 유지, 추가 보정 불필요. (단 D-aa는 미지원.)

4. 용혈(HC50) 독성 게이트 — surrogate-상대MED, L-aa 역변별 정직

ground-truth: BENCH_admet_v2 문헌 용혈 라벨. 수집 52종 중 cyclic 2종 제외 후 채점 50종 [데이터: [LOCAL_PATH]]. 채점 run 결과 JSON의 권위 분류는 n_L=32 / n_D=18(D는 D-aa 순수 16 + MIXED 2 합산) [데이터: [LOCAL_PATH] — n_L=32, n_D=18, auc_D=[0.677,13,5]]. (BENCH md 헤더는 수집 단계 라벨 "L34/D16/MIXED2"를 적으나, 실제 채점된 50종의 그룹 분류는 결과 JSON 값을 따른다 — §4.1 표와 일치.)

4.1 ROC-AUC (2026-06-19 재실행, score=-hc50)

[근거: [LOCAL_PATH] · TOOL_pepadmet.md:127-131]

• L-aa 역변별 원인: 비용혈 양전하 헬릭스(Cecropin A hc50=-823, LL-37 hc50=-1003)를 용혈성(Melittin hc50=-293)보다 더 독성으로 예측 — pepADMET 학습 편향 추정 [미검증 — 추가 실험 필요] [근거: TOOL_our_hc50.md:48-52]
• 로컬 vs 웹서비스 불일치: 로컬(독성 모델 단일) 전체 AUC 0.47 vs 웹서비스(19-endpoint 앙상블 추정) 0.32. D-aa는 로컬 0.40 < 웹 0.677 — 웹의 별도 전처리 가능성 시사 [미검증] [근거: TOOL_pepadmet.md:133-141]

4.2 cyclic/SS-bond 블로커 — 게이트 fail-open

• SST-14(AGCKNFFWKTFTSC, Cys3-Cys14)를 포함한 모든 SST-14 변이체는 SMILES 파싱 실패 → graph_note=linear_sequence_fallback → hc50_reliable=False → 독성 게이트 자동 skip [근거: TOOL_our_hc50.md:14, :67-75, pepadmet_toxicity.py:26-43]
• 설계 의도=fail-open(가짜 독성 판정 방지). 실질적으로 SSTR2 주요 후보군에 독성 게이트가 미작동 [근거: TOOL_our_hc50.md:142]

4.3 게이트 동작 (apply_toxicity_to_extra, 실측)

• native baseline hc50=-55.68 대비 home-advantage 페널티: hc50=-65→factor 0.978, hc50=-300→0.40(하한), 안전(hc50=-14.5)→페널티 없음 [근거: TOOL_our_hc50.md:23, :118-128, multiobjective.py:206-241]
• 파라미터 _HC50_NATIVE_TOLERANCE=5.0, _HC50_PENALTY_SCALE=200.0, _TOXIC_ADMET_PENALTY=0.4 [근거: multiobjective.py:163-167]
• 배치 래퍼 응답 16서열 ~10-15초(conda subprocess), graceful fail(미설치/timeout 시 빈 dict) [근거: TOOL_our_hc50.md:24, pepadmet_runner.py:36-99]

판정: HC50 게이트는 surrogate-상대MED — D-aa 상대 순위에만 유효, L-aa 역변별·cyclic 미작동, 절대 HC50 단위 미검증(절대LOW, 해석 금지).

5. 외부 웹/소분자 툴 — 블로커 정직 기록

5.1 ADMETlab 3.0 — 서버 장애로 미평가 (fail-closed)

• POST /api/admet → HTTP 404(라우팅 미등록), POST /api/single/admet → HTTP 500(api.py:307 pandas KeyError, 입력 종류 무관 서버 버그), /api/washmol만 HTTP 200 [근거: [LOCAL_PATH]]
• 공식 공지: 지속적 공격으로 서버 자원 붕괴, 대량 계산은 minddance@163.com 수동 제출 안내 [출처: https://admetlab3.scbdd.com/apis/two.md] [근거: TOOL_admetlab.md:96-100]
• 119개 ADMET 항목 포괄적이나 D-aa/cyclic OOD 우려. SMILES 변환(RDKit MolFromSequence)은 성공했으나 SS-bond 미표현 [근거: TOOL_admetlab.md:56-62]
• 성능 미평가 — 실행 실패로 벤치 비교 불가(추정 금지). 서버 정상화 후 재시도 권고 [근거: TOOL_admetlab.md:108, :156]

5.2 ADMET-AI v2.0.1 — 실행 성공, 용혈 직접 endpoint 없음

• 설치·실행 성공(pip install admet-ai, rdkit 2026.3.3, PyRosetta 호환), 104 endpoint, SST-14+벤치 20종 추론 완료 [근거: [LOCAL_PATH], :60-64]
• 용혈 직접 엔드포인트 없음 → hERG를 대리 지표로 사용: ROC-AUC L-aa=0.727 실측HIGH(단 직접 용혈 훈련 아님, 우연 일치 배제 불가), D-aa 0.833은 OOD 무효, LD50-proxy L-aa 0.045(역변별) [근거: TOOL_admet_ai.md:19, :90-99]
• 소분자 약물 모델(TDC, MW<900) — 펩타이드 MW>1000 OOD 위험, D-aa(rdkit L-isomer만 생성)·SS-cyclic 미지원 [근거: TOOL_admet_ai.md:44-52]
• SST-14 예측 hERG=0.841(위험 신호) 등은 SS-cyclic 미반영 선형 SMILES — [미검증] 절대값 신뢰 금지 [근거: TOOL_admet_ai.md:75-81]
• 판정: 조건부 적용 가능하나 미구현(래퍼 없음). pepADMET 로컬 복구 우선, 실패 시 L-aa hERG fallback [근거: TOOL_admet_ai.md:18, :120]

5.3 pepADMET 웹서비스 — HTTP 403 (로컬은 우회 성공)

• 웹서비스 https://pepadmet.ddai.tech/ HTTP 403 차단 유효. 단 로컬 모델(local_models/pepadmet/repo/model/toxicity_early_stop.pth)로 우회 추론 성공(51/51 서열, ~6-16분 CPU) [근거: [LOCAL_PATH], :94-98, :191-199] — 성능은 §4 참조

6. 종합 결론·권고

1. 신뢰 가능한 ADMET 신호는 물성 descriptor 5종(HIGH)뿐 — GRAVY·Instability·Aliphatic·Boman·pI. 파이프라인 적용 유지 [근거: §3]
2. 용혈 게이트는 D-aa 상대 순위에만 제한 사용(MED) — L-aa 역변별, cyclic(SST-14) fail-open이므로 주요 후보군엔 사실상 미작동. 절대 HC50 해석 금지 [근거: §4]
3. 외부 웹 툴 의존 금지 — ADMETlab 서버 장애·pepADMET 웹 403. 로컬 자원(pepADMET 로컬, ADMET-AI)으로만 운용 [근거: §5]
4. 모든 모듈 공통 한계: D-aa·cyclic/SS-bond 입체화학을 RDKit MolFromSequence가 표현 못 함 → SSTR2 핵심 후보(SST-14 계열)에서 ADMET 예측 신뢰도 낮음. 향후 SS-bond SMILES 수동 생성 또는 입체화학 인지 모델 필요 [근거: §4.2, §5.2]
5. 개선 권고: ① pepADMET cyclic SMILES 빌더 보강(hc50_reliable=True 확대), ② L-aa 역변별 학습 편향 원인 규명, ③ ADMET-AI 래퍼(pipeline_local/admet_ai_wrapper.py) 신설로 fallback 이중화 [근거: §4.2, §5.2]

7. 원시 산물·증거 경로 (추적성)

raw vs meta 주: 본 페이지는 ADMET(용혈·물성) 평가이며 반감기 raw/meta 동급비교 이슈는 해당 없음(반감기는 10번 Serum Stability 페이지) [근거: GOAL_SIM_MODULES_2026-06-18.md §3.2-5].