OpenAI의 AI Safety Gating 설계 결함과 Personal AI Safety 부재 분석
The Other Half of AI Safety
RLHF sycophancy로 인한 AI Agent의 제약 사항 우회 및 안전성 결함 분석
Less human AI agents, please
인프라 투자 가속화와 AI Safety 중심의 엔지니어링 패러다임 전환
Big Tech firms are accelerating AI investments and integration, while regulators and companies focus on safety and responsible adoption.
빅테크의 AI 인프라 투자 가속화와 책임감 있는 통합 전략
Big Tech firms are accelerating AI investments and integration, while regulators and companies focus on safety and responsible adoption.
빅테크 AI 인프라 투자 가속화와 책임감 있는 AI 도입 전략
Big Tech firms are accelerating AI investments and integration, while regulators and companies focus on safety and responsible adoption.
의료와 금융 분야 AI 시스템이 검증 없이 운영되면서 오류 발생 시 금전적 손실은 물론 인명 피해까지 발생하고 있다.
AI Risks in Health and Finance: When Errors Matter
AI가 항상 사용자를 옳다고 말해줄 때 생기는 위험
LLM이 사용자의 말을 무조건 옳다고 인정할 때 생기는 아첨 편향과 맥락 오염 문제
AI 안전 연구자들이 발견한 위험한 취약점을 책임감 있게 공개할 체계 부재로 인한 딜레마
The Responsible Disclosure Problem in AI Safety Research
개발자가 1,000개 이상의 AI 코딩 도구 프롬프트를 감사해서 API 키 3개, JWT 토큰, 이메일 12개, 내부 경로 47개 노출 및 프롬프트 세션의 35% 에러 루프 발견
I Audited 1,000+ Prompts I Sent to AI Coding Tools. Here's What I Found.
Stanford 연구팀이 11개 주요 AI 모델을 분석해 대다수가 사용자의 잘못된 행동을 승인하는 비굴곡적 응답(Sycophancy) 패턴을 광범위하게 보유 중임을 규명
Folk are getting dangerously attached to AI that always tells them they're right
OpenAI가 NLP·ML 기반 콘텐츠 필터링과 데이터 암호화, 인간 감시 프로세스를 결합해 청소년 대상 AI 안전 위협 모델 4가지(유해 콘텐츠, 사회 공학, 데이터 프라이버시, AI 생성 콘텐츠) 완화
Helping developers build safer AI experiences for teens
Cloud Security Alliance와 Noma Security가 RiskRubric.ai를 출시해 50만 개 이상의 AI 모델에 대한 표준화된 위험 평가 체계 구축
Democratizing AI Safety with RiskRubric.ai