Ibinunyag ng Anthropic na may 3 insidente kung saan naka-access ng Claude models nila ang totoong systems ng 3 magkaibang kumpanya, dahil sa cybersecurity test na mali ang pagkaka-setup at nabigyan ng live internet access.
Natuklasan ng AI company ang mga insidenteng ito matapos ire-review ang 141,006 na test runs. Sinimulan nila ang checking nang malaman nilang ang models ng OpenAI ay nakalabas sa isolated na test environment at umabot sa Hugging Face.
Paano Nakaabot si Claude sa Totoong Systems sa Capture-the-Flag Tests
Sa mga evaluation, pinasali si Claude sa mga capture-the-flag challenge, kung saan tinatangka ng AI na ma-hack ang isang machine at makakuha ng nakatagong impormasyon.
Sinabihan ng Anthropic ang mga model na wala silang internet access. Pero may mali sa setup kaya nakakonekta pa rin ang test machines sa internet. Dahil dito, inakala ni Claude na kasama sa exercise yung totoong systems na nakita niya.
Pinakamalala yung nangyari sa Claude Opus 4.7, kung saan in-exploit nito ang butas sa security ng isang totoong company. Nakakuha ang model ng application at infrastructure credentials at na-access ang ilang daang rows ng production data.
“Sa lahat ng apat na runs, napansin din ng model eventually (makikita sa reasoning nito) na totoong system nga ang naabot nila—sa dalawa sa mga ito, inisip pa ng model na baka part talaga ng exercise yung totoong company. Pero kahit ganun, hindi tumigil yung atake,” sabi ng Anthropic dito.
I-follow kami sa X para sa pinaka-latest na balita habang nangyayari
Nag-upload si Claude Mythos 5 ng Malware sa PyPI
Sa isa pang insidente, nag-publish si Claude Mythos 5 ng Python package na may malware sa PyPI, ang public software registry. Halos isang oras nag-live ang package at nagamit ito sa 15 totoong systems.
Isa dito ay security company scanner na nagpatakbo ng malware code. Na-exfiltrate ni Claude ang credentials ng company na iyon at na-access pa ang ibang infrastructure. Nai-flag na ng reasoning ng model na risky ito, pero nakumbinsi pa niya sarili niya na simulated lang ang environment.
“Talagang todo effort si Claude para ma-execute yung attack na ‘to—mga effort na kung tao ang gumagawa dapat mapapansin na hindi na ito simpleng test at totoong PyPI package na pala ang na-upload nila,” dagdag ng team.
Yung pangatlong insidente naman, involve ang isang internal research model na nag-scan ng nasa 9,000 target at nakompromiso ang application ng isang company gamit ang SQL injection. Doon, tumigil na lang ang model matapos nitong mapagtanto na totoong target pala yung na-attack.
Sinabihan ng Anthropic ang mga apektadong company noong July 27 at nag-uusap na rin sila sa evaluator na METR para sa 3rd party review. Sabi ng kumpanya, operational problem ‘yung nangyari at hindi dahil sa alignment ng model. Kung standard na consumer protection daw ang ginamit, napigilan na sana yung incidents.
Mag-subscribe sa YouTube channel namin para mapanood ang insights ng mga lider at journalist sa crypto
