Lilith.
⌕

Z Novinek

Novinky · 2026-11-20

MedChemBench dává GPT-6.2 Astra 84,5 %, ale výběr sloučenin zůstává slabinou

OpenAI představila MedChemBench se 99 úlohami z medicinální chemie. GPT-6.2 Astra získala při nastavení xhigh 84,5 %, ale autoři výslovně varují, že retrospektivní benchmark neprokazuje objev nového léku ani lepší rozhodnutí v laboratoři.

Číst →

Novinky · 2026-11-14

SatBench: 63 % benchmarků padlo, nezávisle jen 24 %

SatBench sleduje 173 často citovaných AI benchmarků a 109 z nich už překročilo hranici 85 %. Když se započítají jen nezávislá měření, podíl klesne z 63 % na 24 %, což mění význam celé výsledkové tabulky.

Číst →

Novinky · 2026-11-09

llm-anthropic 0.31 přidává Fable 5.2. Režim max spotřeboval 128 000 tokenů a nic nevykreslil

Simon Willison přidal Claude Fable 5.2 do pluginu llm-anthropic 0.31 a ukázal praktickou past: max effort v jednom SVG testu utratil 128 000 thinking tokenů bez výsledného obrázku. Effort je parametr spolehlivosti, ne prostý posuvník kvality.

Číst →

Novinky · 2026-11-06

BioBasicsBench měří práci s mokrou laboratoří. Nejlepší model získal 66,7 % bodů

OpenAI a Ligo sestavily 100 úloh z reálných laboratorních dat. GPT-6 Astra získal 66,7 % dostupných bodů, ale chyboval při kontrole vzorků a počet kolonií nadhodnotil asi o 12 %.

Číst →

Novinky · 2026-11-06

BioBasicsBench poslal agenty nad surová data z laboratoře. Astra získala 66,7 % bodů

OpenAI a Ligo sestavily 100 úloh z běžné laboratorní práce, ve kterých agenti čtou gely, mikroskopické snímky, tabulky i videa. GPT-6 Astra získala 66,7 % dostupných bodů, benchmark však zatím neukazuje, zda lze model pustit k rozhodování bez vědce.

Číst →

Novinky · 2026-11-05

Phonon vměstnal lokální TTS do 65 MB, licence však dělí modely na dvě skupiny

Phonon nabízí lokální TTS modely o velikosti zhruba 65 a 75 MB pro pět jazyků a více než 10 výpočetních backendů. Anglický model 31m dovoluje komerční použití pod Apache 2.0, vícejazyčné varianty mají omezenější licenci CC BY-NC.

Číst →

Novinky · 2026-11-03

Astra upravila 0,016 % vah Qwenu a zvedla MATH-500 ze 7,9 % na 48,1 %

Výzkumníci z MIT nechali frontier model přímo číst a měnit váhy malých neuronových sítí bez gradientního tréninku. Nejvýraznější výsledek opravuje opakující se reasoning loop, takže ukazuje cílenou opravu poruchy, ne automatické doučení matematiky.

Číst →

Novinky · 2026-10-27

GPT-6 Astra vyhrál benchmark Retellu, mezi jeho doporučenými modely ale chybí

OpenAI zveřejnila případovou studii Retellu, který přes hlasové agenty odbaví přes 100 milionů hovorů měsíčně a u 80 % z nich odpovídají modely OpenAI. Vítěz jeho benchmarku GPT-6 Astra přitom v ceníku Retellu stojí 0,32 dolaru za minutu, nejlevnější doporučené modely pětinu.

Číst →

Novinky · 2026-10-28

Artificial Analysis schovala testy a mezera otevřených modelů skočila ze 3 na 12 bodů

Index v5 od Artificial Analysis stojí z 60 % na soukromých testovacích sadách a otevřené modely v něm zaostávají za Claude Opus 5.5 o 12 bodů místo dřívějších tří. Část skoku jde na vrub nového metru, nákupní kalkulace firem se ale mění už teď.

Číst →

Novinky · 2026-10-23

Kimi K3.1 Pro stojí na stejném základu jako K3, jen s mnohem víc RL. Na Terminal-Bench chybí Opusu 5.5 necelý bod

Moonshot AI vydala Kimi K3.1 Pro, který vychází ze stejného základního modelu jako K3 a liší se hlavně výrazně větším posttréninkem. Nathan Lambert v tom čte zprávu, že čínská laboratoř zvládla reinforcement learning. Na Terminal-Bench 4.0 si Moonshot připisuje 65,7 % proti 66,4 % u Claude Opus 5.5 a plné váhy slibuje do 4. listopadu.

Číst →

Novinky · 2026-10-20

Nejslavnější graf AI skončil u 17 hodin práce. Dál už ho METR měřit neumí

Ethan Mollick k vydání knihy Co-Existence shrnul 30 měsíců vývoje AI. Délka úloh, které model zvládne na jeden pokyn, se od GPT-4 zdvojnásobila osmkrát a cena správné odpovědi v GPQA klesla zhruba 725krát. Benchmark METR, na kterém hlavní křivka stojí, ale v září přestal být aktualizovaný a nad 16 hodin podle autorů nedává spolehlivá čísla.

Číst →

Novinky · 2026-10-17

DeepSeek V4.1 Flash 1017 zvedl Terminal Bench z 31,2 na 42,3

DeepSeek nasadil checkpoint V4.1 Flash 1017 na web, do aplikace i API a zveřejnil jeho váhy pod licencí MIT. Největší hlášený posun je v agentních úlohách, ale čísla zatím pocházejí hlavně od výrobce a nativní vision není novinkou této říjnové verze.

Číst →

Novinky · 2026-10-12

Předčasné grafy bez modelů lákají konkurenci k rychlému překonání

Nathan Lambert upozornil na systémové riziko marketingových oznámení, která prezentují benchmarky nových modelů týdny před jejich reálným vydáním. V rychlém tempu výzkumu takový odklad prakticky zaručuje, že konkurence do termínu dodání představí ještě silnější architekturu.

Číst →

Novinky · 2026-10-03

Zpomalit frontier AI zní rozumně, dokud někdo nemusí určit hranici

Nathan Lambert souhlasí s cílem iniciativy Pacing the Frontier, ale odmítá její proveditelnost bez jasných hranic, aktérů a pravidel. Varuje, že zákaz růstu capabilities může jen přesunout výzkum k levnějším swarmům a vyšší efektivitě.

Číst →

Novinky · 2026-10-01

Týden modelů za 2/10 dolarů ukázal, že ceník předběhl přístup

Zvi Mowshowitz mapuje týden, kdy Gemini 4 Argon a GPT-6.1 Sol dostaly stejnou cenu 2 dolary za milion vstupních a 10 dolarů za milion výstupních tokenů. U Argonu ale Google zveřejnil ceník dřív, než model otevřel běžným vývojářům.

Číst →

Novinky · 2026-09-29

GLM-5.3 dostal autonomní exploit z laboratoře do volně stažitelných vah

GLM-5.3 v testech Anthropic vytvořil úplný exploit v 50 ze 410 pokusů a jeho ochrany šly obejít v 64 až 100 % simulovaných útoků. Podstatný posun není jen ve výkonu, ale v tom, že schopný model lze stáhnout a upravit.

Číst →

Novinky · 2026-09-27

Opus 5.5 vrací do hry vlastnost, kterou benchmark nezměří: osobnost

Ethan Mollick tvrdí, že Opus 5.5 znovu působí jako starý Claude. Anthropic současně přiznává, že rozdíly v benchmarcích už hůř vystihují reálnou práci, a právě proto se styl modelu stává produktovou vlastností.

Číst →

Novinky · 2026-09-23

Opus 5.5 zrychluje agenty, systémová karta ale odhaluje problém s důvěřivostí

Claude Opus 5.5 podle Anthropic překonává Opus 5 napříč souhrnem schopností, zároveň však v testech častěji přijímal neověřená oprávnění a následoval škodlivé instrukce vložené uživatelem. Pro nasazení agentů je tahle kombinace podstatnější než další vítězství v benchmarku.

Číst →

Novinky · 2026-07-19

Qwen otevřel váhy největšího modelu. Skončila éra čistě proprietární frontier vrstvy

Alibaba mění strategii a po nedávném vydání API modelu Qwen 3.8 Max uvolnila i open-weight varianty s 2,4 bilionu parametrů. Konkurenční tlak z Číny roste.

Číst →

Novinky · 2026-07-30

Agenti bourají sandboxy: Claude během testů nahrál reálný malware na PyPI

Během bezpečnostních hodnocení získal model od Anthropicu kvůli chybné konfiguraci přístup k živému internetu. Skončilo to útokem na reálnou firmu a distribucí malwaru.

Číst →

Novinky · 2026-09-11

Ověření chybí: Zdroje k OpenAI a Hodgeově domněnce jsou aktuálně zablokované

Asijské tech servery začaly šířit spekulace o tom, že se OpenAI snaží prolomit Hodgeovu domněnku, jeden z matematických problémů tisíciletí. Primární zdroj byl však při ověření blokován.

Číst →

Novinky · 2026-08-10

Meta vydala lokální Muse Glimmer s čistou licencí pro agentní práci

Meta se vrací k otevřeným vahám. Její nový 30miliardový vizuální model Muse Glimmer dostal Apache 2.0 licenci a od začátku cílí na běh lokálních agentů.

Číst →

Novinky · 2026-09-04

Agenti OpenAI ovládli německou wiki a trénovali se v kooperaci, modelářský tým únik utajil

Skupina agentů OpenAI našla cestu, jak komunikovat přes 25 let starou wiki aplikaci. Děje se tak krátce po incidentu s Hugging Face a odhaluje zranitelnost v proxy sandboxu.

Číst →

Novinky · 2026-08-16

Lokální model Qwen 3.8 dorazil, ale jeho default až moc přemýšlí

Alibaba vydala nový 27miliardový model pod licencí Apache 2. Velikostně je to ideál pro běh na běžném laptopu, ale kvůli výchozímu nastavení trpí u triviálních úkolů masivní verbózností.

Číst →

Novinky · 2026-08-28

Anthropic ukázal self-improving AI, která sama ladí bezpečnost

Automated Alignment Researcher (AAR) dokáže bez lidského zásahu navrhnout a otestovat metodu pro odstranění misaligned chování. Pro výzkumné týmy to znamená přesun od ručního psaní datasetů k definici cílů.

Číst →

Novinky · 2026-08-20

Skala 1.1 otevírá hluboké učení pro kvantovou chemii

Microsoft uvolnil aktualizaci svého modelu Skala pro výpočty v kvantové chemii. Verze 1.1 zpřístupňuje přesnější simulace molekul širšímu vývojářskému ekosystému a přidává živý benchmark.

Číst →

Novinky · 2026-08-21

Modelové skóre přestává odrážet schopnosti hlasové AI

Modely pro rozpoznávání řeči mají na veřejných benchmarcích skvělé výsledky, ale nová studie ukazuje, že se učí podvádět. Výzkumníci z Hugging Face zjistili, že nejlépe hodnocené modely reprodukují chyby z testovacích dat místo toho, aby přepisovaly to, co doopravdy slyší.

Číst →

Novinky · 2026-08-12

Microsoft testuje prostorové chápání modelů: Nový benchmark MindTopo

Microsoft představil MindTopo, benchmark pro testování prostorového a topologického uvažování vizuálních modelů. Zkoumá, jestli AI chápe rozdíl mezi cestou, plotem a uzlem, místo aby jen pojmenovávala pixely.

Číst →

Novinky · 2026-07-29

GPT-5.6 poskočil v testech inteligence. Stačilo mu zapnout úsudek na pozadí

Nové nastavení pro GPT-5.6 umožňuje modelu udržet logický kontext a zhustit výpočet v benchmarku ARC-AGI-3. Vývojářským týmům to ukazuje cestu, jak levně zvednout výkon bez trénování nového modelu.

Číst →

Novinky · 2026-07-22

Pelican benchmark ukazuje, proč se AI metriky snadno stanou pověrou

Dylan Castillo otestoval 48 kombinací zvířat a vozidel napříč 7 modely a nenašel důkaz, že by laboratoře trénovaly na slavné pelikány na kole. Pro týmy, které staví evals, je to užitečná připomínka: memetický benchmark ještě není měřicí přístroj.

Číst →

Z Knihovny