Научният съветник на Белия дом Майкъл Кратсиос заяви, че Moonshot, китайската компания зад Kimi K3, най-голямата налична LLM с отворено тегло, е създала модела си, копирайки LLM на Anthropic, наречен Fable, използвайки чипове, които не са разрешени за износ в Китай.
„Мащабната, тайна индустриална дестилация, насочена към кражба на собствена технология на САЩ и подкопаване на американските изследвания, е неприемлива“, написа Кратсиос, на фона на съобщения за обсъждания относно забраната на китайски модели с отворено тегло, които разтърсиха сектора на изкуствения интелект. Moonshot не отговори на въпроси относно процеса на обучение и Кратсиос не сподели повече подробности за източниците на обвиненията си.
Туитът на Кратсиос отразява коментари на министъра на финансите Скот Бесент, който каза, че „намираме водни знаци на нашите американски големи езикови модели в много от китайските модели, и това е неприемливо“. Не е ясно какво представляват тези водни знаци, а Министерството на финансите не отговори на запитване.
Въпреки това, експертите са скептични, че дестилацията – процесът на запитване на LLM, за да се определи как работи и да се копират способностите му – е отговорна за напредналите способности, които Kimi K3 демонстрира.
„Не мисля, че може да се получи такъв силен модел толкова бързо, само с дестилация на Fable“, каза Брейдън Хенкок, изследовател в Института Лауде и съосновател на Snorkel AI, пред TechCrunch. „Просто няма достатъчно време, нали? Fable е наличен публично само от 1 юли. Не можете да дестилирате толкова много данни, да обучите модел и да го пуснете за две седмици.“
„Смятам, че дестилацията става все по-малко значима с времето, тъй като китайските модели се приближават до върха и режимът на обучение преминава към [обучение с подсилване]“, каза Нейтън Ламбърт, изследовател на ИИ в Института за изкуствен интелект на Алън, в подкаст, публикуван вчера. „[Ако] това беше вярно, всеки щеше лесно да настигне GLM или K3, използвайки данните му за дестилация. Но ние не сме видели това, нито ще видим, само от ръчно фино настройване.“
Извършването на дестилация изисква лаборатория, която систематично да запитва целевия си модел, за да генерира данни, които могат да се използват след обучението. Понякога това явно включва искане от модела да формулира логиката си, за да разбере как решава проблеми. В други случаи, подканите и отговорите от модела се използват за обучение на нов модел в процес, наречен ръчно фино настройване или SFT.
Точно този процес на фино настройване може да доведе до модел, който явно е създаден от трета страна, твърдяща, че е Клод. Според Ламбърт, именно там „моделът усвоява своите манери“.
Но Ламбърт казва, че ползите от SFT стават все по-малко важни, тъй като моделите стават по-сложни. За да се дестилират способности, подобни на Fable, вероятно ще са необходими техники за обучение с подсилване. В много случаи това означава, че агент на по-голям модел оценява отговорите на по-малкия модел и коригира на базата на оценката.
По-напредналите техники също изискват по-значителна инфраструктура. Големите обучения с подсилване могат да изискват десетки милиони агенти. Използването на API на лаборатория от предния край за това „беше безумно скъпо и вероятно би било времеви bottleneck, тъй като тези модели са доста бавни и, да бъдем честни, може дори да не ви дадат повишаване на производителността.“
Изглежда вероятно предишни модели от предния край да са допринесли за Kimi; Anthropic публично обвини Moonshot, DeepSeek и MiniMax в систематично дестилиране на моделите си по-рано тази година. Anthropic заяви, че е открила милиони обмена между моделите си и потребителите, които е идентифицирала в тези компании чрез IP адреси и други метаданни. Тези запитвания бяха „различни от нормалните модели на използване, отразяващи целенасочено извличане на способности, а не легитимна употреба.“ Anthropic не отговори на запитванията на TechCrunch относно дестилацията на Fable.
Въпреки това, дестилацията се счита за обичайна практика сред компаниите за изкуствен интелект, не само в Китай. Илон Мъск свидетелства по-рано тази година, че компанията му SpaceXAI е дестилирала модели на OpenAI, за да разработи Grok, и че практиката е обичайна в индустрията. Границата между дестилацията и разработването на синтетични набори от данни, например, може да бъде доста размита.
„[В] общи линии, американците подценяват техническата експертиза на тези китайски екипи“, каза Хенкок. „Един от основателите на Moonshot беше докторант в CMU. Това са легитимни изследователи и инженери, които вършат солидна работа. …ако американските модели спрат, мисля, че напредъкът на Китай ще забави, но все пак ще продължи. Те не просто се возят на чужд гръб тук.“
Също така е трудно да се разграничат дестилацията от втората част на коментара на Кратсиос – че Moonshot е получила напреднали Nvidia чипове, Grace Blackwell 300s, и също така е имала достъп до сървъри с GB300 в Тайланд. Тези чипове са забранени за износ в Китай, но съществува черен пазар, според Сам Бресник, изследовател в Центъра за сигурност и нови технологии на Джорджтаун. През май основателят на Supermicro, американски производител на сървъри, беше обвинен в контрабанда на напреднали чипове в Китай.
„Аз съм привърженик на законите за опознаване на клиента за центрове за данни по целия свят“, каза Бресник. „Ако позволявате на компания да провежда огромни обучения на вашето съвременно оборудване, трябва да има механизъм за отчетност за това коя е тази компания и какво прави.“
Министерството на търговията на президента Джо Байдън предложи федерални правила за опознаване на клиента за центрове за данни през 2024 г., но не изглежда, че е направен напредък под Доналд Тръмп. Износителите, които изпращат напреднали чипове в чужбина, обаче трябва да гарантират, че те се използват само за одобрени цели.
