Кредити за изображения: Google
Поддържането на темпото с бързо развиваща се индустрия като AI е трудна задача. Така че, докато AI не може да го направи вместо вас, ето полезен преглед на истории от изминалата седмица в света на машинното обучение, както и забележителни изследвания и експерименти, които не сме обхванали.
Тази седмица Google доминираше в цикъла на новини за AI с множество нови продукти, пуснати на годишната I/O конференция за разработчици. Те управляват гамата от AI, генериращ код, който подсказва текст, до AI музикален генератор, който подсказва в кратки песни, за да се конкурира с Copilot на GitHub.
Голям брой от тези устройства изглеждат законни спестявания на труд – повече от маркетингов пух, с други думи. Особено съм заинтригуван от Project Tailwind, приложение за водене на бележки, което използва AI, за да организира, обобщава и анализира файлове от лични папки на Google Документи. Но те също така подчертават ограниченията и недостатъците на най-добрите днешни AI техники.
Вземете например PaLM 2, най-новия Large Language Model (LLM) на Google. PaLM 2 ще служи като актуализиран инструмент за чат Bard на Google, конкурент на OpenAI's ChatGPT на компанията и основен модел за повечето от новите AI функции на Google. Но докато PaLM 2 може да пише код, имейл и други подобни LLMs, той също отговаря на въпроси по токсичен и пристрастен начин.
Музикалният генератор на Google също е доста ограничен в това, което може да постигне. Докато пиша на ръце, повечето от песните, които съм направил с MusicLM, в най-добрия случай звучат добре, а в най-лошия звучат като четиригодишно дете, пуснато на DAW.
Изписано е много за това как изкуственият интелект ще замени работните места – потенциално еквивалента на 300 милиона работни места на пълен работен ден, според доклад на Goldman Sachs. В проучване на Harris 40% от служителите, запознати с базирания на AI chatbot инструмент на OpenAI, ChatGPT, се притесняват, че той напълно ще замени работните им места.
AI на Google не е краят на всичко. Всъщност компанията определено изостава в надпреварата за AI. Но неоспорим факт е, че в Google работят някои от най-добрите изследователи на ИИ в света. И ако това е най-доброто, с което могат да се справят, това е свидетелство за факта, че ИИ далеч не е решен проблем.
Ето други забележителни заглавия на AI от последните няколко дни:
- Генеративният AI в мета рекламите носи: Meta тази седмица обяви AI sandbox, за да помогне на рекламодателите да създават алтернативни копия за Facebook или Instagram реклами, създавайки фонове чрез текстови подкани и изрязване на изображения. Компанията каза, че функциите в момента са достъпни за избрани рекламодатели и ще разширят достъпа до повече рекламодатели през юли.
- Добавена препратка: Anthropic разшири референтния прозорец за Cloud – неговият водещ AI модел за генериране на текст, все още в предварителен преглед – от 9 000 токена на 100 000 токена. Контекстният прозорец се отнася до текста, който моделът разглежда, преди да генерира допълнителен текст, докато токените представляват необработения текст (например думите „фантастично“ в токените „фен“, „хвърляне“ и „отметка“) ще бъдат разделени. Исторически и дори днес лошата памет е възпрепятствала полезността на AI, генериращ текст. Но по-големият референтен прозорец може да промени това.
- Антропичният рекламира „конституционен AI“: Големите референтни прозорци не са единственият дискриминант на антропните модели. Компанията тази седмица подробно описа „Конституционния AI“, своята вътрешна технология за обучение на AI, която има за цел да вдъхне AI системи с „ценности“, както е определено от „Конституцията“. За разлика от други подходи, Anthropic твърди, че конформационният AI прави поведението на системата лесно за разбиране и лесно за коригиране, ако е необходимо.
- Създаден за изследвания LLM: Институтът с нестопанска цел Allen Institute for AI Research (AI2) обяви, че планира да обучи LLM, фокусиран върху изследвания, наречен Open Language Models, който свързва голяма и нарастваща библиотека с отворен код. AI2 разглежда отворения езиков модел или накратко OLMo като платформа, а не просто модел – такъв, който ще позволи на изследователската общност да вземе всеки компонент, създаден от AI2, и или да го използва сам, или ще се опита да го подобри.
- Нов фонд за AI: В други новини за AI2, AI2 Incubator, фондът за стартиране на AI с нестопанска цел, се появява отново с три пъти повече от предишния си размер — 30 милиона долара срещу 10 милиона долара. Двадесет и една компании са преминали през инкубатора от 2017 г. насам, привличайки $160 милиона в допълнителни инвестиции и поне едно голямо придобиване: XNOR, организация за ускоряване и ефективност на AI, която по-късно беше закупена от Apple за близо $200 милиона.
- Нови правила на ЕС за Generative AI: В поредица от гласувания в Европейския парламент, евродепутатите тази седмица подкрепиха изменения в проекта на закона за AI на блока – включително изисквания за премахване на така наречените фундаментални модели, които са в основата на генеративните AI технологии като ChatGPT на OpenAI. Измененията задължават доставчиците на основни модели да прилагат проверки за сигурност, мерки за управление на данните и намаляване на риска, преди да пуснат своите модели на пазара.
- Универсален преводач: Google тества нова мощна услуга за превод, която презаписва видеоклипове на нов език, докато синхронизира устните на говорителите с думи, които никога не са произнасяли. Това може да бъде много полезно поради редица причини, но компанията беше ясна относно потенциала за злоупотреба и стъпките, които е предприела, за да я предотврати.
- Автоматично обяснение: Често се казва, че LLM е черна кутия по подобие на ChatGPT на OpenAI и със сигурност има известна истина в това. В опит да отлепи своите слоеве, OpenAI разработва инструмент за автоматично идентифициране кои части от LLM са отговорни за неговото поведение. Инженерите зад него казват, че е в ранен стадий, но кодът, за да работи, е достъпен в отворен код на GitHub от тази седмица.
- IBM пуска нови AI услуги: На годишната си Think конференция IBM обяви IBM Watsonx, нова платформа, която предоставя инструменти за изграждане на AI модели и достъп до предварително обучени модели за генериране на компютърен код, текст и др. Компанията казва, че това стартиране е вдъхновено от предизвикателствата, които много фирми все още изпитват при внедряването на AI на работното място.
друго машинно обучение
Кредити за изображения: кацане ai
Новата компания Lending AI на Andrew Ng използва по-интуитивен подход за създаване на обучение за компютърно зрение. Обясняването на модел какво искате да откриете в изображенията е трудоемко, но с тяхната технология за „визуални сигнали“ вие просто правите няколко движения с четка и от там той прави заключение за вашето намерение. Всеки, който е трябвало да изгради модел за сегментиране, казва „Боже мой, НАЙ-НАКРАЯ!“ Вероятно много студенти, които в момента прекарват часове в маскиране на органели и битови предмети.
Microsoft е внедрил дифузионни модели по уникален и интересен начин, като по същество го е обучил върху редица наблюдавани човешки действия, използвайки ги за генериране на вектор на действие вместо изображение. Все още е много рано и дифузията не е очевидното решение за това, но тъй като те са стабилни и гъвкави, е интересно да се види как могат да бъдат приложени отвъд чисто визуални задачи. Техният доклад ще бъде представен на ICLR по-късно тази година.
Кредити за изображения: meta
Meta също избутва ръбовете на AI с ImageBind, за който твърди, че е първият модел, който може да обработва и интегрира данни от шест различни модалности: изображение и видео, аудио, 3D данни за дълбочина, термична информация и данни за движение или позициониране. Това означава, че в малкото пространство за вграждане на машинно обучение изображение може да бъде свързано със звук, 3D форма и различни текстови описания, всяко от които може да бъде запитвано или използвано за вземане на решения. Може ли това да е стъпка към „нормален“ AI, тъй като той абсорбира и асоциира данни по-скоро като мозък – но той все още е основен и експериментален, така че не се вълнувайте твърде много.
Ако тези протеини се докоснат… какво се случва?
Всички бяха развълнувани от AlphaFold и имаха основателна причина, но структурата всъщност е само малка част от много сложната наука на протеомиката. Важно е и трудно да се предскаже как взаимодействат тези протеини, но този нов модел Pesto от EPFL се опитва да направи точно това. „Фокусира се върху важни атоми и взаимодействия в протеиновата структура“, каза водещият разработчик Люсиен Крап. "Това означава, че този метод ефективно улавя сложни взаимодействия в протеиновите структури, позволявайки точно прогнозиране на интерфейсите на свързване на протеини." Дори и да не е точно или 100% надеждно, за изследователите е много полезно да не започват от нулата.
Федералният резерв залага на AI. Президентът също се появи на среща с група от топ изпълнителни директори на AI, за да каже колко е важно това да стане правилно. Куп корпорации може да не са непременно правилните, които да попитате, но те поне ще имат някои идеи, които си струва да бъдат разгледани. Но те вече имат лобисти, нали?
Повече се вълнувам от появата на нови изследователски центрове за ИИ с федерално финансиране. Фундаменталните изследвания са отчаяно необходими, за да се противодейства на фокусираната върху продуктите работа, извършвана от OpenAI и Google – така че когато имате социални науки (в CMU) или разследване на неща като изменението на климата и селското стопанство (в Обединеното кралство), разполагайте с центрове за изкуствен интелект с мандат за Минесота), изглежда като зелени полета (фигуративно и буквално). Бих искал обаче да кажа нещо и за това метаизследване на измерванията в горското стопанство.
Сглобяването на AI на големия екран — това е наука!
Много интересни разговори за AI. Мислех, че това интервю с академиците от Калифорнийския университет в Лос Анджелис (моята алма матер, давай Бруинс) Джейкъб Фостър и Дани Снелсън е интересно. Докато хората говорят за AI този уикенд, вие трябва да разгледате добре LLM:
Тези системи описват доколко по-голямата част от писането е в съответствие с официалната форма. Колкото по-често срещани модели следват тези прогнозни модели, толкова по-успешни са те. Тези разработки ни карат да разпознаем и потенциално да променим стандартните функции на нашите формуляри. След въвеждането на фотографията, която е много добра в улавянето на репрезентативното пространство, живописната среда развива импресионизъм, стил, който отхвърля изцяло точното представяне, за да живее с материалността на боята.
Определено го използвам!
Източник