Wikimedia зробила дані Вікіпедії зручнішими для штучного інтелекту
Київ • УНН
Wikimedia представила проєкт у Німеччині, що дозволяє системам ШІ легше працювати з Вікіпедією та Вікіданими. Завдяки семантичному пошуку майже 120 мільйонів записів тепер доступні за змістом, а не лише за ключовими словами.
У Німеччині представили новий проєкт, який дозволить системам штучного інтелекту легше працювати з Вікіпедією та Вікіданими. Завдяки семантичному пошуку майже 120 мільйонів записів тепер можна буде знаходити за змістом, а не лише за ключовими словами, пише УНН із посиланням на TechCrunch.
Деталі
"Система під назвою "Проєкт вбудовування Wikidata" застосовує векторний семантичний пошук - техніку, яка допомагає комп’ютерам розуміти значення та зв’язки між словами - до існуючих даних у Вікіпедії та її сестринських платформах, що складаються з майже 120 мільйонів записів", - пише видання.
Поєднанні з підтримкою нового протоколу контексту моделі (MCP) - стандарту, який дозволяє системам штучного інтелекту ефективніше працювати з джерелами даних, - "проєкт відкриває можливість виконувати запити природною мовою безпосередньо до LLM". Ініціативу, як вказано, реалізувало німецьке відділення Wikimedia у співпраці з компанією нейронного пошуку Jina.AI та DataStax, що спеціалізується на технологіях обробки даних у режимі реального часу.
Як це працювало раніше
Вікідані роками пропонували машинозчитувані дані з ресурсів Вікімедіа, але попередні інструменти дозволяли лише пошук за ключовими словами та запити SPARQL - спеціалізовану мову запитів. Нова система краще працюватиме із системами доповненого пошуку (RAG), які дозволяють моделям штучного інтелекту отримувати зовнішню інформацію, надаючи розробникам можливість базувати свої моделі на знаннях, перевірених редакторами Вікіпедії.
Дані також структуровані таким чином, щоб забезпечити важливий семантичний контекст. Наприклад, запит до бази даних за словом "вчений" видасть списки видатних вчених-ядерників, а також вчених, які працювали в Bell Labs. Також є переклади слова "вчений" різними мовами, зображення вчених за роботою та осіб, пов’язаних поняттям "дослідник" та "науковець".
Суть нового проєкту
Новий проєкт з’являється на тлі того, що розробники штучного інтелекту намагаються знайти високоякісні джерела даних, які можна використовувати для точного налаштування моделей. Самі навчальні системи стали складнішими - часто вони збираються як складні навчальні середовища, а не як прості набори даних, але для належного функціонування вони все ще потребують ретельно відібраних даних.
Для систем штучного інтелекту, які вимагають максимальної точності, потреба у перевірених і надійних даних є особливо гострою. І хоча Вікіпедію іноді недооцінюють, її інформація значно більш фактологічно орієнтована, ніж загальні масиви даних на кшталт Common Crawl - величезної збірки вебсторінок з усього інтернету, ідеться у публікації.
Втім, пошук якісних даних може мати високу ціну для лабораторій ШІ. Так, у серпні компанія Anthropic погодилася врегулювати позов групи авторів, чиї твори використовувалися як навчальні матеріали, і виплатити 1,5 мільярда доларів, щоб уникнути подальших претензій.
Керівник проєкту Wikidata AI Філіп Сааде у заяві для преси підкреслив незалежність ініціативи від великих ШІ-лабораторій та технологічних корпорацій.
Запуск цього проєкту Embedding Project показує, що потужний штучний інтелект не обов’язково повинен контролюватися жменькою компаній. Він може бути відкритим, спільним та створеним для обслуговування всіх