Как создать успешные данные AI агента?

Примечание редактора: В этой статье рассматриваются инструменты и методы, способствующие улучшению производительности искусственного интеллекта, с акцентом на сборе и очистке данных. Рекомендуются различные инструменты без кода, такие как инструменты для преобразования веб-сайтов в форматы, удобные для LLM, а также инструменты для сбора данных из Twitter и краткого изложения документов. Также представлены приемы хранения данных, с акцентом на том, что организация данных важнее сложных структур. С помощью этих инструментов пользователи могут эффективно структурировать данные и обеспечить высококачественные входные данные для обучения искусственного интеллекта.

Ниже приведен оригинальный текст (в целях облегчения понимания содержание исходного текста было немного переработано):

Сегодня мы видим много появлений AI-агентов, из которых 99% исчезнут.

Что делает успешный проект выделяться? Данные.

Вот несколько инструментов, которые могут выделить вашего агента искусственного интеллекта.

!

Хорошие данные = хороший искусственный интеллект.

Представьте себе, что это как построение трубопровода для данных ученого-аналитика:

Собрать → Очистить → Проверить → Сохранить.

Перед оптимизацией векторной базы данных следует настроить свои образцы и подсказки с небольшим количеством.

!

Ссылка на твит с изображением

Я рассматриваю большинство проблем искусственного интеллекта сегодня, как «теорию ведра» Стивена Бартлетта - постепенное решение.

Сначала нужно создать надежную базу данных, которая является основой для создания высококачественного агентского канала искусственного интеллекта.

!

Вот несколько отличных инструментов для сбора и очистки данных:

Генератор llms.txt без кода: преобразует любой веб-сайт в текст, подходящий для LLM.

!

Ссылка на твит с изображением

Хотите создать дружественный к LLM в Markdown? Попробуйте инструменты JinaAI:

Используйте JinaAI для сканирования любого сайта и преобразования его в формат Markdown, подходящий для LLM.

Просто добавьте следующий префикс к URL-адресу, чтобы получить дружественную версию LLM:

!

Хотите получить данные Twitter?

Попробуйте инструмент twitter-scraper-finetune от ai16zdao:

Просто введите одну команду, чтобы получить данные любой общедоступной учетной записи Twitter.

（Ознакомьтесь с моим предыдущим твитом для получения подробной информации о методе действий）

!

Ссылка на твит с изображением

Рекомендация источника данных: elfa ai (в настоящее время находится в стадии закрытого тестирования, вы можете отправить личное сообщение tethrees для получения доступа)

Их API предоставляет:

Самый популярный твит

Интеллектуальная фильтрация поклонников

Последний $ упомянутый контент

Проверка кредитной истории аккаунта (для фильтрации спама)

Очень подходит для высококачественных данных для обучения искусственного интеллекта!

!

Для краткого изложения документов: попробуйте NotebookLM от Google.

Загрузите любой PDF/TXT файл → позвольте ему создать примеры небольшой выборки для ваших тренировочных данных.

Отлично подходит для создания высококачественных подсказок с небольшим количеством образцов из документов!

!

Советы по хранению:

Если вы используете CognitiveCore от virtuals io, вы можете загружать сгенерированные файлы напрямую.

Если запустить Eliza от ai16zdao, данные можно непосредственно сохранить в хранилище векторов.

Профессиональный совет: четкие данные важнее яркой архитектуры!

!

«Исходная ссылка».