Большая языковая модель Code Llama, настроенная на задачи кодирования, которую на днях запустила Meta (Facebook), вызвала ажиотаж среди программистов в сети.
Испанский профессор и компьютерный инженер Альваро Синтас проверил его на ChatGPT и поделился выводами.
Альваро использовал ChatGPT с GPT-3.5 и Code Llama Instruct — 34B через Perplexity. Большую часть времени Perplexity печатал код без отступов и добавлял отступы вручную.
Prompt: «Используйте Python. Вам предоставлены две строки word1 и word2. Объедините строки, добавляя буквы в дежурстве, начиная со слова1. Если строка длиннее другой, добавьте дополнительные буквы в конце объединенной строки.
Вернуть объединенную строку».
Prompt: «Используйте Python. Дана строка s, переворачивает только все гласные в строке и возвращает ее.
Гласные — «а», «е», «и», «о» и «у», и они могут появляться как в нижнем, так и в верхнем регистрах, более одного раза.
Prompt: «Используйте Python. Даны целый массив nums, переместите все 0 в его конец, сохраняя относительный порядок ненулевых элементов.
Обратите внимание, что вы должны это сделать на месте, не создавая копию массива».
Prompt: «Используйте Python. У вас есть длинная клумба, на которой часть участков засажена, а часть нет. Однако на соседних участках цветы сажать нельзя.
Дана клумба с массивом целых чисел, содержащая 0 и 1, где 0 означает пустую, а 1 означает не пустую, и целое число n, возвращает true, если n новых цветов можно высадить на клумбе без нарушения правила запрета соседних цветов, и false в в другом случае».
Prompt: «Используйте Python. Дана входная строка s, изменить порядок слов на обратную.
Слово определяется как последовательность символов, не являющихся пробелами. Слова s будут разделены по крайней мере одним пробелом.
Возвращает строку слов в обратном порядке, объединенных одним пробелом.
Обратите внимание, что s может содержать пробелы в начале или конце или несколько пробелов между двумя словами. Возвратная строка должна содержать только один пробел между словами. Не добавляйте лишних пробелов».
Prompt: «Используйте Python. Дана строка s и целое число k, поверните максимальное количество гласных букв в любой подстроке s длиной k.
Голосовые буквы в английском языке: «a», «e», «i», «o» и «u».
Prompt: «Используйте Python. Вам предоставлена строка s, содержащая звездочки*.
За одну операцию вы можете:
Вывод:
Prompt: «Используйте Python. Учитывая, что массив целых температур представляет суточную температуру, верните ответ массива так, чтобы ответ [i] был количеством дней, которые вам нужно ждать после i-го дня, чтобы получить более высокую температуру. Если нет будущего дня, для которого это возможно, сохраните answer[i] == 0».
Из восьми задач, которые программист поставил обеим моделям, ChatGPT справился с 8 из 8, а CodeLlama с 5 из 8.
Инженер акцентирует, что вопросы были выбраны случайным образом.
