以前のエントリーでカタログスペックテキストから 日本語LLM ELYZA を使って情報を抜き出すことを試しました。 これを GPT-4oで試してみます。 今回は Python ではなく Kotlin スクリプトを使い、直接 OpenAI API にアクセスします。
Open AI API の Chat Completions API の使い方はこちらをご覧ください。
もし GPT-4o が十分に性能が高ければカタログスペックテキスト校正の支援ができるのではないか？と期待したり。
» Read MoreGPT-4o ( gpt-4o-2024-05-13 ) が出たので、兼好法師に質問するときにこのモデルを使ってみた。 基本的には、前回のエントリー(LangChain RetrievalQA を使って兼好法師に質問するその２) と同じ。 ただし、実際にやってみると以前のコードのままでは肝心の Q&A する部分が 作動しなかったので、その部分は調整しました。
» Read More今回は、 前回の Embeddings の計算を OpenAIのそれではなく、Multilingual-E5-base に代えて RetrievalQA してみます。 なお、RetrievalQA の処理自体は引き続き OpenAI の LLM を使用します。
対象とするコンテンツ（ 現代語訳 徒然草 (吉田兼好著・吾妻利秋訳) ）の準備やコードは （Embeddings 計算を除いて） 前回を踏襲します。
» Read More現代語訳 徒然草 (吉田兼好著・吾妻利秋訳)と LangChainをつかって 吉田兼好に人生の悩みを質問してみる。
現代語訳 徒然草 をデータとして RetrievalQA を使うことで、 最終的に次のような質問から回答を得ることができました。
(質問) その道のプロとしてふさわしい立ち振舞について教えてください。
(質問) 専門家が陥りがちな間違いや見苦しい行為にはどんなことがありますか？
・・・なかなか興味深い。
» Read Moretorch_dtype=torch.float16 指定を外すとどうなるか試しました。
» Read Moreそこそこに速いシリコンマックで ELYZA-japanese-Llama-2-7b-fast-instruct を使って クライアントからテキストを投げると JSON文字列 を返すサーバをつくります。
» Read MoreLarge Language Model をローカルで動かす時代が到来するらしい。
Reddit には LocalLLaMA というサブレディットがあり、かなり盛り上がっている。 そこでは シリコンマックを使っているひとが結構いる。 Meta の 商用利用も可能な Llama 2 がオープンソースで提供された結果、 その派生プロジェクトがいろいろ存在している。 そのなかには、低スペックの シリコンマックでも LLM を実行できるものがある。 Pytorch もMetal 対応していて、 おそらくは、Pytorch 依存の LLM モデルについては、Linux + CUDA と同じ手順で動かせるのではないかと思う。
Pytorch を使う方法を 手元の M1 Macbook Air 8GB で試したが残念ながら作動しなかった。 たぶんメモリが足りないのだと思う。 十分メモリがあれば動くのではないかと思うが定かではない。
それでも Llama.cppと軽量化されたモデルを使うことで M1 Macbook Air 8GB でも作動させることができた。
このエントリーでは、Linux + CUDA で、 Llama 2 をベースに商用利用可能な日本語LLM ELYZA を試します。
» Read More