機械学習と生成 AI の記事

継続的インテグレーション (CI) と継続的デリバリー (CD) は、従来のソフトウェア開発では以前から一般的な手法でしたが、機械学習の分野ではここ数年でようやく追いついてきました。 この記事では、ML における CI/CD の課題とその克服方法、そしてその過程で役立つツールについて説明します。   継続的インテグレーションとは何ですか? 継続的インテグレーションは、ソフトウェアおよび機械学習 (ML) モデル開発のための共同作業です。CI では、個別に作業して最後に作業をマージするのではなく、コード変更を共有リポジトリに頻繁に統合することを推奨しています。開発者がコードを完成させるたびに、メインのコードベースにマージされます。このプロセスは自動化されており、コードをコンパイルしてテストを実行し、すべてが正しく機能することを確認します。問題を早期に特定することで、CI はチームワークを促進し、コードの品質を高め、将来的に大きな問題が発生するのを防ぎます。 MLOps における継続的インテグレーションとは何ですか? MLOpsでは、継続的インテグレーションでは、機械学習コードの変更を共有バージョン管理リポジトリに頻繁にマージします。このプラクティスに続いて、既存の ML...

毎秒多数の取引や交換が行われる複雑な金融の世界では、すべてがスムーズに機能することを保証する重要な枠組みが存在します。それが規制遵守です。規制遵守とは、金融市場をすべての人にとって安全かつ公正に保つために、確立された法律やガイドラインに従うことです。これにより、銀行やその他の金融機関は、顧客と経済の安定性の両方を保護する方法で運営されることが保証されます。 この記事では、規制コンプライアンスの意味を簡単に説明し、それがなぜ重要なのか、それがあなたや私たちを取り巻く金融界にどのような影響を与えるのか、そして AI の急成長によってどのようなリスクと機会がもたらされたのかを説明します。 また、Weights & Biases などのツールを活用することで、安心感と実行速度の両方が実現できる方法についても説明します。 金融における規制遵守入門 新しい銀行本部の建設を監督していると想像してください。安全で、回復力があり、信頼できるものにすることを優先するでしょう。同様に、金融セクターでは、規制遵守が、機関と市場全体の金融アーキテクチャを安定させ、保護する強固な基盤を形成します。規制は、銀行、投資会社、その他の金融機関が政府および規制機関によって確立されたフレームワークに厳密に従うことを確実にするために、細心の注意を払って設計されています。これは、単に彼らの利益のためだけではなく、セクターの完全性とより広範な経済の健全性を保護するためでもあります。Weights & Biases は、機関が AI 展開を完全なトレーサビリティで管理および追跡し、すべての AI 主導の金融モデルが規制基準に準拠していることを保証するのに役立ちます。 コンプライアンスは、不適合に対処することだけではありません。金融セクター内での公平性、透明性、誠実性の促進も含まれます。たとえば、退職金に充てられる資金などの顧客資産を金融機関が管理する場合、これらのリソースが慎重かつ倫理的に管理されているという暗黙の信頼が存在します。Weights & Biases...

不正行為の検出は、金融業界の健全性を守る上で重要な要素です。資産を保護し、顧客の信頼を維持することで、効果的な不正行為検出戦略は、金銭的損失を防ぎ、金融システムの円滑な運用を確保する上で不可欠です。 この記事では、特に銀行業界における詐欺行為を防止するために人工知能 (AI) を活用する手法を構造的に分析します。 不正検出とは何ですか? 銀行業界における不正検出には、金融取引や口座操作における不正行為を示唆する可能性のある異常なパターン、行動、または活動を特定することが含まれます。 このプロセスは、金融機関とその顧客の両方の資産を保護するために不可欠です。最新の不正検出システムは、高度な分析、機械学習アルゴリズム、リアルタイム監視を活用して、潜在的な不正を特定し、防止します。膨大な量のデータを分析することで、これらのシステムは、通常の顧客行動から逸脱した異常を検出し、疑わしい取引をフラグ付けして確認し、将来の不正行為を予測することさえできます。 効果的な不正検出戦略は、金銭的損失を最小限に抑え、顧客の信頼を維持し、規制基準への準拠を確保するのに役立ちます。 銀行業界における詐欺の種類 不正行為の種類を理解することは、標的を絞った検出を開発するために不可欠です。ここでは、発生する不正行為の種類と、AI を使用して不正行為に対抗するための一般的なアプローチをいくつか紹介します。ただし、これは決して網羅的なリストではありません。 個人情報の盗難 このタイプの詐欺は、社会保障番号、口座番号、その他の識別情報などの個人情報を不正に使用して、銀行口座にアクセスしたり、作成したりするものです。これは、不正取引や口座の乗っ取りなど、さまざまな金融犯罪につながる可能性がある基本的なタイプの詐欺です。 取引詐欺 これには、顧客のアカウントに関連するさまざまな不正行為が含まれます。これには、カードスキミング、フィッシング、オンライン詐欺、不正な電信送金などが含まれますが、これらに限定されません。取引詐欺は、個人のアカウント内の資金を直接ターゲットとし、ATM、オンラインバンキング、モバイル取引など、さまざまなプラットフォームで実行される可能性があります。 ローン詐欺 これは、ローン申請プロセス中に故意に虚偽の情報を提出した場合に発生します。これには、収入を誇張したり、職歴を偽ったり、資産価値を膨らませて融資基準を満たすことが含まれます。ローン詐欺は、知らないうちに詐欺計画に巻き込まれる可能性のある個人と、金銭的損失と規制上の影響を受ける金融機関の両方に影響を及ぼします。 レベル0検出: 予防 不正検出技術を詳しく検討する前に、より高度な検出方法を適用する前に不正を防止する方法を検討することが重要です。予防策を講じることで、そもそも不正が発生する可能性を大幅に減らすことができます。...

変化の激しい金融の世界では、モデルの使用が大きな決断を下す上で極めて重要になっています。これらのモデルは、銀行やその他の金融機関がリスクを把握し、株式や債券などの価値を評価し、将来の市場動向を予測するのに役立ちます。しかし、これらのモデルは役立つ一方で、モデル リスクと呼ばれる一定レベルのリスクも伴います。 この記事では、金融におけるモデルリスク管理 (MRM) とは何か、なぜそれが重要なのか、これらのモデルを効果的に使用する際に関連するリスクを管理する方法、そして、セキュリティと安定性に必要な透明性と、先行するために必要な反復速度を提供するために、重みとバイアスをワークフローに組み込む方法について説明します。 導入 金融機関がリスク評価、信用供与先の決定、戦略の通知など、あらゆることに複雑な機械学習モデルを利用するケースが増えているため、セーフティネットの必要性が明らかになっています。このセーフティネットとは、モデルリスク管理 (MRM) です。これが何を意味するのか、またなぜ金融においてそれほど重要なのかを説明しましょう。 金融におけるモデルリスク管理とは何ですか? 金融におけるモデルリスク管理とは、機械学習モデルを使用して金融商品や投資に関する意思決定を行う際に発生するリスクを特定、評価、管理、監視する実践を指します。これらのモデルは、信用評価、市況評価、株式予測と取引、戦略的意思決定など、さまざまな目的で使用されます。 機械学習モデルは金融機関内の数多くの重要な機能を担っていますが、正しく使用および展開されなければ、重大な問題を引き起こす可能性があります。金融の世界では、その損失と責任は数百万ドル、さらには数十億ドルに及ぶ可能性があります。 こうした高度なモデルに頼れば頼るほど、誤りや誤った判断によって何か問題が起きる可能性が高くなります。しかし、競争力を維持するためにはモデルは必要です。ここでモデルリスク管理が重要になります。 モデルリスク管理の役割 モデルリスク管理は非常に重要です。なぜなら、金融モデルの不正確さや欠陥は、大きな財務損失、不適切なビジネス上の意思決定、規制上の罰則につながる可能性があるからです。モデルリスク管理には、期待どおりの結果が得られるようにテストと監視を行うことが含まれます。MRM は金融業界の品質管理と考えてください。これらのリスクが適切に管理されないと、大きな財務損失、市場の不安定化、企業の評判の低下につながる可能性があります。 この記事では、モデルリスク管理の基本から金融機関がモデル関連のリスクを管理する方法まで、モデルリスク管理の要点を探ります。 MRMの進化 まず、MRM が長年にわたってどのように変化してきたか、そしてそれが今日なぜ重要であるかを探ってみましょう。...

AI アプリケーションの開発と運用のためのツール スイートである Weave の一般公開を発表できることを非常に誇りに思っています。 にリダイレクトします https://wandb.ai/wandb/weave-announcement/reports/Weave-Simple-tools-for-applying-Generative-AI–Vmlldzo3NDE0Mjcx

データと計算リソースがますますアクセスしやすくなったため、機械学習 (ML) モデルの構築は以前ほど困難ではなくなりました。そのため、さまざまな規模や業界の企業がデータ サイエンス チームに投資し、ML を通じてビジネス価値を提供しています。 しかし、本当の課題は、ML モデルの構築だけにとどまりません。従来のソフトウェア システムとは対照的に、ML システムのパフォーマンスは急速に低下する可能性があるため、綿密な監視と頻繁な再トレーニングが必要になります。したがって、重要な課題は、統合された ML パイプラインを構築し、それを本番環境で継続的に運用することです。 この記事では、以下のトピックを取り上げながら、ML システムに DevOps (開発と運用) の原則を適用して ML システムを開発および運用する方法について説明します。 MLOps...

ML モデルレジストリの紹介 急速に変化する機械学習の世界では、大量の高性能モデルが革新的な生産ソリューションの基盤となっており、堅牢で安全かつアクセスしやすいインフラストラクチャがML チームの作業を管理および整理するために不可欠です。 MLモデル レジストリの登場です。モデル レジストリは、ML チームがチームのモデルを保存、カタログ化、アクセス、配布、デプロイするための配布センターと集中ハブの両方であり、運用モデルの唯一の信頼できる情報源でもあります。効果的なモデル レジストリは、モデルの共有、バージョン管理、追跡を通じてシームレスなモデル管理を実現します。これにより、ML チームはより効率的にコラボレーションし、より迅速に実験を行い、より高性能なモデルを自信を持って運用環境にデプロイできます。 モデル開発、ソフトウェア開発、MLOps チームにとって、単一のユニットと中央のコラボレーション リポジトリを持つことは、ML アクティビティの大きな力になります。また、効果的なモデル CI/CD (継続的インテグレーション/継続的デプロイメント) ワークフローの重要なコンポーネントでもあります。 これにより、ML モデルのテスト、評価、展開、監視を自動化できます。さらに、モデル レジストリは、ML...

未来がどうなるかがわかったら、あなたはどうしますか? その答えは、ある人にとっては「2017 年にビットコインを購入する」かもしれません。あるいは小売業者にとっては、「2019 年にトイレットペーパーやシリコンチップを買いだめする」かもしれません。答えが何であれ、未来に関する情報を持っていることは有利であることに同意できます。 私たちは長い間、占い師に未来がどうなるかを尋ねてきましたが、未来を予測することは依然として困難です。今日のテクノロジーをもってしても、今から 1 時間後の天気の予測は大きく外れることがあります。しかし、一部のユースケースでは、時系列の動作を十分にモデル化して、未来についてかなり正確な予測を行うことができます。 時系列分析と予測は、非常に幅広いトピックであり、圧倒される可能性があります。そこで、この記事では、それらの基本的な概念を紹介します。いくつかの概念を紹介するために、Pythonのコード例とライブラリstatsmodels [10]のメソッドを使用します。さあ、始めましょう！ 目次 時系列予測と時系列分析の定義 時系列分析と予測のユースケース 時系列分析の基礎 時系列予測の基礎 結論 参考文献 時系列予測と時系列分析の定義 このセクションでは、時系列、時系列分析、時系列予測という 3 つの重要な用語を定義します。...

最高のチョコレートチップクッキーのレシピを開発しようとしていると想像してください。 最初の試行の後は、小麦粉の量を増やしてもよいでしょう。 たまにはチョコチップをもっと加えてもいいかもしれません。 今度はくるみを加えて試してみてはいかがでしょうか。 最終的に、十数のレシピを試したかもしれませんが、どれが一番美味しかったでしょうか? このプロセス中にメモを取ることが良い考えであることにあなたも同意すると思います。 各レシピの材料と、出来上がったクッキーの味を書き留めておくとよいでしょう。 このアプローチは、機械学習 (ML) モデルの開発にも当てはまります。 材料などの入力の小さな変更が、クッキーの味などの結果に大きな影響を与える可能性があるため、ML モデルの開発には多くの実験が必要です。 したがって、何がうまくいき、何がうまくいかなかったかを見失わないようにするために、実験を追跡することは良い考えです。 この記事では次のことについて説明します。 目次 機械学習における実験追跡とは何ですか? ML 実験を追跡する必要があるのはなぜですか? 機械学習の実験をどのように追跡しますか? 結論...

導入 レシピの材料は重要な役割を果たしますが、手順も同様に重要です。同じ材料でも、クッキーを 160°C で 20 分間焼くか、180°C で 12 分間焼くかによって結果が大きく変わります。 では、これは機械学習 (ML) とどのような関係があるのでしょうか。ML では、データ、前処理、モデルの選択が重要な役割を果たします。ただし、モデルのハイパーパラメータも ML モデルのパフォーマンスに大きな影響を与える可能性があります。 ただし、ML モデルに適切なハイパーパラメータを選択するのは時間がかかる場合があります。この記事では、ハイパーパラメータとは何か、ハイパーパラメータを調整することがなぜ重要なのか、ハイパーパラメータを調整する方法、ハイパーパラメータの最適化を自動化する 3 つの異なるアルゴリズムについて概要を説明します。 目次...

ソフトウェア エンジニアリングでは、変更を追跡し、追跡可能性を確保し、コラボレーションを可能にするためにバージョン管理を使用するのが一般的です。しかし、バージョン管理はソフトウェア開発に役立つだけでなく、機械学習 (ML) にも不可欠です。ソース コードのバージョン管理だけでなく、ML の重要な成果物であるデータとモデルのバージョン管理も必要です。 この記事では、バージョン管理全般について簡単に復習し、ML でのバージョン管理の使用方法について説明します。次に、データとモデルのバージョン管理が重要な理由について説明します。 ここで取り上げる内容は次のとおりです: 目次 バージョン管理の基礎 機械学習におけるバージョン管理 機械学習におけるバージョン管理のベストプラクティス 結論 参考文献 この記事は、MLOps に関連する短い記事シリーズの 3 番目です。機械学習における実験追跡とハイパーパラメータ最適化に関する以前の記事を必ず読んでください。 バージョン管理の基礎...

OpenAI の ChatGPTのリリースにより、実稼働中の大規模言語モデル (LLM)のパンドラの箱が開かれたように感じられます。隣人が人工知能に関する雑談であなたを煩わせるだけでなく、機械学習 (ML) コミュニティでは「LLMOps」という新たな用語が話題になっています。 LLM は、AI を活用した製品の構築と保守の方法を変えています。これにより、LLM を活用したアプリケーションのライフサイクルのための新しいツール セットとベスト プラクティスが生まれます。 この記事では、まず、新しく登場した用語「LLMOps」とその背景について説明します。次に、LLM を使用した AI 製品の構築が従来の ML モデルとどのように異なるかについて説明します。そして、これらの違いに基づいて、MLOps と LLMOps...