プログラミング
この記事では、データ分析や機械学習で重要な「特徴スケーリング」の基礎について解説します。特徴スケーリングはデータを整理し、モデルの精度と計算効率を向上させるために不可欠です。標準化と正規化の2つの主要な方法を紹介し、それぞれの適用場面につい…
データサイエンティストがデータを扱う際に避けて通れない「不均衡データ」について解説します。不均衡データの確認方法から、オーバーサンプリングやアンダーサンプリングなど、データのバランスを改善するための具体的な手法を紹介し、どのようなケースで…
Notionを使ってデータサイエンスコンペのタスク管理を効率化する方法を紹介します。締切に追われることなく、プロジェクトを成功に導くための具体的な手順を解説しています。ガントチャートを活用して進行状況を視覚的に管理し、リマインダー機能で締切を守…
この記事では、Kaggleの環境でインターネット接続がない状況下で必要なパッケージをインストールし、モデルを使用するための具体的な手順を解説します。特に、bitsandbytesパッケージとOpenMathモデルの設定について詳しく説明します。
数学モデルを利用しようとした際に発生したエラーについて解決方法を解説します。エラーの原因として、モデルIDが正しくない可能性があります。そのため、正しいモデルIDを取得し、再度確認します。
プログラミング教育の中で計算論的思考に焦点を当て、その歩みと現在の状況、さらなる向上のための提案を探ります。計算論的思考の発展と教育への応用について、議論を深めます。
今日も元気にモデリング。このエラーがまた出た。 AttributeError: module 'numpy' has no attribute 'object'. `np.object` was a deprecated alias for the builtin `object`. To avoid this error in existing code, use `object` by itself. Doing this …
エンジニアリングにおいて、コード理解はスキル向上に不可欠です。しかし、コード理解にはどのくらい時間がかかり、また何がその妨げになるのか？今回の研究では、開発者がどれくらいの時間をコード理解に費やしているのかや、その要因に焦点を当てています…
どうも、最近残業多かった男です。５月病を乗り越えました。今回はズバリミスについてのお話です。 次は気をつけようではミスは減らないは科学的に正しい 参考文献[1]では、間違いを犯さないように注意を促すなど人々を変えることに重点を置いた解決策は、間…
みなさんは良いコードとは？という問いに答えられるでしょうか？私は答えられなくて日々苦労しております。可読性とかいう概念はある程度わかってきたものの、コーディングスキルとは何か、どうすれば伸びるのかという部分に関しては割と明確な答えがないよ…
LDAで個人的に良かったサイトまとめました。いや、手抜きじゃないよ笑。 概要 tips-memo.com 原著論文の解説。これでLDAの概要をサクッと把握できる。 さらに深掘り トピックモデルの話 from kogecoo www.slideshare.net LSIとかLDAの前の経緯とかについて書…
最近エンジニアやプログラマーはIT業界にお金が流れている関係でそこそこ人気。でも物事が複雑になりすぎて「どんなスキルが必要なの？」とか「どれくらいの習熟が必要なの？」みたいなところまで複雑になっている気がします。データサイエンスなんかもまさ…
先輩がlambdaなるものをコードで書いていて「なんじゃこりゃ？」と思って調べました。どうやら無名関数というものらしいです。こちらが簡潔に書いてあって概要は掴めます。qiita.com そのまま引用させていただくと、無名関数だけあって書くのは楽に見えます…
文書を分割する際にnltkを使用したのですが、まあ案の定うまくいかなかったのでメモ。 from nltk import tokenize train['sentense'] = train['text（カラム名）'].apply(lambda x: tokenize.sent_tokenize(x)) で以下のエラーメッセージ。``` LookupError: …
皆様プログラミングの勉強ははかどってますか？私ははかどってないので今日も今日とてプログラミング向上について論文を漁っております。というわけで今回はゲームとプログラミングについて調べた論文をご紹介します。 ボクシングのゲームでシーケンスが上手…
仕事でARIMAモデルを使ってことあるのに、ろくにトレンドとか意識していなかったので反省を込めてメモ。 時系列のトレンドを超ざっくり言うと、時系列に長期的な変化のこと。増加傾向は年々多くの人がその対象を知るようになり、市場が拡大していることの影…
良いか、SQLという言語はなぁ、、 FROM ↓ JOIN ON ↓ WHERE ↓ GROUP BY ↓ HAVING ↓ SELECTの順で動くんだ！これが原理原則だ！！これを腹落ちするまで理解できないと、休日を返上する羽目になるんだ。。
今回は意外に語られていない（？）テストデータの分割についてのメモです。「特徴量エンジニアリングは終わりがないし、初心者なのでとりあえずモデルに入れてみたい！」とは思うものの、モデルにどうやって入れれば良いかがわかりませんでした。どのタイミ…
皆様は独学してますか？このブログを読んでいる方なので日々勉強している方も多いとは思います。ですが、「なかなか時間が取れない！」「時間はあるけど思うような成果は出ない。。」そういう方も多いでしょう。そんな人の強い味方（？）としてひろゆきさん…
なんか偉そうなタイトルですいません。SQLとはデータサイエンティストやデータアナリストなどの職種では必須のプログラミング言語です。そこについて知識と経験が溜まってきたのでここいらでその辺りを紹介します。 初心者でSQLの本を探している人本の中身が…
プログラミングの人気が無いのは世界共通。テック企業がブイブイいわせている昨今では親御さんも教えるのに苦労されているのでは無いかと思うこの頃です。 そんな中で「スクラッチは頼んでやっている！」という研究がありましたのでご紹介。子供に習わせたい…
プログラミングしんどい。。。あいも変わらずプログラミングには困らされてばかりの毎日です。何がシンドイって、「何が分からないのか分からないこと」だったりするわけです。 そんな中、「プログラミングってどこが難しいの？」というところを調査してくれ…
以前にもちょろっと取り上げたんですが、kaggleという技術コンペがあります。 Kaggle: Your Machine Learning and Data Science Community 今まで実務で忙しかったんで後回しにしていたんですが、退職して時間に余裕ができたんで登録してみました。kaggleの…
最近は技術メモばかりで恐縮です。PCの動きが良くなくて、「そろそろ替え時かなー」とか思ってたんで、バックアップ代わりに外付けのHDDを購入したんですね。I-O DATA HDD ポータブルハードディスク 2TB USB3.0バスパワー対応 日本製 EC-PHU3W2D発売日: 2016…
なんか自然数を与える。するとその数までで、３で割れるものはBUZZ、５で割れるものはFIZZ、３でも５でも割れるものはBUZZ FIZZを出力するコードを書いてみました。 x = input() y = int(float(x))#python comment out for i in range (1,y): if i % 15 == 0…
計算的思考というのが注目されつつあります。計算論的思考とは｜テクノロジーに強くなるための思考｜探究型プログラミング教室アルスクールのブログ 当ブログでもかなーり前に取り上げたことがあるんですが、内容が抽象的過ぎる トレーニングが分からないな…
というわけで自分もGWは自粛をしておりました。ブログも書こうと思えば書けたんですがね。それはさておき、今回はプログラマーの話。私みたいなめんどくさがりは最短でトップに食い込みたいと思ってしまうのですが、そういう人でなくともトッププログラマー…
プログラミング学習に関しては玉石混合だったりします。と言うのも、プログラミング教育自体がまだ新しいためです。そんなわけでゲームを用いてやったりだとか、プログラミングスクールだったりとかが出てきています。私個人としては「計算思考」と言う概念…
Javaやeclipceを放置していて久しいので、今回はeclipceで簡単なプログラムを作ってみようかと思います。１、eclipceを起動 こちらが起動画面でした。いやはや、懐かしい。２、パッケージエクスプローラーを表示 現在はプロジェクトエクスプローラーになって…
不定期となってしまった小ネタ集。今回はAI関連にしぼって紹介していきます。 データサイエンスとデータエンジニアの違い 以下の記事では「データサイエンスってなんぞや？」について調べられたことが書いてあります。サクッとしてて良いです。https://www.y…
