ISUCON12が大盛況のうちに無事終わって早3ヶ月が過ぎました。もうすっかり冬ですね。 この記事はISUCONアドベントカレンダー 2日目の記事です。 私はISUCON12の予選作問チーム(兼ポータル運用係)だったので、この記事ではISUCON12の予選作問に当たってチームでどのような出題を考えていたのか、没ネタ、やらなかったこと、やれなかったことを含めてざっくばらんに公開してしまいたいと思います。 予選に参加されたかたは、実際にどの要素が採用されていたのかなどを問題を思い出しつつ、ご笑覧ください。 アイディア出し まず最初に、予選作問チーム全員で問題の要素ネタを出しました。 箱庭諸島(CGIゲーム)みたいなやつ データベースがファイルデータベース - 初期実装がRDBじゃない - ファイルロックが必要 ユーザーアクセスのタイミングでターン進行処理がある(定期実行バッチの代わり) これを
SQLite FTS : trigram tokenizerでunigram＆bigram検索までサポート-日本語全文検索 2023.06.20 ### 前段 2023年現在、全文検索システムをセルフホストしようとした場合に、 Elasticsearch、OpenSearch、Meilisearch（最近勢いありますね） がまずメジャーどころで候補にあがるとおもいますが、これ以外にSQliteという選択肢もあります。 SQLiteには、デフォルトで有効の拡張機能として全文検索 FTS（Full-Text-Search）があります。 SQLite FTSはSQLite自体の特徴である優秀なポータビリティ、SQLで扱える習得運用コストの低さ、何より必要十分過ぎる検索速度があります。 ローカル／エッジといった環境向けなら個人的にはかなりオススメと感じています。 今回は SQLite FTS での
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
I discovered something absurd recently and I’m very excited to tell you about it. The end result is absurd-sql, and it’s a persistent backend for SQLite on the web. That means it doesn’t have to load the whole db into memory, and writes persist. In this post I will explain the absurdities of the web’s storage APIs (mainly IndexedDB), show how SQLite provides a 10x perf improvement, explain all the
WordPress running on an SQLite database. Easy to use WordPress implementation with SQLite database. SQLite has the following noticeable features: self-contained, serverless, zero-configuration, transactional. Because of the serverless architecture, you don’t need to “install” SQLite before using it. There is no server process that needs to be configured, started, and stopped. In addition, SQLite d
How (and why) to run SQLite in production: RubyConf Taiwan 2023 Hi, I’m excited that there are so many people interested in learning more about how and why to run SQLite in production. Let me start by introducing myself. My name is Stephen, and you can find me on Twitter (no, I will not call it X) at fractaledmind. I am an American who moved to Berlin Germany 5 years ago, and in only a few more we
SQLite Wasm in the browser backed by the Origin Private File System | Blog | Chrome for Developers
SQLite is a popular, open-source, lightweight, embedded relational database management system. Many developers use it to store data in a structured, easy-to-use manner. Because of its small size and low memory requirements, SQLite is often leveraged as a database engine in mobile devices, desktop applications, and web browsers. One of the key features of SQLite is that it is a serverless database,
Pssst - want to skip right to the chart? click here Background We're Wafris, an open-source web application firewall company that, among other frameworks, ships a Rails middleware client. At launch, the v1 client required a local Redis datastore to be deployed with your app. We're now releasing v2 of our Rails client which uses SQLite as the backing datastore. This article covers the decision-maki
Zero-latency SQLite storage in every Durable Object2024-09-26 Traditional cloud storage is inherently slow, because it is normally accessed over a network and must carefully synchronize across many clients that could be accessing the same data. But what if we could instead put your application code deep into the storage layer, such that your code runs directly on the machine where the data is stor
安いRDBといえばPlanetScaleのHobbyプランだったり、D1だったり、古き良きVPSでセルフマネージなんて選択肢もあるが、GCPで完結すると嬉しいだとかホストマシンの面倒を見たく無いだとか、そういう場合もあると思う。 なお今回の構成で本当に激安になるかどうか無料枠で収まるかどうか、などはインスタンス設定やワークロード次第の部分もあるので試算したり予算アラートを設定した方がいい。 また個人でのホビー用途など、データが欠損してもごめんごめんで許される用途での利用に留めておいた方が無難だとは思う。ごめんごめんで許されない場合にはCloud SQLとかへ移行するなり、最初からCloud SQLとかを採用するなりしたほうがいい。 完成品のサンプルコード これはeslint設定やらローカル環境向けのdocker-compose.ymlやらも一式入った、開発環境スターターキットになっている。
All your data infrastructure, in a gem! Litestack is a Ruby gem that provides both Ruby and Ruby on Rails applications an all-in-one solution for web application data infrastructure. It exploits the power and embeddedness of SQLite to deliver a full-fledged SQL database, a fast cache , a robust job queue, a reliable message broker, a full text search engine and a metrics platform all in a single p
This tutorial will get you up and running with Litestream locally and replicating an SQLite database to an S3-compatible store called MinIO. This works the same as Amazon S3 but it’s easier to get started. By the end, you’ll understand the replicate and restore commands and be able to continuously backup your database. It assumes you’re comfortable on the command line and have Docker installed. Pr
CI for performance: Reliable benchmarking in noisy environments by Itamar Turner-Trauring Last updated 07 Dec 2023, originally created 02 Dec 2020 You have some code—whether it’s Python, Rust, Java, or some other language—whose speed you want to measure over time. Ideally you want it to get faster, but at the very least you don’t want to get any slower. So you write a benchmark, and now you need t
Docs Index Get Started with LiteFS Toggle Get Started with LiteFS section LiteFS overview Speedrun: Adding LiteFS to your app Getting Started with LiteFS on Fly.io Getting Started with LiteFS in Docker How LiteFS Works FAQ LiteFS Cloud Toggle LiteFS Cloud section Using LiteFS Cloud for Backups Restoring from a LiteFS Cloud Backup Disaster Recovery from LiteFS Cloud Using LiteFS Toggle Using LiteFS
SpatiaLite is an open source library intended to extend the SQLite core to support fully fledged Spatial SQL capabilities. SQLite is intrinsically simple and lightweight: a single lightweight library implementing the full SQL engine standard SQL implementation: almost complete SQL-92 no complex client/server architecture a whole database simply corresponds to a single monolithic file (no size limi
SQLite-AI A powerful, lightweight, and cross-platform AI engine built into SQLite SQLite-Sync Local-first SQLite extension for seamless, conflict-free data sync and real-time collaboration across devices
As we expanded Deno KV with features like TTL, remote connections to hosted databases, read replicas for reduced latency, and Deno Queues, the issue of potential vendor lock-in emerged. We understand the importance of this concern. Deno is intentionally built on web standards. This aligns with our philosophy: knowing Deno means knowing the web, which empowers you to reach over a billion internet u
久しぶり、プログラマーのkinoppydです。前回の記事では、RubyKaigi公式スケジュールアプリ 「Schedule.select」 のデザイン刷新に関してお届けしました。 tech.smarthr.jp Schedule.selectの今年の大きなトピックは以下の5つです。 デザインの刷新 PostgreSQLからSQLite3への移行 Solid三兄弟の導入（cableはまだ使うかどうかわかりませんが……） Rails 8へのアップグレードとPWA対応 Kamalによるデプロイ 今回は第2回目として、Schedule.selectのデータベースをPostgreSQLからSQLiteへ移行したお話しをします。 目次 目次 Why SQLite PostgreSQLからSQLiteへのデータ移行 pg gem を削除し、sqlite3 gemを入れる config/database.
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
One of Notion’s core values is that feedback is a gift. Lately, the #1 piece of feedback we've heard from users has been unambiguous: Notion feels slow. We now have a dedicated group of engineers delivering meaningful changes to this user experience. This team’s first task was to make Notion pages load faster and reduce the time it takes to navigate between pages. Our first step was to add SQLite
SQLModel, SQL databases in Python, designed for simplicity, compatibility, and robustness. Documentation: https://sqlmodel.tiangolo.com Source Code: https://github.com/fastapi/sqlmodel SQLModel is a library for interacting with SQL databases from Python code, with Python objects. It is designed to be intuitive, easy to use, highly compatible, and robust. SQLModel is based on Python type annotation
sqlite-vss 入門 本文章では、sqlite-vssの入門的な使い方と、関連した知識を解説します。 現在ドラフト相当の段階のため、後に記述が変更・追加になる場合があります。 https://github.com/asg017/sqlite-vss sqlite-vss とは sqlite-vss とは、SQLiteでFaiss(ベクトル検索ライブラリ)を使えるようにする、SQLiteの拡張モジュールです。 SQLiteは言わずとも知れた組込み用のRDBMSで、多くの言語にバインディング・ドライバーが存在するとてもメジャーなRDBMSの1つです。 もう一方のFaissはFacebookが開発・公開している、密なベクトルの効率的な類似性検索とクラスタリングのためのライブラリです。 平たく言うと、sqlite-vssはSQLiteに大規模なベクトルの検索機能を追加してくれる拡張モジュール
書き込みが発生する暗黙的トランザクションも同様のロックが発生します。 ロック中の読み取りは、EXCLUSIVEロック中だけ他プロセスもリードアクセスができなくなります。これ以外のUNLOCKED 、SHARED 、RESERVED中はリードアクセス可能です。 PENDINGはSHAREDロック所有プロセスはリードアクセス可能です。新たなSHAREDロックは獲得できません。 同時読み込みをサポートする仕組みであることがわかります。ただEXCLUSIVEロック中は読み込みも失敗することに注意が必要です。 プログラム(PHP SQLIte3)に落とし込んで考えると以下のようなことがわかりました。 querySingle(“select”)、query(“select”)、prepare(“select”)等でSHAREDロックが発生する exec(“insert”)等でSHARED、RESERV
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Here’s a riddle. My web app keeps all of its data in a SQL database. I can spontaneously tear it down, deploy the code to a different hosting platform, and the app will still serve all the same data. Running my app in production costs $0.03 per month. How is this possible? That’s easy. You have a separate database server running somewhere that stores all of your app’s state. No, my app never talks
See my blog post for an introduction: https://phiresky.github.io/blog/2021/hosting-sqlite-databases-on-github-pages/ sql.js is a light wrapper around SQLite compiled with EMScripten for use in the browser (client-side). This repo is a fork of and wrapper around sql.js to provide a read-only HTTP-Range-request based virtual file system for SQLite. It allows hosting an SQLite database on a static fi
はじめに Litestream は Ben Johnson さんが開発されている SQLite のデータベースをストリーミングするソフトウェアです。 I'm All-In on Server-Side SQLite ・ Fly によると Ben Johnson さんは Fly.io にジョインしてフルタイムで Litestream の開発をすることになったそうです。良い話ですねー。 Litestream では AWS S3 互換のオブジェクトストレージが利用可能ということで、さくらインターネットのオブジェクトストレージ でも使えるようにプルリクエストを送ったところマージしていただけました。 さて、この記事では Getting Started - Litestream をさくらのオブジェクトストレージでも試してみましたので以下で手順を説明します。今回試した環境は Ubuntu 22.04 L
Disclosure: I work with one of the paper’s authors at Turso SQLite is already fast. But can we make it even faster? Researchers at the University of Helsinki and Cambridge began with this question and published a paper, “Serverless Runtime / Database Co-Design With Asynchronous I/O”. They demonstrate up to a 100x reduction in tail latency. These are my notes on the paper. This is the foundational
9月26日、Wafrisが「RedisからSQLiteへの再構築」と題したブログ記事を公開した。この記事では、Wafrisが提供するRailsクライアントのバージョン2におけるRedisからSQLiteへの移行について、その決定プロセスやパフォーマンスに関する考察、さらにアーキテクチャ変更の詳細が語られている。 以下に、その内容を紹介する。 移行の背景 Wafrisは、Railsアプリケーションに組み込むことで、HTTPリクエストに対するセキュリティルールのチェックを行うミドルウェアを提供している。Wafrisの初期バージョンであるv1は、ユーザーが自身のRedisデータストアを管理することを前提に設計されていた。この背景には、WafrisがHerokuエコシステムから誕生したことが関係しており、HerokuではRedisの導入が簡単に行える環境が整っていたためだ。さらに、Sidekiqの
CREATE TABLE sandwiches ( id INTEGER PRIMARY KEY AUTOINCREMENT, description TEXT NOT NULL, star_rating INTEGER, reviewer_id INTEGER NOT NULL ); In our hypothetical, this table backs a wildly popular sandwich-reviewing app that we keep trying to get someone to write. People eat a lot of sandwiches and this table gets a lot of writes. Because it makes my point even better and it’s funny, assume peop
個人開発楽しいですよね！ なるべく安く済ませたいので、基本はサーバレスサービスを使っていきますが、厄介なのがDB。 こいつだけはインスタンス代がそこそこかかります。 「性能は度外視で構わん。。動けばええんや。。。」 そんな要件で格安RDBをいい感じに作れないかチャレンジしてみました。 結論 EFS + SQLite3 に lambdaでマウント 追記 AWSからDSQLが公開されました！GA前ですが、素直にこれを検討するのが良いと思います。 全体構成 SQLite mysqlやpostgresなどと異なり、ファイルベースで動かせるRDBMS。〇〇.sqlite3というファイルさえ管理してしまえばOK。 以前は「本番運用でSQLiteはありえないでしょ..」という感じでしたが、 最近はlitestreamやcloudflareのD1などで結構話題となっており、商用利用でも実例が増えてきました
The data will be moved to _table_name_zstd, while table_name will be a view that can be queried as normally, including SELECT, INSERT, UPDATE, and DELETE queries. This function will not compress any data by itself, you need to call zstd_incremental_maintenance afterwards. config is a json object describing the configuration. See TransparentCompressConfig for detail. The following differences apply
ちょっとしたデータを保存するのであれば、テキストファイルを使うのが手軽で簡単です。 でも、数十～数十ギガバイトのデータから、特定の条件のものを抜き出したり集計したりする場合、データベースが不可欠です。 データベースと一言で言っても、商用データベースで有名なOracleやSQLServer、無料ながら業務で使われているPostgreSqlやMySqlなど、数多くの製品が存在しますが、ちょっとした用途で使うには向いていません。 そんな時重宝されるのがSQLiteです。 ということで、今回はC#からSQLiteを使うためのインストール方法と使い方について解説したいと思います。 SQLiteの使い方を解説しているサイトはたくさん存在しますが、他のサイトでは解説していない「SQLiteを使うために必要な手順の全体像」と「関数化した機能単位のサンプル」、そして機能単位のサンプルをクラス化した「SQLi
This is a placeholder for a terminal-like view which is not in the default build. -- ================================================== -- Use ctrl-enter or shift-enter to execute sqlite3 -- shell commands and SQL. -- If a subset of the text is currently selected, -- only that part is executed. -- ================================================== .nullvalue NULL .headers on About SQLite Fiddle cl
How the SQLite Virtual Machine Works Author Name Ben Johnson @benbjohnson @benbjohnson Image by Annie Ruygt Fly.io runs apps close to users around the world, by taking containers and upgrading them to full-fledged virtual machines running on our own hardware around the world. Sometimes those containers run SQLite and we make that easy too. Give us a whirl and get up and running quickly. SQL is a w
Package ql is a pure Go embedded SQL database.
SQLAlchemyとは SQLAlchemyは、PythonのORMの1つで、Pythonでは一番有名なORMでもあります。ORMとしては、SQLインジェクション対策が標準でサポートされています。ただのORMとしてではなく、テーブル設計を行うのにも非常に便利です。 ここではSQLAlchemyの使い方について紹介します。DBはPostgresqlやMySQLではなく、簡易的なはSQLiteを使用します。 ORMとは Object-Relational Mappingの略です。 オブジェクト志向言語のクラスとRDBとのマッピングを行ってくれるのがORMです。SQLをオブジェクト指向で書けるようになります。 ORMの利点をまとめると主に以下の2つの点があります。 異なるDBの違いを吸収する MySQLやPostgresqlといったデータベースの種類によらず、同じソースコードで操作できます。
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Setting up Litestream | Fractaled Mind 原文公開日: 2023/09/09 原著者: Stephen Margheim -- フルスタックRails開発者であり、RailsのSQLite強化作業の中心人物です。Rails 8+SQLiteによる学習動画サイトHigh Leverage Railsを主催しています。 参考: Rails 8はSQLiteで大幅に強化された「個人が扱えるフレームワーク」（翻訳）｜YassLab 株式会社 日本語タイトルは内容に即したものにしました。 また、見出しを適宜追加しています。 本記事は、Railsアプリケーションの主要な機能やパワーを犠牲にせずに、データベースエンジンとしてSQLiteを使う方法を紹介するシリーズ記事の第4弾です。今回は、SQLiteで最もよ
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Rails 7.1 comes with an optimized default SQLite3 adapter connection configuration - BigBinary Blog 原文公開日: 2023/10/30 原著者: Vishnu M 参考: 週刊Railsウォッチ20231004: SQLite3アダプタのコネクション設定のパフォーマンスチューニング Rails 7.1では、Active RecordのSQLite3アダプタのコネクション設定が現代のRailsアプリによりふさわしい形で更新されました。 設定の変更について説明する前に、PRAGMA（プラグマ）について理解しておきましょう。PRAGMAは特殊なSQLステートメントで、データベースのさまざまな振る舞いや設定をクエリまたは操作するのに用いら
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く