05 generate embeddings

%23!%2Fusr%2Fbin%2Fenv%20python3%0A%22%22%22%0ANAICS%20Embedding%20Generator%0A%0AGenerate%20vector%20embeddings%20for%20semantic%20search.%0ARun%20as%20script%3A%20python%2005_generate_embeddings.py%0ARun%20interactive%3A%20marimo%20edit%2005_generate_embeddings.py%0A%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.19.11%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20NAICS%202022%20Embedding%20Generator%0A%0A%20%20%20%20This%20notebook%20generates%20**384-dimensional%20vector%20embeddings**%20for%20semantic%20search%0A%20%20%20%20using%20the%20%60all-MiniLM-L6-v2%60%20model%20from%20Sentence%20Transformers.%0A%0A%20%20%20%20Embeddings%20are%20created%20from%20%60raw_embedding_text%60%20which%20combines%3A%0A%20%20%20%20-%20Title%0A%20%20%20%20-%20Description%20(first%20500%20chars)%0A%20%20%20%20-%20Top%2010%20index%20terms%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20duckdb%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20sentence_transformers%20import%20SentenceTransformer%0A%20%20%20%20import%20time%0A%0A%20%20%20%20return%20Path%2C%20SentenceTransformer%2C%20duckdb%2C%20np%2C%20time%0A%0A%0A%40app.cell%0Adef%20_(Path)%3A%0A%20%20%20%20%23%20Configuration%0A%20%20%20%20PROJECT_ROOT%20%3D%20Path(__file__).parent.parent%20if%20%22__file__%22%20in%20dir()%20else%20Path.cwd().parent%0A%20%20%20%20DB_PATH%20%3D%20PROJECT_ROOT%20%2F%20%22data%22%20%2F%20%22naics.duckdb%22%0A%20%20%20%20MODEL_NAME%20%3D%20%22all-MiniLM-L6-v2%22%0A%20%20%20%20BATCH_SIZE%20%3D%2032%0A%0A%20%20%20%20print(f%22Database%20path%3A%20%7BDB_PATH%7D%22)%0A%20%20%20%20print(f%22Model%3A%20%7BMODEL_NAME%7D%22)%0A%20%20%20%20return%20BATCH_SIZE%2C%20DB_PATH%2C%20MODEL_NAME%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%201%3A%20Load%20Embedding%20Model%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(MODEL_NAME%2C%20SentenceTransformer%2C%20time)%3A%0A%20%20%20%20print(f%22Loading%20model%20%7BMODEL_NAME%7D...%22)%0A%20%20%20%20_start%20%3D%20time.time()%0A%0A%20%20%20%20model%20%3D%20SentenceTransformer(MODEL_NAME)%0A%0A%20%20%20%20_elapsed%20%3D%20time.time()%20-%20_start%0A%20%20%20%20print(f%22Model%20loaded%20in%20%7B_elapsed%3A.1f%7Ds%22)%0A%20%20%20%20print(f%22Embedding%20dimension%3A%20%7Bmodel.get_sentence_embedding_dimension()%7D%22)%0A%20%20%20%20return%20(model%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%202%3A%20Load%20Codes%20for%20Embedding%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(DB_PATH%2C%20duckdb)%3A%0A%20%20%20%20%23%20Connect%20to%20database%0A%20%20%20%20conn%20%3D%20duckdb.connect(str(DB_PATH))%0A%0A%20%20%20%20%23%20Get%20codes%20that%20need%20embeddings%0A%20%20%20%20df_codes%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20node_code%2C%20title%2C%20raw_embedding_text%0A%20%20%20%20%20%20%20%20FROM%20naics_nodes%0A%20%20%20%20%20%20%20%20WHERE%20raw_embedding_text%20IS%20NOT%20NULL%0A%20%20%20%20%20%20%20%20ORDER%20BY%20node_code%0A%20%20%20%20%22%22%22).fetchdf()%0A%0A%20%20%20%20print(f%22Codes%20to%20embed%3A%20%7Blen(df_codes)%7D%22)%0A%20%20%20%20df_codes.head()%0A%20%20%20%20return%20conn%2C%20df_codes%0A%0A%0A%40app.cell%0Adef%20_(df_codes)%3A%0A%20%20%20%20%23%20Check%20embedding%20text%20quality%0A%20%20%20%20df_codes%5B%22text_len%22%5D%20%3D%20df_codes%5B%22raw_embedding_text%22%5D.str.len()%0A%20%20%20%20print(%22Embedding%20text%20length%20statistics%3A%22)%0A%20%20%20%20print(df_codes%5B%22text_len%22%5D.describe())%0A%0A%20%20%20%20%23%20Sample%20embedding%20text%0A%20%20%20%20_sample%20%3D%20df_codes%5Bdf_codes%5B%22node_code%22%5D%20%3D%3D%20%22445110%22%5D.iloc%5B0%5D%0A%20%20%20%20print(f%22%5CnSample%20embedding%20text%20for%20445110%3A%22)%0A%20%20%20%20print(_sample%5B%22raw_embedding_text%22%5D%5B%3A300%5D%20%2B%20%22...%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%203%3A%20Generate%20Embeddings%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(BATCH_SIZE%2C%20df_codes%2C%20model%2C%20np%2C%20time)%3A%0A%20%20%20%20%23%20Generate%20embeddings%20in%20batches%0A%20%20%20%20texts%20%3D%20df_codes%5B%22raw_embedding_text%22%5D.tolist()%0A%20%20%20%20codes%20%3D%20df_codes%5B%22node_code%22%5D.tolist()%0A%0A%20%20%20%20print(f%22Generating%20embeddings%20for%20%7Blen(texts)%7D%20codes...%22)%0A%20%20%20%20print(f%22Batch%20size%3A%20%7BBATCH_SIZE%7D%22)%0A%0A%20%20%20%20_start%20%3D%20time.time()%0A%20%20%20%20_all_embeddings%20%3D%20%5B%5D%0A%0A%20%20%20%20for%20_i%20in%20range(0%2C%20len(texts)%2C%20BATCH_SIZE)%3A%0A%20%20%20%20%20%20%20%20_batch_texts%20%3D%20texts%5B_i%3A_i%2BBATCH_SIZE%5D%0A%20%20%20%20%20%20%20%20_batch_embeddings%20%3D%20model.encode(_batch_texts%2C%20show_progress_bar%3DFalse)%0A%20%20%20%20%20%20%20%20_all_embeddings.extend(_batch_embeddings)%0A%0A%20%20%20%20%20%20%20%20if%20(_i%20%2B%20BATCH_SIZE)%20%25%20100%20%3D%3D%200%20or%20_i%20%2B%20BATCH_SIZE%20%3E%3D%20len(texts)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20Processed%20%7Bmin(_i%20%2B%20BATCH_SIZE%2C%20len(texts))%7D%2F%7Blen(texts)%7D%22)%0A%0A%20%20%20%20embeddings%20%3D%20np.array(_all_embeddings)%0A%20%20%20%20_elapsed%20%3D%20time.time()%20-%20_start%0A%0A%20%20%20%20print(f%22%5CnGenerated%20%7Blen(embeddings)%7D%20embeddings%20in%20%7B_elapsed%3A.1f%7Ds%22)%0A%20%20%20%20print(f%22Embedding%20shape%3A%20%7Bembeddings.shape%7D%22)%0A%20%20%20%20return%20codes%2C%20embeddings%2C%20texts%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%204%3A%20Store%20Embeddings%20in%20Database%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Create%20embeddings%20table%0A%20%20%20%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20CREATE%20TABLE%20IF%20NOT%20EXISTS%20naics_embeddings%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20node_code%20VARCHAR%20PRIMARY%20KEY%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20embedding%20FLOAT%5B384%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20embedding_text%20VARCHAR%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20%23%20Clear%20existing%0A%20%20%20%20conn.execute(%22DELETE%20FROM%20naics_embeddings%22)%0A%20%20%20%20print(%22Embeddings%20table%20ready%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(codes%2C%20conn%2C%20embeddings%2C%20texts)%3A%0A%20%20%20%20%23%20Insert%20embeddings%0A%20%20%20%20%23%20DuckDB%20can%20handle%20array%20inserts%0A%20%20%20%20print(%22Inserting%20embeddings...%22)%0A%0A%20%20%20%20for%20_idx%2C%20(_code%2C%20_emb%2C%20_text)%20in%20enumerate(zip(codes%2C%20embeddings%2C%20texts))%3A%0A%20%20%20%20%20%20%20%20%23%20Convert%20numpy%20array%20to%20list%20for%20DuckDB%0A%20%20%20%20%20%20%20%20_emb_list%20%3D%20_emb.tolist()%0A%20%20%20%20%20%20%20%20conn.execute(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INSERT%20INTO%20naics_embeddings%20(node_code%2C%20embedding%2C%20embedding_text)%20VALUES%20(%3F%2C%20%3F%2C%20%3F)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_code%2C%20_emb_list%2C%20_text%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20(_idx%20%2B%201)%20%25%20200%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20Inserted%20%7B_idx%20%2B%201%7D%2F%7Blen(codes)%7D%22)%0A%0A%20%20%20%20print(f%22Inserted%20all%20%7Blen(codes)%7D%20embeddings%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Verify%0A%20%20%20%20_count%20%3D%20conn.execute(%22SELECT%20COUNT(*)%20FROM%20naics_embeddings%22).fetchone()%5B0%5D%0A%20%20%20%20print(f%22Total%20embeddings%20in%20database%3A%20%7B_count%7D%22)%0A%0A%20%20%20%20%23%20Check%20embedding%20dimensions%0A%20%20%20%20_sample%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20node_code%2C%20array_length(embedding%2C%201)%20as%20dim%0A%20%20%20%20%20%20%20%20FROM%20naics_embeddings%0A%20%20%20%20%20%20%20%20LIMIT%205%0A%20%20%20%20%22%22%22).fetchdf()%0A%20%20%20%20_sample%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%205%3A%20Test%20Similarity%20Search%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn%2C%20model%2C%20np)%3A%0A%20%20%20%20%23%20Test%3A%20Find%20similar%20codes%20to%20a%20query%0A%20%20%20%20_test_query%20%3D%20%22grocery%20store%20selling%20food%22%0A%20%20%20%20_query_embedding%20%3D%20model.encode(_test_query)%0A%0A%20%20%20%20%23%20Get%20all%20embeddings%20for%20comparison%20(in%20production%2C%20use%20vector%20index)%0A%20%20%20%20_all_emb%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20node_code%2C%20embedding%0A%20%20%20%20%20%20%20%20FROM%20naics_embeddings%0A%20%20%20%20%22%22%22).fetchall()%0A%0A%20%20%20%20%23%20Compute%20similarities%0A%20%20%20%20_similarities%20%3D%20%5B%5D%0A%20%20%20%20for%20_code%2C%20_emb%20in%20_all_emb%3A%0A%20%20%20%20%20%20%20%20_emb_array%20%3D%20np.array(_emb)%0A%20%20%20%20%20%20%20%20%23%20Cosine%20similarity%0A%20%20%20%20%20%20%20%20_sim%20%3D%20np.dot(_query_embedding%2C%20_emb_array)%20%2F%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20np.linalg.norm(_query_embedding)%20*%20np.linalg.norm(_emb_array)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_similarities.append((_code%2C%20_sim))%0A%0A%20%20%20%20%23%20Sort%20by%20similarity%0A%20%20%20%20_similarities.sort(key%3Dlambda%20x%3A%20x%5B1%5D%2C%20reverse%3DTrue)%0A%0A%20%20%20%20print(f%22Query%3A%20'%7B_test_query%7D'%22)%0A%20%20%20%20print(%22%5CnTop%2010%20most%20similar%20codes%3A%22)%0A%20%20%20%20for%20_code%2C%20_sim%20in%20_similarities%5B%3A10%5D%3A%0A%20%20%20%20%20%20%20%20_title%20%3D%20conn.execute(f%22SELECT%20title%20FROM%20naics_nodes%20WHERE%20node_code%20%3D%20'%7B_code%7D'%22).fetchone()%5B0%5D%0A%20%20%20%20%20%20%20%20print(f%22%20%20%5B%7B_code%7D%5D%20%7B_title%5B%3A50%5D%3A50s%7D%20(similarity%3A%20%7B_sim%3A.3f%7D)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%206%3A%20Final%20Statistics%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Coverage%20statistics%0A%20%20%20%20stats%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20n.level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(n.node_code)%20as%20total_codes%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(e.node_code)%20as%20with_embeddings%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20ROUND(100.0%20*%20COUNT(e.node_code)%20%2F%20COUNT(n.node_code)%2C%201)%20as%20coverage_pct%0A%20%20%20%20%20%20%20%20FROM%20naics_nodes%20n%0A%20%20%20%20%20%20%20%20LEFT%20JOIN%20naics_embeddings%20e%20ON%20n.node_code%20%3D%20e.node_code%0A%20%20%20%20%20%20%20%20GROUP%20BY%20n.level%0A%20%20%20%20%20%20%20%20ORDER%20BY%20n.level%0A%20%20%20%20%22%22%22).fetchdf()%0A%0A%20%20%20%20print(%22Embedding%20coverage%20by%20level%3A%22)%0A%20%20%20%20stats%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20conn.close()%0A%20%20%20%20print(%22Database%20connection%20closed.%20Embeddings%20generated%20successfully!%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20Generated%20**384-dimensional%20embeddings**%20for%20all%20NAICS%20codes%20using%3A%0A%20%20%20%20-%20Model%3A%20%60all-MiniLM-L6-v2%60%0A%20%20%20%20-%20Input%3A%20title%20%2B%20description%20%2B%20index%20terms%0A%20%20%20%20-%20Storage%3A%20DuckDB%20array%20column%0A%0A%20%20%20%20The%20embeddings%20enable%3A%0A%20%20%20%20-%20Semantic%20similarity%20search%0A%20%20%20%20-%20%22Find%20similar%20industries%22%20functionality%0A%20%20%20%20-%20Hybrid%20search%20(semantic%20%2B%20lexical)%0A%0A%20%20%20%20**Next%20step%3A**%20Run%20%6099_explore_database.py%60%20to%20interactively%20explore%20the%20data.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A