06 compute relationships

%23!%2Fusr%2Fbin%2Fenv%20python3%0A%22%22%22%0ANAICS%20Semantic%20Relationship%20Builder%0A%0APre-compute%20semantic%20similarity%20relationships%20between%20all%20NAICS%20codes%0Ausing%20FAISS%20for%20efficient%20similarity%20computation.%0A%0ARun%20as%20script%3A%20python%2006_compute_relationships.py%0ARun%20interactive%3A%20marimo%20edit%2006_compute_relationships.py%0A%0AThis%20creates%20the%20%60naics_relationships%60%20table%20with%20pre-computed%3A%0A-%20Same-sector%20alternatives%20(codes%20in%20the%20same%20sector)%0A-%20Cross-sector%20alternatives%20(similar%20codes%20in%20different%20sectors)%0A-%20Relationship%20statistics%0A%0AAdapted%20from%20local-frontier%2Fclustering%2Findex.py%20pattern.%0A%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.19.11%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%20NAICS%20Semantic%20Relationship%20Builder%0A%0A%20%20%20%20This%20notebook%20pre-computes%20**semantic%20similarity%20relationships**%20between%20all%0A%20%20%20%20NAICS%20codes%2C%20enabling%3A%0A%0A%20%20%20%20-%20Cross-granularity%20relationships%20(6-digit%20code%20similar%20to%20different%202-digit%20sector)%0A%20%20%20%20-%20Same-sector%20alternatives%20(within%20sector)%0A%20%20%20%20-%20Cross-sector%20alternatives%20(across%20sectors)%0A%0A%20%20%20%20Uses%20**FAISS%20IndexFlatIP**%20on%20L2-normalized%20embeddings%20for%20cosine%20similarity.%0A%0A%20%20%20%20%23%23%20Parameters%0A%20%20%20%20-%20%60MIN_SIMILARITY%60%3A%200.70%20(include%20relationships%20above%2070%25)%0A%20%20%20%20-%20%60MAX_NEIGHBORS%60%3A%2050%20(check%20top%2050%20neighbors%20per%20code)%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20duckdb%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20json%0A%20%20%20%20from%20pathlib%20import%20Path%0A%20%20%20%20from%20dataclasses%20import%20dataclass%0A%20%20%20%20from%20typing%20import%20Iterator%0A%20%20%20%20import%20time%0A%0A%20%20%20%20try%3A%0A%20%20%20%20%20%20%20%20import%20faiss%0A%20%20%20%20except%20ImportError%3A%0A%20%20%20%20%20%20%20%20print(%22FAISS%20not%20installed.%20Installing...%22)%0A%20%20%20%20%20%20%20%20import%20subprocess%0A%20%20%20%20%20%20%20%20subprocess.check_call(%5B%22pip%22%2C%20%22install%22%2C%20%22faiss-cpu%22%5D)%0A%20%20%20%20%20%20%20%20import%20faiss%0A%20%20%20%20return%20Path%2C%20duckdb%2C%20faiss%2C%20json%2C%20np%2C%20time%0A%0A%0A%40app.cell%0Adef%20_(Path)%3A%0A%20%20%20%20%23%20Configuration%0A%20%20%20%20PROJECT_ROOT%20%3D%20Path(__file__).parent.parent%20if%20%22__file__%22%20in%20dir()%20else%20Path.cwd().parent%0A%20%20%20%20DB_PATH%20%3D%20PROJECT_ROOT%20%2F%20%22data%22%20%2F%20%22naics.duckdb%22%0A%0A%20%20%20%20%23%20Similarity%20parameters%0A%20%20%20%20MIN_SIMILARITY%20%3D%200.70%20%20%23%20Include%20relationships%20above%2070%25%0A%20%20%20%20MAX_NEIGHBORS%20%3D%2050%20%20%20%20%20%23%20Check%20top%2050%20neighbors%20per%20code%0A%20%20%20%20EMBEDDING_DIM%20%3D%20384%20%20%20%20%23%20all-MiniLM-L6-v2%20dimension%0A%0A%20%20%20%20print(f%22Database%20path%3A%20%7BDB_PATH%7D%22)%0A%20%20%20%20print(f%22Min%20similarity%3A%20%7BMIN_SIMILARITY%7D%22)%0A%20%20%20%20print(f%22Max%20neighbors%3A%20%7BMAX_NEIGHBORS%7D%22)%0A%20%20%20%20return%20DB_PATH%2C%20EMBEDDING_DIM%2C%20MAX_NEIGHBORS%2C%20MIN_SIMILARITY%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%201%3A%20Load%20Embeddings%20and%20Metadata%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(DB_PATH%2C%20duckdb%2C%20np)%3A%0A%20%20%20%20%23%20Connect%20to%20database%0A%20%20%20%20conn%20%3D%20duckdb.connect(str(DB_PATH))%0A%0A%20%20%20%20%23%20Load%20embeddings%20with%20metadata%0A%20%20%20%20df%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20e.node_code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20e.embedding%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n.level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n.title%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n.sector_code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n.subsector_code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n.industry_group_code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20n.naics_industry_code%0A%20%20%20%20%20%20%20%20FROM%20naics_embeddings%20e%0A%20%20%20%20%20%20%20%20JOIN%20naics_nodes%20n%20ON%20e.node_code%20%3D%20n.node_code%0A%20%20%20%20%20%20%20%20ORDER%20BY%20e.node_code%0A%20%20%20%20%22%22%22).fetchdf()%0A%0A%20%20%20%20print(f%22Loaded%20%7Blen(df)%7D%20codes%20with%20embeddings%22)%0A%0A%20%20%20%20%23%20Extract%20embeddings%20as%20numpy%20array%0A%20%20%20%20embeddings%20%3D%20np.array(%5Bnp.array(e)%20for%20e%20in%20df%5B%22embedding%22%5D.values%5D)%0A%20%20%20%20codes%20%3D%20df%5B%22node_code%22%5D.tolist()%0A%0A%20%20%20%20%23%20Build%20metadata%20dict%0A%20%20%20%20metadata%20%3D%20%7B%7D%0A%20%20%20%20for%20_%2C%20row%20in%20df.iterrows()%3A%0A%20%20%20%20%20%20%20%20metadata%5Brow%5B%22node_code%22%5D%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20row%5B%22level%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20row%5B%22title%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22sector_code%22%3A%20row%5B%22sector_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22subsector_code%22%3A%20row%5B%22subsector_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22industry_group_code%22%3A%20row%5B%22industry_group_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22naics_industry_code%22%3A%20row%5B%22naics_industry_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22hierarchy_path%22%3A%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20c%20for%20c%20in%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%5B%22sector_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%5B%22subsector_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%5B%22industry_group_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%5B%22naics_industry_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20row%5B%22node_code%22%5D%20if%20row%5B%22level%22%5D%20%3D%3D%20%22national_industry%22%20else%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%20if%20c%20is%20not%20None%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20print(f%22Embedding%20shape%3A%20%7Bembeddings.shape%7D%22)%0A%20%20%20%20print(f%22Metadata%20entries%3A%20%7Blen(metadata)%7D%22)%0A%20%20%20%20return%20codes%2C%20conn%2C%20embeddings%2C%20metadata%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%202%3A%20Build%20FAISS%20Index%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(EMBEDDING_DIM%2C%20codes%2C%20embeddings%2C%20faiss%2C%20np%2C%20time)%3A%0A%20%20%20%20%23%20Normalize%20embeddings%20for%20cosine%20similarity%0A%20%20%20%20_start%20%3D%20time.time()%0A%0A%20%20%20%20embeddings_normalized%20%3D%20embeddings.astype(np.float32).copy()%0A%20%20%20%20faiss.normalize_L2(embeddings_normalized)%0A%0A%20%20%20%20%23%20Build%20FAISS%20index%20with%20inner%20product%20(cosine%20after%20normalization)%0A%20%20%20%20index%20%3D%20faiss.IndexFlatIP(EMBEDDING_DIM)%0A%20%20%20%20index.add(embeddings_normalized)%0A%0A%20%20%20%20%23%20Build%20lookup%20mappings%0A%20%20%20%20code_to_position%20%3D%20%7Bcode%3A%20i%20for%20i%2C%20code%20in%20enumerate(codes)%7D%0A%20%20%20%20position_to_code%20%3D%20%7Bi%3A%20code%20for%20i%2C%20code%20in%20enumerate(codes)%7D%0A%0A%20%20%20%20_elapsed%20%3D%20time.time()%20-%20_start%0A%20%20%20%20print(f%22FAISS%20index%20built%20in%20%7B_elapsed%3A.2f%7Ds%22)%0A%20%20%20%20print(f%22Index%20size%3A%20%7Bindex.ntotal%7D%20vectors%22)%0A%20%20%20%20return%20embeddings_normalized%2C%20index%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%203%3A%20Compute%20All%20Relationships%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20MAX_NEIGHBORS%2C%0A%20%20%20%20MIN_SIMILARITY%2C%0A%20%20%20%20codes%2C%0A%20%20%20%20embeddings_normalized%2C%0A%20%20%20%20index%2C%0A%20%20%20%20metadata%2C%0A%20%20%20%20np%2C%0A%20%20%20%20time%2C%0A)%3A%0A%20%20%20%20def%20compute_all_relationships(%0A%20%20%20%20%20%20%20%20embeddings%3A%20np.ndarray%2C%0A%20%20%20%20%20%20%20%20codes_list%3A%20list%5Bstr%5D%2C%0A%20%20%20%20%20%20%20%20metadata_dict%3A%20dict%2C%0A%20%20%20%20%20%20%20%20faiss_index%2C%0A%20%20%20%20%20%20%20%20min_similarity%3A%20float%20%3D%200.70%2C%0A%20%20%20%20%20%20%20%20max_neighbors%3A%20int%20%3D%2050%0A%20%20%20%20)%20-%3E%20dict%5Bstr%2C%20dict%5D%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Compute%20relationships%20for%20all%20codes.%0A%0A%20%20%20%20%20%20%20%20Returns%20a%20dict%20mapping%20code%20-%3E%20relationship%20document.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20results%20%3D%20%7B%7D%0A%0A%20%20%20%20%20%20%20%20%23%20Batch%20query%20all%20codes%20at%20once%0A%20%20%20%20%20%20%20%20k%20%3D%20min(max_neighbors%2C%20len(codes_list))%0A%20%20%20%20%20%20%20%20similarities%2C%20indices%20%3D%20faiss_index.search(embeddings%2C%20k)%0A%0A%20%20%20%20%20%20%20%20for%20i%2C%20code%20in%20enumerate(codes_list)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20meta%20%3D%20metadata_dict%5Bcode%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20same_sector%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20cross_sector%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20sim%2C%20j%20in%20zip(similarities%5Bi%5D%2C%20indices%5Bi%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20i%20%3D%3D%20j%3A%20%20%23%20Skip%20self%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20sim%20%3C%20min_similarity%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20continue%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20target_code%20%3D%20codes_list%5Bj%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20target_meta%20%3D%20metadata_dict%5Btarget_code%5D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target_code%22%3A%20target_code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target_title%22%3A%20target_meta%5B%22title%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target_level%22%3A%20target_meta%5B%22level%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22similarity_score%22%3A%20round(float(sim)%2C%204)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target_sector%22%3A%20target_meta%5B%22sector_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22target_hierarchy%22%3A%20target_meta%5B%22hierarchy_path%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Classify%20by%20sector%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20meta%5B%22sector_code%22%5D%20%3D%3D%20target_meta%5B%22sector_code%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20same_sector.append(alt)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20relationship%20note%20for%20cross-sector%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt%5B%22relationship_note%22%5D%20%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22Cross-sector%3A%20%7Bmeta%5B'sector_code'%5D%7D%20-%3E%20%7Btarget_meta%5B'sector_code'%5D%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20cross_sector.append(alt)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Sort%20by%20similarity%20score%20descending%0A%20%20%20%20%20%20%20%20%20%20%20%20same_sector.sort(key%3Dlambda%20x%3A%20x%5B%22similarity_score%22%5D%2C%20reverse%3DTrue)%0A%20%20%20%20%20%20%20%20%20%20%20%20cross_sector.sort(key%3Dlambda%20x%3A%20x%5B%22similarity_score%22%5D%2C%20reverse%3DTrue)%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20Compute%20statistics%0A%20%20%20%20%20%20%20%20%20%20%20%20all_alts%20%3D%20same_sector%20%2B%20cross_sector%0A%20%20%20%20%20%20%20%20%20%20%20%20stats%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22same_sector_count%22%3A%20len(same_sector)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cross_sector_count%22%3A%20len(cross_sector)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22total_count%22%3A%20len(all_alts)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22max_similarity%22%3A%20max(%5Ba%5B%22similarity_score%22%5D%20for%20a%20in%20all_alts%5D%2C%20default%3D0)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22avg_similarity%22%3A%20round(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20float(np.mean(%5Ba%5B%22similarity_score%22%5D%20for%20a%20in%20all_alts%5D))%2C%204%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%20if%20all_alts%20else%200%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20results%5Bcode%5D%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22node_code%22%3A%20code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20meta%5B%22level%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20meta%5B%22title%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22sector_code%22%3A%20meta%5B%22sector_code%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22hierarchy_path%22%3A%20meta%5B%22hierarchy_path%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22same_sector_alternatives%22%3A%20same_sector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cross_sector_alternatives%22%3A%20cross_sector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22relationship_stats%22%3A%20stats%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%20%20%20%20return%20results%0A%0A%20%20%20%20%23%20Compute%20relationships%0A%20%20%20%20print(f%22Computing%20relationships%20for%20%7Blen(codes)%7D%20codes...%22)%0A%20%20%20%20_start%20%3D%20time.time()%0A%0A%20%20%20%20relationships%20%3D%20compute_all_relationships(%0A%20%20%20%20%20%20%20%20embeddings_normalized%2C%0A%20%20%20%20%20%20%20%20codes%2C%0A%20%20%20%20%20%20%20%20metadata%2C%0A%20%20%20%20%20%20%20%20index%2C%0A%20%20%20%20%20%20%20%20min_similarity%3DMIN_SIMILARITY%2C%0A%20%20%20%20%20%20%20%20max_neighbors%3DMAX_NEIGHBORS%0A%20%20%20%20)%0A%0A%20%20%20%20_elapsed%20%3D%20time.time()%20-%20_start%0A%20%20%20%20print(f%22Computed%20relationships%20in%20%7B_elapsed%3A.1f%7Ds%22)%0A%20%20%20%20return%20(relationships%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%204%3A%20Analyze%20Results%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20relationships)%3A%0A%20%20%20%20%23%20Analyze%20relationship%20statistics%0A%20%20%20%20total_same_sector%20%3D%20sum(%0A%20%20%20%20%20%20%20%20r%5B%22relationship_stats%22%5D%5B%22same_sector_count%22%5D%0A%20%20%20%20%20%20%20%20for%20r%20in%20relationships.values()%0A%20%20%20%20)%0A%20%20%20%20total_cross_sector%20%3D%20sum(%0A%20%20%20%20%20%20%20%20r%5B%22relationship_stats%22%5D%5B%22cross_sector_count%22%5D%0A%20%20%20%20%20%20%20%20for%20r%20in%20relationships.values()%0A%20%20%20%20)%0A%0A%20%20%20%20codes_with_cross_sector%20%3D%20sum(%0A%20%20%20%20%20%20%20%201%20for%20r%20in%20relationships.values()%0A%20%20%20%20%20%20%20%20if%20r%5B%22relationship_stats%22%5D%5B%22cross_sector_count%22%5D%20%3E%200%0A%20%20%20%20)%0A%0A%20%20%20%20avg_relationships%20%3D%20np.mean(%5B%0A%20%20%20%20%20%20%20%20r%5B%22relationship_stats%22%5D%5B%22total_count%22%5D%0A%20%20%20%20%20%20%20%20for%20r%20in%20relationships.values()%0A%20%20%20%20%5D)%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Relationship%20Statistics%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Total%20codes%3A%20%7Blen(relationships)%7D%22)%0A%20%20%20%20print(f%22Total%20same-sector%20relationships%3A%20%7Btotal_same_sector%7D%22)%0A%20%20%20%20print(f%22Total%20cross-sector%20relationships%3A%20%7Btotal_cross_sector%7D%22)%0A%20%20%20%20print(f%22Codes%20with%20cross-sector%20relationships%3A%20%7Bcodes_with_cross_sector%7D%22)%0A%20%20%20%20print(f%22Average%20relationships%20per%20code%3A%20%7Bavg_relationships%3A.1f%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(relationships)%3A%0A%20%20%20%20%23%20Sample%3A%20Look%20at%20cross-sector%20relationships%20for%20a%20restaurant%20code%0A%20%20%20%20sample_code%20%3D%20%22722511%22%20%20%23%20Full-Service%20Restaurants%0A%20%20%20%20if%20sample_code%20in%20relationships%3A%0A%20%20%20%20%20%20%20%20sample%20%3D%20relationships%5Bsample_code%5D%0A%20%20%20%20%20%20%20%20print(f%22%5Cn%3D%3D%3D%20Sample%3A%20%7Bsample_code%7D%20-%20%7Bsample%5B'title'%5D%7D%20%3D%3D%3D%22)%0A%20%20%20%20%20%20%20%20print(f%22Level%3A%20%7Bsample%5B'level'%5D%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22Sector%3A%20%7Bsample%5B'sector_code'%5D%7D%22)%0A%20%20%20%20%20%20%20%20print(f%22%5CnSame-sector%20alternatives%20(top%205)%3A%22)%0A%20%20%20%20%20%20%20%20for%20_alt%20in%20sample%5B%22same_sector_alternatives%22%5D%5B%3A5%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%5B%7B_alt%5B'target_code'%5D%7D%5D%20%7B_alt%5B'target_title'%5D%5B%3A40%5D%3A40s%7D%20(%7B_alt%5B'similarity_score'%5D%3A.2f%7D)%22)%0A%0A%20%20%20%20%20%20%20%20print(f%22%5CnCross-sector%20alternatives%20(top%205)%3A%22)%0A%20%20%20%20%20%20%20%20for%20_alt%20in%20sample%5B%22cross_sector_alternatives%22%5D%5B%3A5%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%5B%7B_alt%5B'target_code'%5D%7D%5D%20%7B_alt%5B'target_title'%5D%5B%3A40%5D%3A40s%7D%20(%7B_alt%5B'similarity_score'%5D%3A.2f%7D)%22)%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%20%20%7B_alt.get('relationship_note'%2C%20'')%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%205%3A%20Store%20Relationships%20in%20Database%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Create%20relationships%20table%0A%20%20%20%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20CREATE%20TABLE%20IF%20NOT%20EXISTS%20naics_relationships%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20node_code%20VARCHAR%20PRIMARY%20KEY%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20json_data%20JSON%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20created_at%20TIMESTAMP%20DEFAULT%20CURRENT_TIMESTAMP%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20%23%20Clear%20existing%20data%0A%20%20%20%20conn.execute(%22DELETE%20FROM%20naics_relationships%22)%0A%20%20%20%20print(%22Relationships%20table%20ready%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn%2C%20json%2C%20relationships%2C%20time)%3A%0A%20%20%20%20%23%20Insert%20relationships%0A%20%20%20%20print(f%22Inserting%20%7Blen(relationships)%7D%20relationship%20records...%22)%0A%20%20%20%20_start%20%3D%20time.time()%0A%0A%20%20%20%20for%20_idx%2C%20(_code%2C%20_rel)%20in%20enumerate(relationships.items())%3A%0A%20%20%20%20%20%20%20%20_json_str%20%3D%20json.dumps(_rel)%0A%20%20%20%20%20%20%20%20conn.execute(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22INSERT%20INTO%20naics_relationships%20(node_code%2C%20json_data)%20VALUES%20(%3F%2C%20%3F)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_code%2C%20_json_str%5D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20if%20(_idx%20%2B%201)%20%25%20500%20%3D%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20Inserted%20%7B_idx%20%2B%201%7D%2F%7Blen(relationships)%7D%22)%0A%0A%20%20%20%20_elapsed%20%3D%20time.time()%20-%20_start%0A%20%20%20%20print(f%22Inserted%20all%20relationships%20in%20%7B_elapsed%3A.1f%7Ds%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Verify%20insertion%0A%20%20%20%20_count%20%3D%20conn.execute(%22SELECT%20COUNT(*)%20FROM%20naics_relationships%22).fetchone()%5B0%5D%0A%20%20%20%20print(f%22Total%20relationships%20in%20database%3A%20%7B_count%7D%22)%0A%0A%20%20%20%20%23%20Sample%20query%0A%20%20%20%20_sample%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20node_code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20json_extract_string(json_data%2C%20'%24.title')%20as%20title%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20json_extract(json_data%2C%20'%24.relationship_stats.same_sector_count')%20as%20same_sector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20json_extract(json_data%2C%20'%24.relationship_stats.cross_sector_count')%20as%20cross_sector%0A%20%20%20%20%20%20%20%20FROM%20naics_relationships%0A%20%20%20%20%20%20%20%20ORDER%20BY%20json_extract(json_data%2C%20'%24.relationship_stats.cross_sector_count')%20DESC%0A%20%20%20%20%20%20%20%20LIMIT%2010%0A%20%20%20%20%22%22%22).fetchdf()%0A%0A%20%20%20%20print(%22%5CnTop%2010%20codes%20by%20cross-sector%20relationships%3A%22)%0A%20%20%20%20_sample%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%206%3A%20Test%20Relationship%20Queries%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn%2C%20json)%3A%0A%20%20%20%20def%20get_similar_codes(code%3A%20str%2C%20min_similarity%3A%20float%20%3D%200.75%2C%20include_cross_sector%3A%20bool%20%3D%20True)%20-%3E%20dict%3A%0A%20%20%20%20%20%20%20%20%22%22%22Test%20query%3A%20Get%20pre-computed%20similar%20codes.%22%22%22%0A%20%20%20%20%20%20%20%20result%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20%20%20%20%20SELECT%20json_data%0A%20%20%20%20%20%20%20%20%20%20%20%20FROM%20naics_relationships%0A%20%20%20%20%20%20%20%20%20%20%20%20WHERE%20node_code%20%3D%20%3F%0A%20%20%20%20%20%20%20%20%22%22%22%2C%20%5Bcode%5D).fetchone()%0A%0A%20%20%20%20%20%20%20%20if%20not%20result%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20%7B%22error%22%3A%20f%22Code%20%7Bcode%7D%20not%20found%22%7D%0A%0A%20%20%20%20%20%20%20%20data%20%3D%20json.loads(result%5B0%5D)%0A%0A%20%20%20%20%20%20%20%20%23%20Filter%20by%20minimum%20similarity%0A%20%20%20%20%20%20%20%20same_sector%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20alt%20for%20alt%20in%20data%5B%22same_sector_alternatives%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20alt%5B%22similarity_score%22%5D%20%3E%3D%20min_similarity%0A%20%20%20%20%20%20%20%20%5D%0A%0A%20%20%20%20%20%20%20%20if%20include_cross_sector%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cross_sector%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20alt%20for%20alt%20in%20data%5B%22cross_sector_alternatives%22%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20if%20alt%5B%22similarity_score%22%5D%20%3E%3D%20min_similarity%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20cross_sector%20%3D%20%5B%5D%0A%0A%20%20%20%20%20%20%20%20return%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22node_code%22%3A%20code%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22title%22%3A%20data%5B%22title%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22level%22%3A%20data%5B%22level%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22same_sector_alternatives%22%3A%20same_sector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22cross_sector_alternatives%22%3A%20cross_sector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22filtered_stats%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22same_sector_count%22%3A%20len(same_sector)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cross_sector_count%22%3A%20len(cross_sector)%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20%7D%0A%0A%20%20%20%20%23%20Test%20the%20query%20function%0A%20%20%20%20test_result%20%3D%20get_similar_codes(%22541511%22%2C%20min_similarity%3D0.75)%20%20%23%20Custom%20Software%0A%20%20%20%20print(f%22%5Cn%3D%3D%3D%20Query%20Test%3A%20541511%20%3D%3D%3D%22)%0A%20%20%20%20print(f%22Title%3A%20%7Btest_result.get('title'%2C%20'N%2FA')%7D%22)%0A%20%20%20%20print(f%22Same-sector%20alternatives%3A%20%7Btest_result.get('filtered_stats'%2C%20%7B%7D).get('same_sector_count'%2C%200)%7D%22)%0A%20%20%20%20print(f%22Cross-sector%20alternatives%3A%20%7Btest_result.get('filtered_stats'%2C%20%7B%7D).get('cross_sector_count'%2C%200)%7D%22)%0A%0A%20%20%20%20if%20test_result.get(%22cross_sector_alternatives%22)%3A%0A%20%20%20%20%20%20%20%20print(%22%5CnCross-sector%20alternatives%3A%22)%0A%20%20%20%20%20%20%20%20for%20_alt%20in%20test_result%5B%22cross_sector_alternatives%22%5D%5B%3A3%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20print(f%22%20%20%5B%7B_alt%5B'target_code'%5D%7D%5D%20%7B_alt%5B'target_title'%5D%5B%3A50%5D%7D%20(%7B_alt%5B'similarity_score'%5D%3A.2f%7D)%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Step%207%3A%20Final%20Statistics%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Compute%20final%20statistics%0A%20%20%20%20stats_df%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20json_extract_string(json_data%2C%20'%24.level')%20as%20level%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20COUNT(*)%20as%20code_count%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(CAST(json_extract(json_data%2C%20'%24.relationship_stats.same_sector_count')%20AS%20DOUBLE))%20as%20avg_same_sector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(CAST(json_extract(json_data%2C%20'%24.relationship_stats.cross_sector_count')%20AS%20DOUBLE))%20as%20avg_cross_sector%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20AVG(CAST(json_extract(json_data%2C%20'%24.relationship_stats.avg_similarity')%20AS%20DOUBLE))%20as%20avg_similarity%0A%20%20%20%20%20%20%20%20FROM%20naics_relationships%0A%20%20%20%20%20%20%20%20GROUP%20BY%20level%0A%20%20%20%20%20%20%20%20ORDER%20BY%20level%0A%20%20%20%20%22%22%22).fetchdf()%0A%0A%20%20%20%20print(%22%3D%3D%3D%20Statistics%20by%20Level%20%3D%3D%3D%22)%0A%20%20%20%20stats_df%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20%23%20Get%20database%20size%0A%20%20%20%20_size_result%20%3D%20conn.execute(%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%0A%20%20%20%20%20%20%20%20%20%20%20%20SUM(LENGTH(json_data%3A%3AVARCHAR))%20as%20json_bytes%0A%20%20%20%20%20%20%20%20FROM%20naics_relationships%0A%20%20%20%20%22%22%22).fetchone()%0A%20%20%20%20_bytes%20%3D%20_size_result%5B0%5D%20if%20_size_result%20else%200%0A%20%20%20%20_size_str%20%3D%20f%22%7B_bytes%20%2F%201024%20%2F%201024%3A.2f%7D%20MB%22%20if%20_bytes%20else%20%22N%2FA%22%0A%20%20%20%20print(f%22Total%20JSON%20data%20size%3A%20%7B_size_str%7D%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(conn)%3A%0A%20%20%20%20conn.close()%0A%20%20%20%20print(%22%5CnDatabase%20connection%20closed.%20Relationships%20generated%20successfully!%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(%22%22%22%0A%20%20%20%20%23%23%20Summary%0A%0A%20%20%20%20Generated%20**pre-computed%20semantic%20relationships**%20for%20all%20NAICS%20codes%3A%0A%0A%20%20%20%20-%20**Same-sector%20alternatives**%3A%20Codes%20in%20the%20same%20sector%20with%20high%20similarity%0A%20%20%20%20-%20**Cross-sector%20alternatives**%3A%20Similar%20codes%20in%20different%20sectors%20(key%20insight!)%0A%20%20%20%20-%20**Relationship%20statistics**%3A%20Count%2C%20max%2C%20and%20average%20similarity%0A%0A%20%20%20%20%23%23%23%20Output%20Table%3A%20%60naics_relationships%60%0A%0A%20%20%20%20%7C%20Column%20%7C%20Type%20%7C%20Description%20%7C%0A%20%20%20%20%7C--------%7C------%7C-------------%7C%0A%20%20%20%20%7C%20node_code%20%7C%20VARCHAR%20%7C%20NAICS%20code%20(primary%20key)%20%7C%0A%20%20%20%20%7C%20json_data%20%7C%20JSON%20%7C%20Full%20relationship%20document%20%7C%0A%20%20%20%20%7C%20created_at%20%7C%20TIMESTAMP%20%7C%20When%20computed%20%7C%0A%0A%20%20%20%20%23%23%23%20JSON%20Document%20Structure%0A%0A%20%20%20%20%60%60%60json%0A%20%20%20%20%7B%0A%20%20%20%20%20%20%22node_code%22%3A%20%22722511%22%2C%0A%20%20%20%20%20%20%22level%22%3A%20%22national_industry%22%2C%0A%20%20%20%20%20%20%22title%22%3A%20%22Full-Service%20Restaurants%22%2C%0A%20%20%20%20%20%20%22sector_code%22%3A%20%2272%22%2C%0A%20%20%20%20%20%20%22hierarchy_path%22%3A%20%5B%2272%22%2C%20%22722%22%2C%20%227225%22%2C%20%2272251%22%2C%20%22722511%22%5D%2C%0A%20%20%20%20%20%20%22same_sector_alternatives%22%3A%20%5B...%5D%2C%0A%20%20%20%20%20%20%22cross_sector_alternatives%22%3A%20%5B...%5D%2C%0A%20%20%20%20%20%20%22relationship_stats%22%3A%20%7B%0A%20%20%20%20%20%20%20%20%22same_sector_count%22%3A%2015%2C%0A%20%20%20%20%20%20%20%20%22cross_sector_count%22%3A%208%2C%0A%20%20%20%20%20%20%20%20%22max_similarity%22%3A%200.92%2C%0A%20%20%20%20%20%20%20%20%22avg_similarity%22%3A%200.81%0A%20%20%20%20%20%20%7D%0A%20%20%20%20%7D%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20**Next%20step%3A**%20Use%20%60get_similar_codes%60%2C%20%60get_cross_sector_alternatives%60%2C%0A%20%20%20%20and%20%60get_relationship_stats%60%20tools%20in%20the%20MCP%20server.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A